Omni-Diffusion: Unified Multimodal Understanding and Generation with Masked Discrete Diffusion

O artigo apresenta o Omni-Diffusion, o primeiro modelo de linguagem multimodal "qualquer-para-qualquer" que unifica a compreensão e a geração de texto, fala e imagem utilizando exclusivamente um modelo de difusão discreta baseado em máscaras, superando ou equiparando-se aos sistemas existentes em diversos benchmarks.

O essencial

Imagine que você tem um maestro genial chamado Omni-Diffusion. Até hoje, a maioria das orquestras de inteligência artificial (os modelos que entendem e criam texto, imagens e voz) funcionava como um músico solitário: ele tocava uma nota, esperava, tocava a próxima, e assim por diante. Isso é chamado de "arquitetura autoregressiva". É como escrever um livro letra por letra, da esquerda para a direita, sem poder mudar o que já foi escrito.

O Omni-Diffusion muda completamente essa regra. Ele não é um músico solitário; é um maestro que rege uma orquestra inteira tocando em sincronia.

Aqui está a explicação simples de como ele funciona, usando analogias do dia a dia:

1. O Grande Salto: De "Escrever" para "Pintar"

A maioria dos modelos atuais escreve como se estivessem preenchendo uma folha de papel, palavra por palavra. Se eles errarem no início, o resto pode ficar estranho.

O Omni-Diffusion funciona como um pintor que usa um esboço borrado.

• O Processo: Imagine que você tem um quadro totalmente coberto por uma névoa branca (tudo está "mascarado"). O modelo olha para essa névoa e, de uma só vez, decide quais partes da imagem, quais palavras e quais sons devem aparecer em vários lugares ao mesmo tempo.
• A Evolução: Ele vai refinando essa névoa, passo a passo, até que a imagem, a fala e o texto fiquem claros e perfeitos. Isso permite que ele "pense" em todas as partes da resposta simultaneamente, em vez de apenas uma de cada vez.

2. A "Linguagem Universal" (Tokens Discretos)

Para que o maestro possa tocar violino (imagem), piano (texto) e bateria (voz) ao mesmo tempo, ele precisa de uma partitura única.

• O Omni-Diffusion pega tudo o que o mundo tem: uma foto, uma frase falada e um texto escrito, e transforma tudo em blocos de Lego (chamados de "tokens").
• Não importa se é uma foto de um gato ou a palavra "gato" falada; para o modelo, ambos são apenas blocos de Lego de cores diferentes. Isso cria um espaço onde a imagem, a voz e o texto são entendidos como "irmãos" na mesma família, e não como estranhos que precisam de tradutores.

3. O Que Ele Consegue Fazer? (O "Tudo para Tudo")

A grande mágica é que ele é um modelo "Any-to-Any" (Qualquer coisa para Qualquer coisa).

• Você pode falar para ele: "Descreva essa foto que estou mostrando." (Voz + Imagem → Texto).
• Você pode pedir: "Crie uma imagem de um gato voando e me conte a história em voz alta." (Texto → Imagem + Voz).
• Ele entende o contexto: Se você der uma imagem e uma pergunta falada, ele entende a imagem, ouve a pergunta e responde falando, tudo em uma única "respiração" de processamento.

4. Os Truques do Maestro (Técnicas Especiais)

Para garantir que a orquestra não toque uma bagunça, os criadores usaram alguns truques inteligentes:

• O "Ajuste de Posição" (Position Penalty): Às vezes, ao pintar uma imagem, o modelo podia repetir padrões (como desenhar duas cabeças de gato no topo e duas no fundo). Eles criaram uma regra que diz: "Ei, não pinte as bordas todas de uma vez! Vamos pintar o meio primeiro para garantir que a imagem fique natural."
• O "Pré-enchimento" (Pre-infilling): Para falar, o modelo sabe que precisa de um roteiro. Ele coloca uma "etiqueta invisível" no início do processo que diz: "Primeiro, pense na frase escrita, depois transforme em som". Isso faz com que a voz falada tenha a mesma lógica e emoção do texto original.
• A "Máscara Atenuada": Para não ficar gerando respostas infinitas e sem fim, eles ensinaram o modelo a saber quando parar, tratando os espaços em branco (padrões) com menos importância, para que ele foque no que realmente importa.

5. Por Que Isso é Importante?

Antes, se você quisesse um robô que falasse, visse e escrevesse, precisava de três robôs diferentes conectados por cabos, o que era lento e propenso a erros de comunicação.

O Omni-Diffusion é como um cérebro unificado.

• Velocidade: Como ele gera várias partes de uma vez (em paralelo), ele é muito mais rápido do que os modelos antigos que escrevem letra por letra.
• Qualidade: Ele cria imagens e falas que combinam perfeitamente, porque "pensou" nelas juntas desde o início.

Em resumo: O Omni-Diffusion é a primeira inteligência artificial que não precisa escolher entre ver, ouvir ou falar. Ele faz tudo ao mesmo tempo, como um maestro que ouve a música, vê a partitura e rege a orquestra em perfeita harmonia, tudo em um único processo de "desembaçar" a realidade.

Resumo técnico

Resumo Técnico: Omni-Diffusion

1. Problema e Motivação

Os Modelos de Linguagem Multimodal (MLLMs) atuais, embora tenham avançado significativamente, dependem predominantemente de arquiteturas autoregressivas (que geram tokens sequencialmente). Essa abordagem apresenta limitações, como a incapacidade de controle direto sobre a estrutura semântica e a ineficiência na geração paralela.

Simultaneamente, modelos de difusão discreta (especialmente baseados em mascaramento) demonstraram sucesso em tarefas unimodais (texto e imagem), oferecendo vantagens como geração paralela e controle flexível do processo de geração. No entanto, ainda não existia um modelo unificado que aplicasse essa arquitetura de difusão discreta para compreender e gerar qualquer combinação de modalidades (texto, fala e imagem) de forma nativa, sem depender de modelos auxiliares para conversão entre modalidades.

2. Metodologia

O Omni-Diffusion é o primeiro modelo de linguagem multimodal "qualquer-para-qualquer" (any-to-any) construído inteiramente sobre um modelo de difusão discreta baseada em mascaramento.

Arquitetura Unificada:

• Espaço de Representação Comum: Em vez de usar um LLM para gerar texto e modelos externos para converter esse texto em imagem ou áudio, o Omni-Diffusion modela diretamente a distribuição conjunta de tokens discretos de todas as modalidades (texto, fala e imagem) em um único espaço semântico.
• Tokenização:
  • Imagem: Utiliza o MAGVIT-v2 para comprimir imagens em tokens discretos (vocabulário de 8.192).
  • Fala: Utiliza o SenseVoiceSmall para codificação e o GLM-4-Voice para decodificação, transformando áudio em tokens discretos (vocabulário de 16.384).
  • Texto: Baseado no modelo de linguagem pré-treinado Dream-7B.
• Mecanismo de Treinamento: O modelo aprende a prever tokens originais a partir de uma sequência corrompida onde tokens são substituídos aleatoriamente por um token especial [MASK]. A perda é calculada apenas sobre os tokens mascarados.

Estratégias de Treinamento e Inferência:

1. Pipeline de Treinamento Progressivo (3 Estágios):
   • Estágio 1: Pré-alinhamento Texto-Imagem (ajusta a capacidade visual ao espaço semântico do texto).
   • Estágio 2: Alinhamento Conjunto Fala-Visão-Linguagem (introduz dados de ASR e TTS).
   • Estágio 3: Melhoria de Interação Visual Guiada por Fala (SDVI), utilizando um conjunto de dados novo com perguntas e respostas orais sobre imagens e geração de imagem a partir de fala.
2. Mascaramento de Preenchimento Atenuado (Attenuated Tail-Pad Masking): Para evitar que o modelo gere excessivamente tokens de preenchimento (pad) e permitir gerações de comprimento variável, aplica-se um fator de escala para reduzir a taxa de mascaramento especificamente nos tokens de pad.
3. Técnicas de Inferência:
   • Decodificação Baseada em Entropia: Seleciona tokens com base na confiança (entropia) das probabilidades.
   • Penalidade de Posição: Para imagens, reduz a pontuação (logits) dos tokens no final da sequência durante os estágios iniciais para evitar padrões repetitivos (comuns em difusão que decodificam das pontas para o centro).
   • Pré-preenchimento de Tokens Especiais: Para tarefas de fala, insere um token [begin-of-speech] no início da sequência mascarada para guiar o modelo a gerar texto e áudio simultaneamente, melhorando a coerência.
   • Atribuição Adaptativa de Comprimento: Define o comprimento inicial dos tokens mascarados com base no comprimento do texto (para TTS) ou do áudio (para ASR), acelerando a amostragem.

3. Principais Contribuições

• Primeiro Modelo Any-to-Any Baseado em Difusão: Introduz o Omni-Diffusion, eliminando a necessidade de modelos separados para geração de diferentes modalidades, unificando compreensão e geração em uma única arquitetura de difusão discreta.
• Alinhamento Semântico Nativo: Ao modelar a distribuição conjunta de tokens, o modelo cria um espaço de representação onde texto, imagem e fala estão intrinsecamente alinhados.
• Técnicas Especializadas: Desenvolvimento de estratégias específicas para difusão discreta multimodal, como o Attenuated Tail-Pad Masking e a Penalidade de Posição, que resolvem problemas de estabilidade e qualidade de geração.
• Conjunto de Dados SDVI: Criação de um novo dataset de Interação Visual Guiada por Fala para treinar a capacidade do modelo de responder a comandos orais sobre imagens visuais.

4. Resultados Experimentais

O modelo foi avaliado em diversos benchmarks e comparado com sistemas autoregressivos de ponta (como AnyGPT, NExT-GPT, LLaVA, GLM-4-Voice):

• Tarefas de Fala (ASR e TTS): O Omni-Diffusion superou o modelo autoregressivo AnyGPT e alcançou desempenho comparável ou superior a modelos especializados de TTS (como CosyVoice) e LLMs de fala, com taxas de erro de palavra (WER) competitivas.
• Tarefas Visuais (VQA e Geração de Imagem):
  • No Visual Question Answering (VQA), alcançou desempenho comparável a LLMs visuais especializados (ex: InstructBLIP, LLaVA).
  • Na geração de imagem (Texto-para-Imagem), obteve pontuações CLIP-T e CLIP-I superiores a outros modelos "any-to-any" e comparáveis a modelos que usam difusão externa pré-treinada.
• Alinhamento Multimodal: A geração de imagens a partir de comandos de fala (Speech-to-Image) demonstrou qualidade semelhante à geração baseada em texto, provando o alinhamento eficaz entre as modalidades.
• Eficiência de Amostragem: Graças à decodificação paralela, o modelo mantém alta qualidade de geração mesmo com um número reduzido de passos de tempo (ex: 10 passos para imagens), superando a ineficiência sequencial dos modelos autoregressivos.
• Inpainting: O modelo consegue realizar inpainting (preenchimento de áreas faltantes) sem necessidade de fine-tuning adicional, apenas substituindo a região faltante por tokens [MASK].

5. Significado e Impacto

O trabalho do Omni-Diffusion representa um marco na arquitetura de modelos fundamentais multimodais. Ele demonstra que os modelos de difusão discreta são uma alternativa viável e potente às arquiteturas autoregressivas tradicionais.

A principal implicação é a possibilidade de criar sistemas de IA unificados que processam texto, áudio e vídeo de forma nativa e paralela, oferecendo:

1. Maior Eficiência: Geração paralela reduz o tempo de inferência.
2. Controle Flexível: Capacidade de direcionar a estrutura e o estilo da saída de forma mais intuitiva.
3. Unificação Real: Eliminação da complexidade de acoplar múltiplos modelos especializados, simplificando a infraestrutura de modelos multimodais para a próxima geração de IA.

Em suma, o Omni-Diffusion valida a hipótese de que a modelagem de distribuição conjunta via difusão discreta pode superar ou igualar os sistemas atuais, abrindo caminho para agentes multimodais mais robustos e eficientes.