Dynin-Omni: Omnimodal Unified Large Diffusion Language Model

1. Problema e Motivação

O campo dos modelos de fundação multimodal enfrenta desafios significativos na unificação nativa de compreensão e geração de texto, imagem, áudio e vídeo. As abordagens atuais geralmente se enquadram em duas categorias com limitações distintas:

• Modelos Autoregressivos (AR): Embora excelentes em raciocínio textual, eles impõem uma ordem causal estrita (token por token), o que é fundamentalmente inadequado para modalidades não sequenciais como imagens e fala. Isso limita a paralelização e a capacidade de refinamento global.
• Modelos Unificados Compostos: Estes combinam um backbone AR com geradores externos específicos de modalidade (ex: difusão para imagens, TTS para fala). Embora funcionais, essa arquitetura fragmentada introduz gargalos de orquestração, objetivos de treinamento heterogêneos e impede a integração profunda de representações entre modalidades.

Além disso, modelos unificados existentes frequentemente sacrificam capacidades de raciocínio textual robusto para ganhar habilidades multimodais, e poucos conseguem escalar para interfaces verdadeiramente "omnimodais" (incluindo vídeo e fala de alta fidelidade) dentro de uma única arquitetura coesa.

2. Metodologia: Dynin-Omni

O Dynin-Omni é apresentado como o primeiro modelo de fundação de escala 8B baseado em difusão mascarada que unifica nativamente a compreensão e geração de texto, imagem, fala e vídeo em uma única arquitetura.

Arquitetura e Tokenização

• Espaço de Token Compartilhado: O modelo opera sobre um espaço de tokens discretos compartilhado, onde texto, imagens (e vídeo) e fala são mapeados para um único vocabulário unificado.
• Backbone Único: Utiliza um Transformer baseado em difusão mascarada (inspirado no LLaDA e MMaDA) sem sub-redes específicas para cada modalidade.
• Tokenização:
  • Texto: Mantém o tokenizador original do LLaDA.
  • Imagem/Vídeo: Utiliza um tokenizador vetorial quantizado (estilo MAGVIT-v2) que trata vídeos como sequências temporais de imagens, reutilizando o mesmo espaço de tokens visuais.
  • Fala: Adota o tokenizador EMOVA (S2U), que codifica ondas sonoras em unidades discretas semânticas e acústicas.
• Detokenização: Módulos de reconstrução leves e pré-treinados (congelados) mapeiam os tokens gerados de volta ao espaço da modalidade (pixels ou áudio), sem etapas gerativas iterativas adicionais.

Formulação de Difusão Mascarada

O modelo formula a geração como um processo de difusão discreta onde subconjuntos de tokens são substituídos por [MASK] e iterativamente refinados com base no contexto bidirecional (passado e futuro).

• Objetivo Unificado: O mesmo objetivo de previsão de tokens mascarados é usado para todas as tarefas (entendimento e geração).
• Inferência: Diferentes padrões de decodificação são aplicados apenas na inferência:
  • Texto e Fala: Decodificação em blocos (block-wise) para respeitar a ordem temporal.
  • Imagens: Decodificação totalmente paralela, aproveitando a ausência de ordem temporal intrínseca.

Estratégia de Treinamento Multi-Estágio

Para estabilizar o treinamento de dados heterogêneos e evitar o esquecimento catastrófico, o Dynin-Omni adota uma estratégia de três estágios:

1. Adaptação de Modalidade: Alinhamento de novas modalidades (vídeo e fala) ao backbone existente usando tarefas centradas no texto (ex: legendagem de vídeo, ASR, TTS).
2. Ajuste Fino Supervisionado (SFT) Omnimodal:
   • Fusão de Modelos (Model Merging): Antes do SFT, o modelo adaptado é fundido com o backbone original usando uma estratégia de fusão desentrelaçada por modalidade. Isso preserva os pesos originais para modalidades existentes enquanto integra as novas dimensões de vocabulário, evitando a perda de conhecimento prévio.
   • Aprendizado de Preenchimento Agendado (Scheduled Padding): O token <EOS> (fim de sequência) é introduzido apenas a partir deste estágio para permitir geração de comprimento flexível sem degradar a coerência semântica inicial.
3. Ajuste Fino Contínuo (Capability Scaling): Refinamento de capacidades avançadas, incluindo raciocínio complexo (Chain-of-Thought), geração de imagens de alta resolução e síntese de fala de longa duração (até 21s).

3. Principais Contribuições

1. Backbone Nativo Unificado: O primeiro modelo de difusão mascarada de código aberto (8B) que unifica nativamente texto, imagem, fala e vídeo, eliminando a necessidade de geradores externos ou orquestração complexa.
2. Fusão Desentrelaçada de Modalidades: Uma nova técnica de treinamento que permite a expansão de vocabulário e a integração de novas modalidades sem destruir o conhecimento existente do modelo, resolvendo o problema de incompatibilidade dimensional durante a fusão de pesos.
3. Paradigma "Any-to-Any": Demonstra que a difusão mascarada pode ser escalada para interfaces omnimodais completas, mantendo a coerência global e permitindo refinamento iterativo em todas as modalidades simultaneamente.

4. Resultados e Desempenho

O Dynin-Omni foi avaliado em 19 benchmarks multimodais, superando consistentemente outros modelos unificados de código aberto e competindo com sistemas especialistas específicos de modalidade:

• Raciocínio Textual: Alcançou 87.6 no GSM8K e 49.6 no MATH, superando modelos unificados anteriores e competindo com modelos de linguagem puros.
• Compreensão Multimodal:
  • Imagem: 1733.6 no MME-P e 87.7 no POPE.
  • Vídeo: 61.4 no VideoMME.
• Geração de Imagem e Edição:
  • 0.87 no GenEval (superando modelos unificados como Show-o2 e NExT-OMNI).
  • Desempenho competitivo em edição de imagem (ImgEdit) com 3.77 de pontuação geral.
• Fala (ASR e TTS):
  • 2.1 WER no LibriSpeech test-clean (ASR), competindo com modelos especializados e superando outros modelos unificados.
  • 2.1 WER no TTS, demonstrando síntese de alta qualidade sem decodificadores específicos.

5. Significado e Impacto

O trabalho do Dynin-Omni é significativo porque:

• Valida a Difusão Mascarada como Paradigma Unificado: Prova que a difusão não é apenas para imagens, mas uma arquitetura viável e escalável para qualquer modalidade (texto, áudio, vídeo), superando as limitações de ordem causal dos modelos AR.
• Simplificação Arquitetural: Elimina a complexidade de sistemas compostos que dependem de múltiplos modelos e interfaces latentes, oferecendo uma solução "end-to-end" mais eficiente e integrada.
• Fundação para Agentes Multimodais: Ao manter fortes capacidades de raciocínio lógico enquanto possui geração nativa de áudio e vídeo, o modelo fornece uma base robusta para agentes de IA em tempo real e sistemas de interface universal.
• Eficiência Computacional: A capacidade de gerar imagens e editar com poucos passos de difusão (8-16 passos) torna o modelo viável para aplicações em tempo real, diferentemente de sistemas que exigem centenas de iterações.

Em resumo, o Dynin-Omni representa um avanço crucial rumo a modelos de fundação verdadeiramente omnimodais, onde a compreensão e a geração de qualquer modalidade ocorrem de forma nativa e unificada dentro de um único espaço de representação.