OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion

Resumo Técnico: OmniFusion

1. O Problema

Os modelos de linguagem grandes (LLMs) open-source focados apenas em texto têm melhorado rapidamente na tradução multilíngue, mas sua arquitetura unimodal limita sua aplicação em cenários multimodais.

• Limitações dos Pipelines em Cascata: Na tradução de fala (Speech Translation - ST), os sistemas atuais geralmente operam em pipelines em cascata: Reconhecimento Automático de Fala (ASR) seguido por Tradução Automática (MT). Isso introduz latência adicional, especialmente crítica na Tradução Simultânea (SimulST), e impede que o modelo de tradução utilize o contexto visual (como slides de apresentação ou imagens) para desambiguação.
• Limitações dos Modelos Multimodais (MMFMs): Embora os Modelos Fundacionais Multimodais (MMFMs) ofereçam forte percepção e raciocínio cruzado entre modalidades, eles geralmente possuem desempenho inferior em tradução multilíngue comparado a LLMs especializados em tradução, resultando em menor qualidade e cobertura linguística limitada.
• Necessidade: Existe uma lacuna para um sistema unificado que combine a profundidade multilíngue de um LLM de tradução com a capacidade de percepção multimodal de um MMFM, permitindo tradução simultânea de baixa latência que aproveita áudio e contexto visual.

2. Metodologia: Arquitetura OmniFusion

Os autores propõem o OmniFusion, uma arquitetura unificada de ponta a ponta (E2E) que funde um MMFM pré-treinado com um LLM especializado em tradução através de um módulo de fusão com portão (gated fusion) leve.

• Componentes Principais:
  • MMFM: Qwen2.5-Omni-7B (fornece representações perceptivas de áudio e imagem).
  • LLM de Tradução: Seed-X-PPO-7B (fornece compreensão e geração multilíngue).
• Módulo de Fusão com Portão (Gated Fusion):
  • Em vez de concatenar todas as camadas do MMFM (o que triplicaria o comprimento da sequência e aumentaria a latência), o modelo extrai representações de três camadas específicas do MMFM: a primeira, a média e a última.
  • Um mecanismo de gating (portão) pondera dinamicamente essas três representações para cada token, somando-as e projetando-as via uma MLP para alinhar com a dimensão de embedding do LLM de tradução.
  • Isso permite uma integração eficiente e adaptativa, onde o modelo decide quais camadas do MMFM são mais relevantes para a tarefa.
• Estratégia de Treinamento:
  • Aprendizado Multitarefa: O modelo é treinado simultaneamente em três tarefas principais: Tradução de Fala (ST), Tradução Fala-Imagem (SIT) e Tradução Texto-Imagem (TIT).
  • Auto-Cascata (Self-Cascading): Durante o treinamento, o modelo é instruído a gerar etapas intermediárias, como transcrição ASR ou texto OCR, antes de gerar a tradução final. Isso alinha as representações de áudio/visual com o espaço semântico do LLM.
  • Congelamento e LoRA: O MMFM é mantido congelado, enquanto o LLM de tradução é ajustado usando LoRA (Low-Rank Adaptation), reduzindo custos computacionais e evitando o esquecimento catastrófico das capacidades multimodais pré-treinadas.

3. Contribuições Principais

1. Arquitetura Unificada E2E: Apresentação do OmniFusion, o primeiro modelo a suportar nativamente tradução de fala, fala+imagem e texto+imagem em uma única arquitetura, eliminando a latência de pipelines em cascata.
2. Mecanismo de Fusão Eficiente: Introdução de uma arquitetura de fusão com portão que seleciona e integra representações de múltiplas camadas do MMFM, permitindo treinamento e inferência eficientes para traduções conscientes do contexto.
3. Desempenho Superior em Latência e Qualidade: Demonstração de que o OmniFusion reduz a latência na Tradução Simultânea (SimulST) em aproximadamente 1 segundo em comparação com pipelines em cascata, mantendo ou superando a qualidade de tradução, e reduzindo erros críticos e graves.

4. Resultados Experimentais

Os experimentos foram conduzidos em conjuntos de dados como MCIF (fala científica), FLEURS (cobertura multilíngue) e CoMMuTE (tradução de legendas com imagens).

• Tradução Simultânea (SimulST):
  • O OmniFusion foi consistentemente ~1 segundo mais rápido que o sistema em cascata (ASR + MT) em todos os tamanhos de chunk testados.
  • Na presença de imagens, o modelo E2E alcançou a menor latência e a maior qualidade, indicando que o contexto visual é explorado mais eficazmente para compromissos (decisões de saída) mais precoces e estáveis.
• Tradução Offline (ST e TIT):
  • O modelo com fusão com portão e inferência de auto-cascata atingiu resultados comparáveis aos melhores sistemas em cascata ajustados (LoRA FT), mas com menos erros graves e críticos (ex: redução de 751 para 719 erros graves no cenário ST).
  • Na tradução de legendas (TIT) no benchmark CoMMuTE, o OmniFusion alcançou resultados state-of-the-art, superando modelos baseados apenas em visão e igualando sistemas multimodais complexos, demonstrando forte capacidade de desambiguação visual.
• Análise de Camadas:
  • A análise de gating revelou que as camadas primeira e média do MMFM contribuem significativamente mais para a representação multimodal transferível do que a última camada. Forçar o uso apenas da última camada leva ao colapso do desempenho.

5. Significado e Impacto

O OmniFusion demonstra que é possível combinar eficazmente a percepção multimodal de modelos fundacionais com a especialização linguística de LLMs de tradução dentro de uma única arquitetura.

• Eficiência: Elimina a necessidade de pipelines complexos e latentes, permitindo tradução simultânea em tempo real com contexto visual.
• Qualidade: Melhora a precisão em cenários ambíguos onde o áudio ou texto sozinho não são suficientes (ex: distinguir "saída de carro" vs. "saída de pedestre" com base em uma imagem).
• Viabilidade: A abordagem é computacionalmente eficiente (usando LoRA e fusão seletiva), tornando-a escalável para implantação em cenários do mundo real, como conferências e acessibilidade.

Em suma, o trabalho estabelece um novo paradigma para tradução multimodal, provando que a integração unificada supera as abordagens modulares tradicionais em termos de velocidade, precisão e capacidade de raciocínio contextual.