Cross-Modal Coreference Alignment: Enabling Reliable Information Transfer in Omni-LLMs

1. Problema e Motivação

Os Modelos de Linguagem Grandes Omni (Omni-LLMs) demonstraram capacidades impressionantes na percepção multimodal holística (processando texto, áudio e vídeo simultaneamente). No entanto, eles falham consistentemente em cenários complexos que exigem raciocínio omni-modal sinérgico.

O problema central identificado não é a falta de agregação de informações, mas a ausência de alinhamento de referência cruzada (cross-modal coreference alignment) em nível fino.

• Definição: O modelo precisa localizar um referente (ex: uma pessoa, um objeto) em uma modalidade de origem (ex: texto) e reidentificá-lo corretamente em uma modalidade de destino (ex: áudio ou vídeo) para transferir informações e responder a perguntas.
• Falha Atual: Os modelos atuais tendem a agregar informações de forma grosseira, mas não conseguem manter a consistência referencial entre modalidades. Eles frequentemente falham em vincular "quem" está falando no áudio com "quem" está na tela ou com o que está escrito no texto, levando a erros de raciocínio mesmo quando possuem as informações corretas isoladamente.

2. Metodologia e Dataset (CROSSOMNI)

Para abordar essa lacuna, os autores introduzem o CROSSOMNI, um novo dataset e paradigma de avaliação.

• Estrutura do Dataset:
  • Contém 4.147 vídeos e 39.726 pares de perguntas e respostas.
  • Abrange três modalidades: Áudio (A), Vídeo (V) e Texto (T).
  • Define 9 tarefas: 3 tarefas de referência em modalidade única (ex: apenas áudio) e 6 tarefas de referência cruzada (ex: Áudio → Texto, Vídeo → Áudio, Texto → Vídeo).
  • Racional Humano: Cada amostra inclui justificativas de raciocínio passo a passo (rationales) projetadas por humanos, supervisionando o processo de alinhamento (identificar o referente na origem, localizar na destino, extrair a resposta).
• Construção: Os dados são derivados de episódios de TV (TVQA), com anotações detalhadas de características de voz, descrições visuais e biografias textuais dos personagens, garantindo a necessidade de alinhamento cruzado para responder às perguntas.

3. Análise de Falhas e Diagnóstico

Os autores avaliaram 13 Omni-LLMs de ponta no dataset CROSSOMNI e descobriram:

• Gap de Desempenho: As tarefas de referência cruzada têm um desempenho cerca de 21% pior do que as tarefas de modalidade única.
• Causa Raiz: A análise via Chain-of-Thought (CoT) revelou que os modelos carecem de padrões de pensamento conscientes de referência (coreference-aware thinking patterns). Eles não estabelecem explicitamente a ligação entre entidades em diferentes modalidades antes de tentar responder. O CoT padrão traz apenas melhorias marginais (1,7%), indicando que o modelo precisa ser treinado ou guiado para esse tipo específico de raciocínio estruturado.

4. Soluções Propostas

Para induzir esses padrões de pensamento, foram propostas duas estratégias:

1. Aprendizado em Contexto (In-Context Learning - ICL) - Sem Treinamento:

   • Uso de prompts dedicados que guiam o modelo passo a passo a localizar o referente na modalidade de origem e depois na de destino antes de gerar a resposta.
   • Resultado: Reduziu o gap entre tarefas unimodais e cruzadas de 24,37% para 11,01%, com um ganho relativo de 21% nas tarefas cruzadas.

2. Treinamento Baseado em SFT + GRPO:

   • SFT (Supervised Fine-Tuning): Ajuste fino com dados que incluem os raciocínios passo a passo (rationales).
   • GRPO (Group Relative Policy Optimization): Um método de aprendizado por reforço que introduz uma recompensa específica para padrões de pensamento. O objetivo de recompensa avalia não apenas a resposta final, mas também a consistência contextual, a coerência lógica e a estrutura do raciocínio de alinhamento cruzado.
   • Resultado: O método SFT+GRPO obteve os maiores ganhos, superando significativamente o desempenho base e o CoT padrão.

5. Resultados Principais

• Desempenho no CROSSOMNI: O modelo Qwen2.5-Omni-7B, após o treinamento com GRPO, melhorou seu desempenho geral em 24,23%, com ganhos substanciais nas tarefas de referência cruzada.
• Generalização (OOD): O treinamento focado em alinhamento de referência demonstrou capacidade de generalização para benchmarks fora da distribuição (OOD) como Daily-Omni e WorldSense.
  • Em WorldSense, o SFT puro causou uma leve queda de desempenho devido a diferenças de distribuição, mas o GRPO recuperou e superou o desempenho base, provando que o modelo aprendeu a alinhamento robusto e não apenas a memorizar o dataset.
• Ablação: Estudos mostraram que remover a supervisão de CoT no SFT ou a recompensa de padrão de pensamento no GRPO resultou em quedas de desempenho, confirmando que a indução explícita desses padrões de pensamento é crucial.

6. Contribuições e Significância

• Novo Paradigma: A paper formaliza o "alinhamento de referência cruzada" como um componente fundamental e anteriormente negligenciado para o avanço do raciocínio em Omni-LLMs, deslocando o foco da simples agregação multimodal para o alinhamento fino de entidades.
• Dataset e Benchmark: O CROSSOMNI é a primeira avaliação abrangente que isola e mede especificamente a capacidade de transferir referências entre áudio, vídeo e texto com justificativas de raciocínio.
• Método de Treinamento: Demonstra que induzir padrões de pensamento estruturados (via ICL ou GRPO) é mais eficaz do que apenas aumentar a capacidade do modelo ou usar prompts genéricos.
• Impacto: Os resultados sugerem que a "peça faltante" para Omni-LLMs confiáveis é a capacidade de rastrear e alinhar entidades através de modalidades, o que é essencial para aplicações do mundo real onde a informação é dispersa e heterogênea.

Em resumo, o trabalho estabelece que a inteligência omni-modal robusta depende menos de ver/ouvir tudo e mais de saber conectar o que foi visto, ouvido e lido sobre a mesma entidade, e propõe métodos eficazes para ensinar essa habilidade aos modelos.