Resumo Técnico: Separar Primeiro, Fundir Depois (SFFL)

1. Declaração do Problema

Os Modelos de Linguagem Grandes Audiovisuais (AVLMs) atuais frequentemente sofrem de interferência cross-modal, onde informações de uma modalidade (por exemplo, visual) enviesam indevidamente a interpretação de outra (por exemplo, áudio), levando a alucinações. Por exemplo, um modelo pode atribuir um som a um animal visível no vídeo, mesmo que o áudio não contenha evidências desse som. Os autores atribuem isso a dois fatores primários:

1. Raciocínio Conjunto Não Controlado: A maioria dos AVLMs existentes concatena tokens de áudio e visual em um único fluxo, permitindo que sinais irrelevantes de uma modalidade interfiram no processo de raciocínio da outra.
2. Viés de Modalidade: Os modelos atuais exibem um viés dominado pelo visual, frequentemente dependendo excessivamente de pistas visuais enquanto subutilizam ou interpretam mal evidências auditivas.

2. Metodologia: Separar Primeiro, Fundir Depois (SFFL)

Os autores propõem o SFFL, um framework de raciocínio estruturado projetado para isolar o processamento específico de cada modalidade antes de integrar as evidências. O framework consiste em três componentes principais:

A. Pipeline de Dados de Modalidade de Evidência Preferida (PEM)

Para treinar o modelo a identificar qual modalidade fornece a evidência decisiva para uma pergunta específica, os autores construíram o conjunto de dados AVQA-PEM-14K.

• Processo: Para cada instância de AVQA, eles geram respostas de Cadeia de Pensamento (CoT) sob três configurações de entrada: Apenas Áudio (A), Apenas Vídeo (V) e Áudio-Visual (AV).
• Rotulagem: Com base nas taxas de consistência e correção entre essas configurações, as instâncias são rotuladas como:
  • PEM = Áudio: Solúvel por A e AV, mas não por V.
  • PEM = Visual: Solúvel por V e AV, mas não por A.
  • PEM = Áudio-Visual: Solúvel apenas por AV (requerendo ambos).
• Uso: Esses rótulos servem como um sinal auxiliar para incentivar preferências de modalidade dependentes da instância.

B. Raciocínio Estruturado com Máscara de Atenção Assimétrica de Modalidade (MAAM)

O SFFL impõe um paradigma de raciocínio "Separar-então-Fundir" usando tags de controle específicas (<mod>, <v>, <a>, <sum>, <ans>) para estruturar a saída.

• Separação: O modelo gera traços de raciocínio distintos para entradas visuais (<v>) e de áudio (<a>) independentemente.
• Fusão: As evidências são integradas apenas na etapa <sum> antes da resposta final.
• MAAM: Para evitar vazamento de informações durante as etapas de raciocínio separadas (onde a atenção causal padrão poderia permitir que um token atendesse a entradas da modalidade errada), os autores introduzem uma Máscara de Atenção Assimétrica de Modalidade. Essa máscara bloqueia explicitamente:
  • Tokens de raciocínio visual de atenderem a tokens de entrada de áudio.
  • Tokens de raciocínio de áudio de atenderem a tokens de entrada de vídeo ou ao intervalo de raciocínio visual.

C. Aprendizado por Reforço em Duas Etapas (GRPO)

O modelo é treinado usando Otimização de Política Relativa em Grupo (GRPO) com duas etapas distintas e funções de recompensa:

1. Etapa 1 (Estrutura e Preferência): Otimiza para a Recompensa de Preferência de Modalidade e Estrutura ($R_{mps}$). O modelo é recompensado por identificar corretamente a PEM e aderir à estrutura de raciocínio separada.
2. Etapa 2 (Precisão e Estrutura): Otimiza para uma soma ponderada da Recompensa de Precisão da Resposta ($R_{acc}$) e da recompensa de estrutura. Esta etapa refina a capacidade do modelo de produzir respostas corretas enquanto mantém a estrutura de raciocínio isolada.

3. Contribuições Principais

1. Framework SFFL: Um paradigma de raciocínio inovador que impõe isolamento de modalidade durante a etapa de Cadeia de Pensamento e adia a fusão até a etapa de integração de evidências, prevenindo interferência cross-modal prematura.
2. Pipeline de Dados PEM: Um método para construir automaticamente dados de treinamento com rótulos de "Modalidade de Evidência Preferida", permitindo que o modelo aprenda a dependência de modalidades específicas dependente da instância.
3. Máscara de Atenção Assimétrica de Modalidade (MAAM): Um mecanismo para impor estritamente o isolamento de modalidade durante a geração de tokens, abordando o emaranhamento estrutural de informações audiovisuais em mecanismos de atenção padrão.
4. Treinamento GRPO em Duas Etapas: Uma estratégia de treinamento que primeiro alinha a preferência de evidência e a estrutura de raciocínio do modelo e, em seguida, otimiza para a precisão da resposta, equilibrando robustez e desempenho.

4. Resultados Experimentais

Os autores avaliaram o SFFL no AVHBench (alucinação cross-modal) e em três benchmarks gerais de AVQA (AVQA, Valor32k-AVQA v2.0, MUSIC-AVQA).

• Mitigação de Alucinações: No benchmark de alucinação cross-modal AVHBench, o SFFL alcançou um ganho relativo médio de 11,17% em comparação com as linhas de base.
• Desempenho Geral: Nos benchmarks gerais de AVQA, o SFFL produziu um ganho relativo médio de 5,16%.
• Ganhos Específicos: Usando o backbone Qwen3-Omni-30B, o SFFL melhorou a pontuação média de alucinação para 81,29 (vs. 73,12 zero-shot) e a média geral de QA para 80,24.
• Estudos de Ablação:
  • SFR (Raciocínio Separar-então-Fundir): Melhorou principalmente o desempenho em tarefas que exigem consistência entre modalidades (MIS), reduzindo interferências.
  • MAAM: Proporcionou ganhos consistentes e significativos em todas as métricas ao suprimir efetivamente o vazamento cross-modal.
  • Estratégia de Treinamento: A abordagem GRPO em duas etapas superou tanto as linhas de base SFT quanto as de GRPO com recompensa única, demonstrando a necessidade de alinhar a preferência de modalidade antes de otimizar para a precisão da resposta.

5. Significado e Alegações

O artigo afirma que o SFFL oferece uma solução eficaz para a interferência cross-modal ao reestruturar fundamentalmente como os AVLMs processam informações. Em vez de depender de restrições heurísticas ou correções post-hoc caras, o SFFL aborda o emaranhamento estrutural de dados de áudio e visual na fonte.

Os autores enfatizam que seu método não injeta novos conhecimentos, mas sim desbloqueia a capacidade latente de backbones existentes. Ao alinhar o processo de raciocínio do modelo com os requisitos de evidência específicos da instância (via PEM) e prevenir o vazamento de informações (via MAAM), o framework aprimora significativamente tanto a precisão quanto a robustez do raciocínio audiovisual, particularmente em cenários propensos a alucinações.