Retrieving to Recover: Towards Incomplete Audio-Visual Question Answering via Semantic-consistent Purification

Resumo Técnico: R2ScP para Resposta a Perguntas Audiovisuais (AVQA) com Modalidades Incompletas

1. O Problema

As tarefas de Resposta a Perguntas Audiovisuais (AVQA) exigem que os modelos raciocinem integrando informações visuais, auditivas e textuais para compreender cenas dinâmicas. No entanto, a maioria dos métodos atuais assume que todas as modalidades estão presentes. Em cenários do mundo real (falhas de sensores, oclusão, interrupções de transmissão), a ausência de uma modalidade crítica (ex: perda do áudio em um vídeo de concerto) causa uma degradação severa no desempenho.

Os métodos existentes para lidar com dados incompletos baseiam-se predominantemente em imputação generativa (gerar características sintéticas para a modalidade faltante). O artigo identifica limitações críticas nessa abordagem:

• Alucinação Semântica: Modelos generativos tendem a produzir características de "conhecimento comum" genéricas, falhando em capturar detalhes específicos da modalidade (ex: gerar um som de "música" genérico em vez do timbre específico de um violino).
• Ruído: A síntese de características faltantes frequentemente introduz ruído que confunde o processo de raciocínio, comprometendo a precisão.

2. Metodologia: Framework R2ScP

Os autores propõem o R2ScP (Retrieving to Recover via Semantic-consistent Purification), que muda o paradigma de "gerar" para "recuperar". Em vez de sintetizar dados inexistentes, o modelo recupera segmentos de características de alta qualidade de um banco de dados semântico unificado e os purifica.

O framework é composto pelos seguintes componentes principais:

A. Recuperação Cross-Modal (CMR - Cross-Modal Retrieval)

• Utiliza um espaço semântico unificado (ex: ImageBind) para construir um banco de memória externo contendo pares de chaves e vetores de características.
• Dada uma entrada com uma modalidade faltante (ex: áudio), o modelo usa a modalidade disponível (ex: visual) como query para recuperar os top-n candidatos mais semanticamente similares do banco de dados.

B. Purificação Adaptativa Consciente de Contexto (CAP - Context-aware Adaptive Purification)
Como a recuperação bruta pode introduzir informações irrelevantes ou conflitantes, o mecanismo CAP atua como um filtro semântico dinâmico em três fases:

1. Perfilamento de Ruído Baseado em Consistência: Calcula a "dissonância" entre os tokens recuperados e o contexto global da modalidade disponível. Tokens com alta dissonância (ruído) são identificados e mascarados.
2. Aquisição Semântica Guiada por Texto: Utiliza a pergunta textual como instrução de alto nível para identificar, dentro do conhecimento comum, quais características são mais relevantes para a tarefa.
3. Injeção Seletiva de Características: Realiza uma "cirurgia" nas representações, substituindo os tokens de ruído identificados na fase 1 por tokens de alta relevância identificados na fase 2, preservando o conteúdo recuperado que já era consistente.

C. Treinamento em Duas Etapas (Mixture of Experts - MoE)
Para modelar explicitamente a confiabilidade das fontes de informação (originais vs. recuperadas), o modelo utiliza uma estratégia de Mixture of Experts:

• Etapa 1 (Pré-treinamento): Treina especialistas independentes para cada modalidade (Visual, Áudio, Texto) para garantir representações discriminativas sem atalhos cross-modal.
• Etapa 2 (Mistura de Especialistas): Congela os especialistas e treina uma rede de gating (roteador) que aprende a ponderar dinamicamente a importância de cada especialista (incluindo o especialista da modalidade recuperada) com base no contexto de entrada.

D. Função de Perda com Ranking Semântico
Além da perda de tarefa padrão, introduz-se uma perda de ranking ($L_{rank}$) para garantir que as características recuperadas e purificadas sejam semanticamente superiores às amostras negativas, mas inferiores às características reais (ground truth), forçando o modelo a aprender um manifold semântico válido.

3. Contribuições Principais

1. Mudança de Paradigma: Propõe a recuperação baseada em busca (retrieval-based recovery) como alternativa à imputação generativa para AVQA incompleto, preservando detalhes específicos da modalidade.
2. Mecanismo CAP: Introduz um mecanismo inovador que filtra ruído semântico e alinha as características recuperadas com o contexto disponível e a intenção da pergunta, garantindo reconstrução de alta fidelidade.
3. Desempenho Superior: Demonstra, através de extensos experimentos, que o R2ScP supera os métodos state-of-the-art (SOTA) em diversos cenários de modalidades faltantes, mantendo robustez mesmo com altas taxas de perda de dados.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados Music-AVQA e AVQA.

• Desempenho Geral: O R2ScP alcançou uma precisão média de 71,54% no Music-AVQA e 76,35% no AVQA, superando consistentemente os concorrentes (como IMOL, SimMLM, MoMKE e Missing-AVQA).
• Robustez: O ganho de desempenho foi mais pronunciado em cenários com alta taxa de dados faltantes (até 70%). Enquanto métodos baseados em geração sofrem degradação acentuada à medida que o contexto disponível diminui, o R2ScP mantém a estabilidade ao recuperar conhecimento externo.
• Ablação:
  • A remoção da etapa de mistura de especialistas (Stage II) causou a maior queda de desempenho, destacando a importância do roteamento dinâmico.
  • A combinação de CMR e CAP foi essencial; o uso isolado de CAP refinou características, mas a recuperação (CMR) forneceu a evidência bruta necessária.
• Análise de Corpus: O uso de um corpus de recuperação alinhado ao domínio (ex: Music-AVQA para perguntas de música) resultou na melhor precisão, validando a importância da consistência de domínio.
• Visualização (t-SNE): O R2ScP produziu agrupamentos de características mais densos e separáveis em comparação com a linha de base e o IMOL, indicando melhor capacidade de distinção entre categorias de respostas.

5. Significância e Conclusão

O trabalho R2ScP é significativo porque aborda uma lacuna crítica na aplicação prática de IA multimodal: a robustez em condições de dados imperfeitos. Ao abandonar a tentativa de "imaginar" dados que não existem (geração) e adotar a estratégia de "buscar e refinar" conhecimento real existente (recuperação), o modelo evita alucinações comuns em tarefas complexas de raciocínio.

A proposta oferece uma nova direção para o aprendizado multimodal incompleto, demonstrando que a integração de bancos de conhecimento externos com mecanismos de filtragem semântica rigorosa pode superar as limitações dos modelos puramente generativos. Futuras pesquisas sugeridas incluem a expansão para bancos de dados de recuperação em maior escala e a adaptação do método para lidar com modalidades faltantes também durante a fase de treinamento.