Resumo Técnico: VGGSounder: Avaliações Áudio-Visuais para Modelos de Fundação

Declaração do Problema

A emergência de modelos de fundação áudio-visuais necessita de benchmarks confiáveis para avaliar sua compreensão multimodal. Embora o conjunto de dados VGGSound seja o benchmark padrão para classificação áudio-visual, os autores identificam limitações críticas que distorcem a avaliação das capacidades auditivas e visuais:

1. Rotulagem Incompleta: O VGGSound utiliza um esquema de classificação de rótulo único, enquanto o conteúdo de vídeo é inerentemente multilabel (ex: um vídeo pode conter tanto "tocando bateria" quanto "tocando violão").
2. Classes Sobrepostas e Ambíguas: As 309 classes do VGGSound incluem pares sinônimos (ex: "timpani" vs. "tympani"), subclasses estritas (ex: "cow lowing" vs. "bull bellowing") e conceitos semanticamente sobrepostos que não são mutuamente exclusivos.
3. Desalinhamento de Modalidade: Apesar das etapas de verificação, uma parte significativa das amostras (48,43% no conjunto de teste) contém rótulos que não são visíveis, não são audíveis, ou ambos. Confundidores comuns incluem música de fundo, narrações (voice-overs) e imagens estáticas, que criam pistas que não se alinham com o rótulo de verdade fundamental (ground-truth) em ambas as modalidades.

Esses problemas levam a uma subavaliação sistemática de modelos multimodais, particularmente modelos de fundação que não foram especificamente ajustados (fine-tuned) no VGGSound, e obscurecem a dependência específica dos modelos em relação às pistas de áudio versus visuais.

Metodologia

Para abordar essas limitações, os autores introduzem o VGGSounder, um conjunto de teste re-anotado de forma abrangente e multilabel que estende o VGGSound. A metodologia envolve um pipeline de anotação rigoroso:

1. Mudança para Classificação Multi-Label: O benchmark transita de classificação de rótulo único para multi-label para acomodar eventos que ocorrem simultaneamente.
2. Pipeline de Anotação Humana:
   • Criação do Padrão de Ouro (Gold Standard): Um subconjunto de 417 amostras foi rotulado manualmente por quatro especialistas em visão computacional para estabelecer um conjunto de referência.
   • Geração de Propostas: Uma estratégia híbrida combinando previsões de modelos de última geração e heurísticas manuais foi usada para gerar propostas de rótulos com recall >93%.
   • Re-anotação via Crowdsourcing: Todo o conjunto de teste do VGGSound (15,1k clipes) foi re-anotado via Amazon Mechanical Turk. Os anotadores foram incumbidos de:
     • Identificar a presença de música de fundo, narração (voice-over) ou imagens estáticas (meta-rótulos).
     • Determinar a modalidade de cada proposta de rótulo (Audível, Visível ou Ambos).
     • Adicionar classes ausentes que não estavam presentes nas propostas.
3. Fusão de Rótulos: Os rótulos finais foram fundidos via votação majoritária. Classes sinônimas e relações de superclasse/subclasse foram automaticamente aplicadas para garantir consistência (ex: se "cow lowing" estiver presente, "cattle mooing" é adicionado).
4. Novas Métricas de Avaliação:
   • Métricas Padrão: Subset Accuracy, F1-score e Hit score foram computados para entradas unimodais (apenas áudio, apenas visual) e multimodais.
   • Confusão de Modalidade ($\mu$): Uma nova métrica proposta para quantificar o impacto negativo de adicionar uma segunda modalidade. Ela mede a fração de amostras que um modelo classifica corretamente com uma única modalidade, mas incorretamente quando ambas as modalidades estão presentes. Isso expõe modelos "distraídos", onde as modalidades falham ao se fundir com sucesso.

Principais Contribuições

1. Dataset VGGSounder: Um benchmark de classificação áudio-visual multi-label com anotações detalhadas de modalidade por rótulo (Audível/Visível) e meta-rótulos para confundidores comuns (música de fundo, narração, imagens estáticas).
2. Análise de Limitações: Uma demonstração qualitativa e quantitativa das falhas do VGGSound, incluindo altas taxas de desalinhamento de modalidade e coocorrência de classes.
3. Benchmarking Abrangente: Avaliação de 11 modelos de última geração, incluindo quatro modelos de embedding áudio-visual (CAV-MAE, DeepAVFusion, AV-Siam, Equi-AV) e sete modelos de fundação (família Gemini, VideoLLaMA-2, Unified-IO-2, PandaGPT, Ola).
4. Métrica de Confusão de Modalidade: A introdução de $\mu$ para detectar a degradação de desempenho quando os modelos são expostos a entradas de modalidades adicionais.

Resultados

Os autores testaram os modelos no VGGSounder, revelando várias descobertas importantes:

• Modelos de Fundação vs. Modelos de Embedding: Embora os modelos de fundação tenham desempenho comparável aos modelos de embedding especializados em entradas multimodais, seu desempenho unimodal difere significativamente. Modelos de embedding (ajustados no VGGSound) dependem fortemente de pistas de áudio, enquanto os modelos de fundação exibem um forte viés para pistas visuais, muitas vezes apresentando um desempenho ruim em entradas apenas de áudio.
• Confusão de Modalidade: Todos os modelos sofrem de confusão de modalidade. Uma fração notável de amostras (4–11%) é classificada corretamente com uma única modalidade, mas classificada incorretamente quando ambas são fornecidas. Para a maioria dos modelos de fundação, a confusão é maior quando o áudio é adicionado à entrada visual ($\mu_A > \mu_V$), sugerindo que eles "esquecem" os rótulos audíveis quando a informação visual está presente.
• Impacto de Meta-Classes:
  • Música de Fundo: Todos os modelos têm dificuldade em desacoplar a música de fundo da fonte de áudio primária, levando a quedas de desempenho.
  • Narração (Voice-Over): Modelos de embedding sofrem quedas significativas de desempenho com narrações, enquanto modelos de fundação são menos distraídos ou até melhoram.
  • Imagens Estáticas: O desempenho visual cai para todos os modelos em imagens estáticas, indicando uma dependência de pistas temporais.
• Qualidade dos Rótulos: A inclusão de rótulos curados por humanos (em vez de apenas sinônimos gerados automaticamente) reduziu significativamente os falsos positivos e melhorou a precisão do perfil de desempenho em comparação com o VGGSound original.

Significância

O artigo argumenta que o VGGSounder é uma ferramenta crítica para a avaliação precisa da próxima geração de modelos de fundação áudio-visuais. Ao fornecer anotações conscientes da modalidade, ele permite:

• Perfilamento Preciso: Pesquisadores podem distinguir se um modelo depende de pistas de áudio, visuais ou de ambos, e identificar modos de falha específicos (ex: distração por música de fundo).
• Avaliação Robusta: O ambiente multi-label e a remoção de amostras desalinhadas evitam a avaliação distorcida das capacidades dos modelos encontrada no VGGSound original.
• Insight Diagnóstico: A métrica de confusão de modalidade ($\mu$) fornece uma medida quantitativa de quão bem os modelos integram as modalidades, destacando que adicionar uma segunda modalidade nem sempre melhora o desempenho e pode, às vezes, degradá-lo.

Os autores concluem que o VGGSounder facilita o desenvolvimento de estratégias de mitigação para a confusão de modalidade e serve como uma base mais confiável para avaliar a compreensão multimodal.