Resumo Técnico: AVI-Bench: Rumo à Inteligência Áudio-Visual de Nível Humano para Omni-MLLMs

1. Definição do Problema

Embora os avanços recentes em Modelos de Linguagem de Grande Escala Omni-Multimodais (Omni-MLLMs) tenham permitido a integração de texto, visão e áudio, sua Inteligência Áudio-Visual (AVI) permanece insuficientemente avaliada. Os benchmarks existentes são frequentemente específicos de uma modalidade (por exemplo, linguagem-visão ou linguagem-áudio) ou carecem de um framework unificado e estruturado para avaliar a natureza multifacetada de cenários do mundo real que envolvem múltiplas modalidades. As avaliações atuais dependem frequentemente de métricas agregadas que mascaram modos de falha específicos, tais como desequilíbrios de modalidade, gargalos em estágios cognitivos e baixa adaptação a domínios desconhecidos. Consequentemente, há uma falta de ferramentas sistemáticas para diagnosticar se esses modelos possuem capacidades genuínas de nível humano na percepção, integração e raciocínio através de entradas de áudio e visuais.

2. Metodologia

2.1. Framework AVI-Bench

Os autores introduzem o AVI-Bench, um benchmark de inspiração cognitiva projetado para avaliar Omni-MLLMs através de três estágios cognitivos integrados e uma extensão única para testes de robustez:

1. Percepção: Avalia a detecção e o reconhecimento de entidades semânticas fundamentais (ex: Classificação Multinstância Áudio-Visual, Localização Áudio-Visual, Correspondência Áudio-Visual).
2. Compreensão: Avalia a integração e o raciocínio sobre o contexto multimodal (ex: Legendagem Áudio-Visual, Recuperação Cross-modal).
3. Raciocínio: Investiga a inferência de ordem superior, incluindo respostas baseadas em compreensão holística e o mapeamento de referências linguísticas para objetos ou eventos específicos (ex: AVQA, Grounding de Linguagem Áudio-Visual).
4. Sensação Primitiva (AVI-Bench-PriSe): Uma extensão que avalia a adaptação do modelo a estímulos desconhecidos e de baixa semântica. Este estágio testa se os modelos podem realizar tarefas sensoriais básicas (detectar variações em cor, volume, textura, geometria) quando o contexto semântico é mínimo, investigando a "sensação primitiva" além das distribuições de treinamento padrão.

O benchmark compreende 5.864 amostras distribuídas em 14 tarefas diversas e 9 métricas, garantindo um equilíbrio entre tarefas dominadas por áudio, dominadas por visão e tarefas de colaboração intensiva em cada estágio.

2.2. Taxonomia de Quatro Níveis

Para ir além de simples pontuações agregadas, o artigo propõe uma taxonomia principial de quatro níveis para classificar a AVI:

• Nível 1 (Adaptável à Tarefa): Desempenho basal em todas as tarefas.
• Nível 2 (Adaptável à Modalidade): Mede o equilíbrio entre as capacidades de áudio e visão, penalizando modelos que atuam como "especialistas visuais".
• Nível 3 (Adaptável ao Estágio): Avalia se o raciocínio está fundamentado em pré-requisitos de percepção e compreensão, identificando gargalos onde o raciocínio ultrapassa os estágios cognitivos de nível inferior.
• Nível 4 (Adaptável ao Domínio): Avalia a robustez comparando o desempenho em domínios familiares versus os domínios desconhecidos do AVI-Bench-PriSe, utilizando uma média harmônica para garantir que nenhum domínio domine a pontuação.

2.3. Protocolo de Avaliação

O estudo avalia 28 Omni-MLLMs, incluindo modelos de código fechado (ex: GPT-4o, série Gemini) e modelos de código aberto (ex: Qwen2.5-Omni, Baichuan-Omni-1.5). A avaliação utiliza prompts padronizados, sementes aleatórias fixas e um mecanismo de dupla confirmação para tarefas de sensação primitiva para minimizar alucinações e garantir a precisão da avaliação.

3. Principais Contribuições

• AVI-Bench & AVI-Bench-PriSe: Um benchmark abrangente e cognitivamente fundamentado que abrange percepção, compreensão, raciocínio e sensação primitiva, apresentando 14 tarefas e 9 métricas.
• Taxonomia de Quatro Níveis: Um framework estruturado (adaptável à tarefa, modalidade, estágio e domínio) que fornece uma visão matizada e interpretável das capacidades dos modelos, revelando limitações ocultas em pontuações agregadas.
• Insights Empíricos: Avaliação extensa de 28 modelos revelando gargalos críticos, incluindo desequilíbrios de modalidade (dominância visual), restrições específicas de estágio (percepção limitando o raciocínio) e lacunas significativas na adaptação a domínios desconhecidos.
• Baseline de Desempenho Humano: Um estudo piloto comparando o desempenho dos modelos com sujeitos humanos, destacando lacunas substanciais, particularmente em sensação primitiva e tarefas de grounding.

4. Principais Resultados e Observações

• Sinergia e Gargalos: O desempenho através dos estágios cognitivos é positivamente correlacionado; no entanto, a percepção e a compreensão atuam como gargalos críticos. Modelos com raciocínio forte, mas percepção fraca (ou vice-versa), falham em alcançar uma AVI robusta.
• Desequilíbrio de Modalidade: A maioria dos Omni-MLLMs destaca-se em tarefas visualmente dominantes, mas apresenta atraso significativo em tarefas dominadas pelo áudio, indicando um viés de "especialista visual" em vez de uma verdadeira integração áudio-visual.
• Desafios de Grounding: O grounding áudio-visual refinado (ex: localizar fontes sonoras ou expressões de referência) continua sendo um grande desafio. Mesmo os modelos de alto desempenho, como o Gemini-2.5-Pro, alcançam pontuações baixas (ex: ~35-39%) em tarefas de grounding, com modelos de código aberto apresentando desempenho ainda inferior.
• Lacuna de Sensação Primitiva: Os modelos lutam significativamente com estímulos de baixa semântica e desconhecidos. A lacuna de desempenho entre tarefas de raciocínio e tarefas de sensação primitiva é substancial (variando de 47,6% a 82,7%), sugerindo que os modelos dependem fortemente de priors semânticos em vez de uma genuína adaptação sensorial.
• Escala e Arquitetura: Modelos maiores geralmente superam os menores, mas escolhas arquiteturais (ex: mistura de LoRA) e estratégias de treinamento impactam significativamente o desempenho, permitindo às vezes que modelos menores superem seus equivalentes maiores em dimensões específicas.

5. Significância e Alegações

O artigo afirma que o AVI-Bench fornece um framework de avaliação principial para guiar o desenvolvimento de Omni-MLLMs mais robustos e generalizáveis. Ao mudar de métricas fragmentadas específicas de tarefas para uma avaliação holística e cognitivamente alinhada, o benchmark:

• Revela gargalos críticos (desequilíbrio de modalidade, grounding fraco, má adaptação de domínio) que impedem o progresso em direção à Inteligência Artificial Geral (AGI).
• Oferece uma taxonomia estruturada que permite um diagnóstico detalhado de modos de falha, distinguindo entre modelos que apenas se ajustam a padrões e aqueles que exibem integração cognitiva semelhante à humana.
• Estabelece uma base rigorosa para pesquisas futuras, enfatizando a necessidade de inteligência áudio-visual equilibrada e robustez além das distribuições de treinamento comuns.

Os autores posicionam o AVI-Bench não como uma ferramenta de treinamento, mas como um recurso de diagnóstico para apoiar a pesquisa de segurança, auditoria de modelos e o avanço responsável de sistemas de IA multimodais.