Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy

Este trabalho demonstra que os benchmarks atuais de compreensão de vídeo negligenciam a importância da audição ao serem resolvidos majoritariamente por pistas visuais, mas confirma que a integração de codificadores de fala em modelos de linguagem multimodais traz ganhos significativos em tarefas que exigem compreensão de áudio e alinhamento cruzado, propondo uma arquitetura escalável e de código aberto para remediar essa lacuna.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a entender filmes e vídeos. Até hoje, a maioria desses robôs foi treinada de uma maneira estranha: eles assistem ao filme, mas com os fones de ouvido desligados.

Os pesquisadores deste trabalho descobriram que isso acontece por dois motivos principais:

1. Os "provas" (benchmarks) são ruins: As perguntas que usamos para testar esses robôs podem ser respondidas apenas olhando para a imagem, sem precisar ouvir nada. É como fazer uma prova de português onde todas as respostas estão escritas nas ilustrações do livro.
2. O "som" é muito grande: O áudio de um vídeo gera uma quantidade gigantesca de dados (como se fosse um rio transbordando), o que deixa o robô lento e confuso se não for tratado com cuidado.

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Problema: O Robô "Surdo"

Os autores auditaram 10 testes famosos de inteligência artificial. Eles descobriram algo chocante: 77% das perguntas poderiam ser respondidas corretamente apenas olhando para um único quadro congelado do vídeo, sem áudio e sem o resto do filme.

• A Analogia: Imagine que você pergunta a um aluno: "Quem falou mais baixo na reunião?". Se o aluno só puder olhar para uma foto da sala onde todos estão sorrindo, ele não consegue responder. Mas, se o teste for "Quem está usando uma camisa vermelha?", ele responde olhando a foto. A maioria dos testes atuais são perguntas sobre a "camisa vermelha", ignorando a "voz baixa". Por isso, os robôs nunca aprenderam a ouvir.

2. A Solução: Conectar os Ouvidos (e o Filtro Mágico)

Os pesquisadores pegaram um modelo de IA moderno (chamado LLaVA) e conectaram um "ouvido" (um encoder de áudio) a ele. Mas havia um problema: o áudio gera tantos dados que o robô ficaria lento demais para processar um vídeo de 1 hora.

• A Analogia do Filtro: Pense no áudio como um rio de água barrenta (muitos dados, muita informação, mas difícil de beber direto). Eles criaram um filtro inteligente (chamado compressor baseado em Mamba).
  • Em vez de beber 90.000 gotas de água por hora (o que deixaria o robô engasgado), o filtro seleciona apenas as gotas mais importantes, reduzindo para cerca de 3.600 gotas.
  • Isso permite que o robô "ouça" o vídeo inteiro sem travar, mantendo a velocidade alta.

3. O Resultado: Quando o Som Realmente Importa

Depois de consertar os testes (removendo as perguntas que podiam ser respondidas só com a imagem) e adicionar o filtro de áudio, eles viram o que aconteceu:

• Para tarefas visuais: O robô não mudou muito. Se a pergunta era "Quantas pessoas estão na sala?", ouvir não ajudou.
• Para tarefas de áudio: O robô ficou muito melhor. Em perguntas como "Quem está falando mais baixo?" ou "O que foi dito naquela frase confusa?", o robô com "ouvidos" acertou muito mais do que o robô "surdo".

4. A Lição Principal

O título do artigo faz uma pergunta: "Os Video-LLMs modernos precisam ouvir?"
A resposta é: Sim, mas só se nós os obrigarmos a ouvir.

Se os testes forem mal feitos (permitindo respostas apenas visuais), o robô não aprende a ouvir. Mas, quando os testes são justos e exigem que ele use os dois sentidos (visão e audição), a IA se torna muito mais capaz.

Resumo da Ópera:
Os autores criaram um "filtro mágico" que permite aos robôs processar o som de vídeos longos de forma rápida e eficiente. Eles provaram que, quando paramos de fazer testes "trampas" (que só exigem visão), os robôs que sabem ouvir resolvem problemas que os outros não conseguem. Agora, eles liberaram tudo de graça para que a comunidade possa construir robôs que realmente entendam o mundo como nós: vendo e ouvindo ao mesmo tempo.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy", apresentado em português:

1. O Problema

O artigo identifica uma lacuna crítica no desenvolvimento e avaliação de Modelos de Linguagem Visual (Video-LLMs): a exclusão sistemática de codificadores de fala e áudio, apesar da maturidade de modelos como Whisper e Qwen2-Audio.

• Causa Raiz: Os benchmarks (conjuntos de testes) atuais, mesmo os rotulados como "audio-visuais" (ex: AVQA, ActivityNetQA), são predominantemente resolvidos apenas com pistas visuais. O artigo demonstra que muitos desses testes permitem "atalhos visuais" (shortcuts), onde a resposta correta pode ser deduzida sem ouvir o áudio.
• Consequência: Isso cria um ciclo vicioso onde os modelos não são treinados ou avaliados para "ouvir", normalizando a mutação do áudio.
• Desafio de Escala: Integrar áudio diretamente gera um custo computacional proibitivo. Front-ends de áudio operam a 25–50 Hz; um vídeo de 1 hora gera ~90.000 tokens de áudio, saturando rapidamente o orçamento de contexto dos LLMs. Modelos que não comprimem o áudio (como o Qwen2.5-Omni) sofrem com latência excessiva (4,1s vs 1,0s por amostra).

2. Metodologia

Os autores propõem uma abordagem em duas frentes: uma auditoria rigorosa dos benchmarks e uma nova arquitetura de integração de áudio escalável.

A. Auditoria de Benchmarks (Protocolo de Filtro de Quadro Único)

Para quantificar a dependência real de áudio, os autores desenvolveram um protocolo conservador:

• Teste: Alimentam o modelo GPT-4o apenas com o quadro central temporal do vídeo (sem áudio e sem outros quadros).
• Critério: Se o modelo acertar a resposta apenas com essa imagem única, o item é considerado "solúvel sem áudio" e removido do conjunto de avaliação.
• Objetivo: Criar um subconjunto filtrado que force o modelo a depender de pistas multimodais reais, eliminando os atalhos visuais.

B. Arquitetura de Integração e Compressão

Baseando-se no LLaVA-OneVision, os autores integram um codificador de áudio (Qwen2-Audio/Whisper) e comparam estratégias de entrada e compressão:

• Estratégias de Entrada:
  1. Apenas Visão.
  2. Não intercalada (todos os tokens visuais seguidos pelos de áudio).
  3. Intercalada temporalmente: Tokens de áudio posicionados adjacentes aos tokens de vídeo correspondentes no tempo.
• Compressão de Tokens de Áudio: Para lidar com a alta taxa de amostragem (25 Hz), propõem um módulo de compressão leve que reduz a taxa para ~1 Hz (fator de 25x).
  • Mecanismo: Um design de "consulta periódica" (periodic-query) onde uma query treinável compartilhada é inserida a cada $R$ passos (tokens) e passa por uma rede de compressão.
  • Arquiteturas Comparadas:
    1. Avg Pool (Média simples + MLP).
    2. Resampler (Cross-attention com queries aprendíveis).
    3. UniMamba (SSM causal/unidirecional).
    4. BiMamba (SSM bidirecional).
    5. UniMambaMia: Uma adaptação do MambaMia com backbone causal e atenção com portão (gated attention) para re-pesagem de tokens.

3. Contribuições Principais

1. Auditoria de 10 Benchmarks: Revelaram que até ~77-80% dos itens em conjuntos populares (como TempCompass e AVQA) podem ser resolvidos apenas com um quadro silencioso. Eles lançam as divisões filtradas para avaliação mais justa.
2. Prova de Valor do Áudio: Demonstraram que, após remover os atalhos visuais, o áudio traz ganhos claros e significativos em tarefas que exigem compreensão de fala ou grounding multimodal (ex: AVSpeakerBench, WorldSense).
3. Solução Escalável de Compressão: Identificaram que uma arquitetura baseada em Mamba Causal (UniMambaMia) é a mais estável e eficiente, permitindo compressão de 25x (de 90k para ~3,6k tokens/hora) sem perda drástica de desempenho e compatível com inferência em streaming.

4. Resultados Chave

• Impacto do Filtro: Ao aplicar o filtro de quadro único, a pontuação de modelos sem áudio cai drasticamente em benchmarks como AVQA (de ~92% para ~73%), confirmando que muitos itens anteriores não testavam a capacidade de ouvir.
• Ganhos com Áudio Filtrado: No conjunto filtrado, a adição de áudio melhorou o desempenho em 5 dos 10 benchmarks, com ganhos notáveis em:
  • AVSpeakerBench: +3,0 pontos percentuais (pp).
  • WorldSense: +2,5 pp.
  • VideoMME: +2,3 pp.
  • LongVideoBench: +2,2 pp.
• Comparação de Compressores: O UniMambaMia (causal) superou ou empatou com os outros em 4 dos 6 benchmarks filtrados. Curiosamente, modelos bidirecionais (BiMamba) não ofereceram vantagem sobre os causais, sugerindo que o contexto futuro do áudio não é tão crítico quanto no vídeo 2D.
• Eficiência vs. Estado da Arte: O modelo proposto atinge resultados de ponta entre modelos baseados em Qwen2-7B, com uma latência moderada (1,60s vs 1,00s de modelos sem áudio), enquanto o Qwen2.5-Omni (que não comprime o áudio) sofre com latência de 4,12s.

5. Significado e Conclusão

O artigo conclui que sim, os Video-LLMs modernos precisam ouvir, mas apenas se os benchmarks forem projetados para exigir essa habilidade.

• Mudança de Paradigma: A mutação do áudio não é uma limitação técnica, mas uma falha de avaliação.
• Viabilidade: É possível integrar áudio de forma escalável e eficiente em vídeos longos usando compressão causal (Mamba) e intercalação temporal, sem sacrificar o desempenho visual.
• Futuro: O trabalho incentiva uma avaliação mais rigorosa de modelos multimodais, focando em tarefas onde o áudio é indispensável (como palestras, reuniões e vídeos do cotidiano), preenchendo a lacuna entre a avaliação atual e o uso no mundo real.

O código, modelos e os novos conjuntos de dados filtrados foram disponibilizados publicamente no repositório do GitHub dos autores.