Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities

O artigo apresenta o Daily-Omni, um novo benchmark de perguntas e respostas multimodais focado em raciocínio temporal entre áudio e vídeo, que revela que os atuais Modelos de Linguagem Multimodal ainda enfrentam dificuldades significativas na alinhamento temporal robusto entre essas modalidades.

O essencial

Imagine que você está assistindo a um filme mudo antigo. Você vê os atores fazendo gestos dramáticos, mas não ouve o som. Ou então, imagine que você está em um quarto escuro, ouvindo uma conversa, mas não consegue ver quem está falando ou o que eles estão fazendo. Em ambos os casos, você perde metade da história.

O papel Daily-Omni trata exatamente desse problema, mas aplicado à inteligência artificial (IA).

Aqui está uma explicação simples do que os pesquisadores da Universidade Fudan fizeram:

1. O Problema: IAs que "ouvem" e "veem" de forma separada

Hoje, temos IAs muito inteligentes que são ótimas em entender imagens (como reconhecer um gato em uma foto) e outras que são ótimas em entender áudio (como transcrever uma fala). Mas, quando tentamos fazer uma IA entender vídeos (onde o som e a imagem acontecem ao mesmo tempo), ela costuma ficar confusa.

É como se você tivesse um detetive que é excelente em ler pistas escritas e outro que é excelente em ouvir testemunhas, mas eles nunca conversam entre si. Quando o detetive precisa resolver um caso onde a pista visual e a pista sonora precisam ser combinadas exatamente no mesmo segundo, eles falham.

2. A Solução: O "Daily-Omni" (Um novo teste de realidade)

Os pesquisadores criaram um novo "campo de provas" chamado Daily-Omni. Pense nele como um exame de direção para IAs multimodais.

• O que é: Um banco de dados com 684 vídeos do mundo real (coisas do dia a dia, como alguém cozinhando, uma festa barulhenta, um acidente de carro) e quase 1.200 perguntas de múltipla escolha.
• O desafio: As perguntas não são simples como "O que é isso?". Elas exigem raciocínio temporal.
  • Exemplo: "Quem estava falando enquanto a porta batia?"
  • Exemplo: "O som de vidro quebrando aconteceu antes ou depois da pessoa cair?"

Para responder, a IA precisa sincronizar perfeitamente o que ela "ouve" com o que ela "vê" no tempo certo. Se ela perder a sincronia, erra a resposta.

3. Como eles construíram isso? (A Fábrica de Perguntas)

Criar esse teste foi difícil. Eles não apenas pegaram vídeos aleatórios. Eles criaram uma "fábrica" automatizada (um pipeline) que:

1. Assiste e ouve: Usa IAs poderosas para descrever o vídeo e o áudio separadamente.
2. Conserta erros: Se a IA diz "ouvi um barulho de porta", mas o vídeo mostra uma pessoa batendo uma tampa de panela, o sistema corrige o erro.
3. Sincroniza: O passo mais importante é alinhar o evento visual com o evento sonoro. É como colocar legendas no momento exato em que o som acontece.
4. Filtra: Eles garantem que as perguntas não possam ser respondidas apenas lendo o texto, forçando a IA a realmente "ver" e "ouvir".

4. O Resultado: A IA ainda está "atrasada"

Quando eles testaram 24 das IAs mais modernas do mundo nesse novo teste, a notícia não foi muito boa:

• A maioria falha: Muitas IAs de ponta ainda têm dificuldade em conectar o som e a imagem no tempo certo. Elas conseguem dizer "tem um cachorro" e "tem um latido", mas não conseguem dizer com certeza se o latido veio do cachorro que está na tela neste exato momento.
• O "Truque" Funciona Melhor: Os pesquisadores criaram um "agente de diagnóstico" (o Daily-Omni Agent). Em vez de tentar fazer tudo de uma vez, ele divide o vídeo em pedaços, analisa cada pedaço separadamente e depois junta as informações. Surpreendentemente, esse método mais simples e organizado superou várias IAs complexas e caras.
• A Lição: Isso mostra que o problema não é falta de "inteligência" geral da IA, mas sim a falta de um mecanismo robusto para sincronizar os sentidos no tempo.

Resumo em uma Metáfora

Imagine que você está em uma orquestra.

• As IAs atuais são como músicos que tocam muito bem sozinhos (o violinista toca perfeitamente, o baterista também).
• Mas, quando tentam tocar juntos, o violinista começa a tocar um pouco antes do baterista, ou o baterista entra no compasso errado. O resultado é um caos, não uma música.
• O Daily-Omni é o maestro que grita: "Ei, vocês precisam olhar para o maestro e tocar exatamente juntos!"
• O estudo mostra que, embora os músicos sejam talentosos, eles ainda precisam de muito treino para tocar em perfeita sincronia.

Conclusão: O mundo da IA precisa focar mais em ensinar as máquinas a "sentir" o tempo entre o que veem e o que ouvem, para que elas possam realmente entender o mundo real como nós fazemos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities", apresentado em português:

1. O Problema

Embora os Modelos de Linguagem Multimodal (MLLMs) tenham alcançado desempenho promissor em benchmarks visuais e de áudio isoladamente, a capacidade desses modelos de processar informações cruzadas (cross-modal) de forma síncrona permanece pouco explorada. As limitações atuais incluem:

• Foco Desbalanceado: Muitos MLLMs priorizam a visão, negligenciando o áudio (especialmente sons não-fala, como ruídos ambientais ou mecânicos), devido à escassez de dados de áudio de alta qualidade em comparação com dados visuais.
• Falta de Alinhamento Temporal: Os conjuntos de dados existentes frequentemente ignoram a dinâmica temporal inerente aos vídeos do mundo real, utilizando pares estáticos de imagem-áudio ou focando em cenários especializados (como performances musicais).
• Dificuldade de Raciocínio: Os modelos atuais lutam para alinhar eventos auditivos e visuais que ocorrem simultaneamente ao longo do tempo, uma habilidade crucial para o raciocínio multimodal complexo.

2. Metodologia: Daily-Omni

Os autores introduzem o Daily-Omni, um benchmark de Perguntas e Respostas (QA) de áudio e vídeo projetado especificamente para avaliar o raciocínio multimodal alinhado temporalmente.

Construção do Dataset

• Escala e Diversidade: O dataset contém 684 vídeos do mundo real (extraídos de 11 categorias do YouTube, incluindo AudioSet, Video-MME e FineVideo) e 1.197 pares de perguntas e respostas de múltipla escolha.
• Segmentação Temporal: Os vídeos são segmentados em intervalos de 30 e 60 segundos para avaliar o desempenho em diferentes contextos temporais.
• Pipeline Semi-automático Escalável: Foi desenvolvido um pipeline automatizado para anotação, refinamento de consistência cruzada, elicitação de alinhamento temporal e filtragem de vazamento de texto (garantindo que a resposta não possa ser deduzida apenas pelo texto).
  • Anotação: Uso de modelos como Gemini 2.0 Flash para anotar áudio e vídeo independentemente em segmentos curtos.
  • Refinamento: Verificação de consistência visual e correção de áudio baseada no contexto visual (ex: corrigir um "som de impacto genérico" para "porta batendo" se o vídeo mostrar uma porta fechando).
  • Alinhamento de Eventos: Um passo crucial onde o modelo identifica quais eventos visuais ocorrem simultaneamente a quais eventos de áudio.
  • Filtragem: Perguntas que podem ser respondidas apenas por texto (sem necessidade de áudio/vídeo) são descartadas automaticamente e validadas manualmente.
• Tipos de Tarefas: O benchmark abrange 6 famílias de tarefas: Alinhamento de Eventos AV, Sequência de Eventos, Raciocínio (causa/efeito), Inferência, Comparação e Compreensão de Contexto.

Baseline Diagnóstico: Daily-Omni Agent

Para servir como referência heurística e isolar o problema do alinhamento, os autores criaram um baseline de diagnóstico sem treinamento (training-free).

• Arquitetura Modular: Combina modelos unimodais de ponta (Qwen2-Audio, Qwen2.5-VL, Whisper) e um LLM de raciocínio (Qwen2.5-14B).
• Mecanismo de Alinhamento: O agente divide o vídeo em segmentos, gera anotações independentes, realiza verificação de consistência e, crucialmente, utiliza um processo de "alinhamento inteligente" para identificar e vincular eventos visuais e auditivos específicos que são relevantes para responder à pergunta. Isso expõe explicitamente as evidências temporais localizadas ao modelo de raciocínio.

3. Principais Contribuições

1. Daily-Omni Benchmark: Um dataset de alta qualidade focado em raciocínio temporal cruzado, superando benchmarks anteriores em diversidade de sons e complexidade de tarefas.
2. Pipeline de Geração Escalável: Uma metodologia automatizada que reduz drasticamente o esforço humano (apenas 30 horas para um anotador revisar o conjunto final), permitindo a expansão futura do dataset.
3. Protocolo de Avaliação Diagnóstica: Uma avaliação abrangente de 24 modelos fundamentais sob 37 configurações (Áudio+Vídeo, Apenas Áudio, Apenas Vídeo, Apenas Texto), incluindo o baseline modular para analisar falhas de alinhamento.

4. Resultados Principais

• Desempenho dos Modelos: A maioria dos MLLMs end-to-end (incluindo modelos unificados de última geração) ainda luta com perguntas que exigem alinhamento temporal fino.
  • Modelos proprietários como o Gemini 2.5 Flash alcançaram o melhor desempenho (~73% de acurácia), mas ainda enfrentam desafios em raciocínio temporal complexo.
  • Modelos de código aberto como a série Qwen-Omni mostraram desempenho sólido, superando modelos anteriores.
• O Paradoxo do Baseline: O Daily-Omni Agent (um pipeline modular simples e sem treinamento) alcançou 61.82% de acurácia. Curiosamente, este baseline superou vários modelos unificados de código aberto e modelos proprietários menores, indicando que a falta de mecanismos robustos de alinhamento temporal é o gargalo principal, e não necessariamente a capacidade de compreensão unimodal.
• Ablação de Modalidade:
  • Remover áudio ou vídeo causa uma queda drástica no desempenho (ex: o Gemini 2.5 Flash caiu de 73% para 44% sem áudio).
  • Diferente de muitos benchmarks de vídeo que são enviesados visualmente, o Daily-Omni mostra que o áudio é indispensável; o desempenho apenas com áudio foi frequentemente superior ao apenas com vídeo para esses modelos.
• Importância do Alinhamento: O estudo de ablação no agente mostrou que o método de "Alinhamento Inteligente" (identificar eventos específicos e alinhá-los) superou significativamente a geração de legendas globais ou o alinhamento ingênuo, confirmando que a explicitação de evidências temporais localizadas é vital.

5. Significado e Conclusão

O Daily-Omni destaca que o alinhamento temporal robusto entre modalidades é um desafio aberto crítico para a próxima geração de MLLMs. Os resultados sugerem que:

• A simples fusão de codificadores de áudio e vídeo não é suficiente; são necessários mecanismos explícitos para sincronizar e alinhar eventos no tempo.
• O raciocínio multimodal complexo exige que os modelos não apenas "vejam" e "ouçam", mas entendam a correlação temporal causal e simultânea entre os sinais.
• O benchmark fornece uma ferramenta essencial para diagnosticar falhas de alinhamento e orientar o desenvolvimento de arquiteturas futuras que priorizem a grounding temporal precisa.

Em suma, o trabalho demonstra que, embora os modelos tenham evoluído na compreensão unimodal, a integração temporal síncrona necessária para a interação com o mundo físico real ainda é uma fronteira não resolvida.