Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities

Le papier présente Daily-Omni, un nouveau benchmark audio-visuel conçu pour évaluer la capacité des modèles de langage multimodaux à réaliser un raisonnement temporel synchronisé entre l'audio et la vidéo, révélant ainsi que les modèles actuels peinent encore à maîtriser cette alignement croisé essentiel.

L'essentiel

🎬 Le Grand Défi de la "Double Oreille et Double Œil"

Imaginez que vous regardez un film muet. Vous voyez un homme courir, mais vous ne savez pas s'il court parce qu'il est en retard, parce qu'il a peur, ou parce qu'il joue au football. Maintenant, imaginez que vous entendez seulement des bruits de pas rapides et des cris, sans voir l'image. Vous ne savez pas non plus ce qui se passe.

Le vrai défi, c'est de voir et d'entendre en même temps, et surtout de comprendre quand les deux se produisent ensemble. C'est exactement ce que les chercheurs de l'Université Fudan ont voulu tester avec leur nouveau projet : Daily-Omni.

1. Le Problème : Les Super-Héros qui ont un "Trou de Mémoire"

Aujourd'hui, les intelligences artificielles (les "grands modèles") sont très fortes.

• Certaines sont des champions de la vision : elles peuvent décrire une photo parfaitement.
• D'autres sont des champions de l'ouïe : elles reconnaissent une chanson ou un cri.

Mais quand on les met devant une vidéo où le son et l'image doivent travailler ensemble (comme un chien qui aboie exactement au moment où il mord un ballon), elles ont souvent du mal. C'est comme si elles avaient une mémoire à court terme très courte : elles voient l'image, puis elles entendent le son, mais elles oublient de les relier dans le temps. Elles ne savent pas dire : "L'explosion a eu lieu 2 secondes après que le personnage ait appuyé sur le bouton."

2. La Solution : Daily-Omni, le "Terrain de Jeu" Ultime

Pour résoudre ce problème, les chercheurs ont créé Daily-Omni. C'est un immense jeu de questions-réponses basé sur de vraies vidéos de la vie quotidienne (684 vidéos, 1 197 questions).

L'analogie du Détective :
Imaginez que vous êtes un détective privé. On vous donne une vidéo d'une scène de crime.

• La question : "Qui a cassé le vase ?"
• Le piège : Le vase casse au moment où un homme entre dans la pièce, mais le bruit de la porte qui claque arrive 1 seconde plus tard.
• Le test : Un bon détective (ou une bonne IA) doit synchroniser le bruit de la porte avec le mouvement de la main de l'homme. Si l'IA se trompe de timing, elle accuse la mauvaise personne.

Daily-Omni est rempli de ces pièges temporels. Il force l'IA à être un vrai détective qui écoute et regarde en même temps.

3. Comment ont-ils construit ce jeu ? (La Cuisine du Détective)

Créer ce jeu n'était pas facile. Les chercheurs ont dû inventer une "recette" spéciale pour ne pas se tromper eux-mêmes :

1. La Coupe : Ils ont découpé les vidéos en petits morceaux (comme des tranches de pain) pour que l'IA ne se perde pas.
2. La Révision : Ils ont utilisé plusieurs IA pour décrire ce qu'elles voyaient et entendaient, puis les ont fait se corriger entre elles (comme un chef qui fait goûter son plat à ses commis).
3. Le Filtre : Ils ont éliminé les questions trop faciles. Si une IA pouvait deviner la réponse juste en lisant le texte de la question sans regarder la vidéo, la question était jetée à la poubelle.
4. Le Contrôle Qualité : Des humains ont vérifié le tout pour s'assurer que tout était logique.

4. Les Résultats : La Déception et l'Espoir

Ils ont fait passer le test à 24 modèles d'intelligence artificielle différents (les plus célèbres du moment).

Le verdict est sans appel :

• Même les IA les plus avancées ont du mal. Beaucoup se comportent comme si elles regardaient un film avec les yeux bandés ou les oreilles bouchées.
• La surprise : Une IA "bête" et simple, construite comme un assemblage de pièces détachées (un peu comme un robot fait de Lego), a parfois mieux réussi que des IA géantes et complexes. Pourquoi ? Parce que cette IA "Lego" prenait le temps de relier explicitement le son à l'image, étape par étape, au lieu de deviner instinctivement.

C'est comme si un élève très intelligent (l'IA complexe) échouait à un examen de musique parce qu'il n'arrivait pas à suivre le rythme, tandis qu'un élève méthodique (l'IA Lego) réussissait en comptant les temps à voix haute.

5. La Conclusion : Il reste du travail à faire

Ce papier nous dit une chose importante : Nous ne sommes pas encore arrivés.

Les IA sont devenues de très bons lecteurs et de très bons observateurs, mais elles ne sont pas encore de bons orchestres. Elles ne savent pas encore parfaitement faire jouer les instruments (l'œil et l'oreille) ensemble au bon moment.

Daily-Omni est donc une boussole. Il montre aux chercheurs : "Hé, regardez, c'est ici que ça coince ! Il faut apprendre à nos IA à mieux synchroniser ce qu'elles voient et ce qu'elles entendent."

C'est un pas de géant vers des robots qui pourront vraiment comprendre notre monde, comme nous le faisons nous-mêmes : en voyant, en écoutant, et en comprenant le moment précis où tout se passe.

Résumé technique

Voici un résumé technique détaillé de l'article "Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities" en français.

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) récents ont démontré des performances prometteuses sur des benchmarks visuels et audio traités séparément. Cependant, leur capacité à traiter synchronement des informations croisées (audio-visuelles) reste largement inexplorée.

Les limitations actuelles se résument ainsi :

• Négligence de l'audio : De nombreux MLLMs se concentrent sur la vision, traitant l'audio de manière secondaire (souvent limité à la reconnaissance de la parole), ce qui empêche la compréhension d'environnements acoustiques riches (bruits environnementaux, pannes mécaniques, etc.).
• Manque d'alignement temporel : Les jeux de données existants souffrent de trois défauts majeurs : ils sont souvent spécialisés (ex: musique), basés sur des paires image-son statiques ignorant la dynamique temporelle, ou trop étroits (sous-titrage, réponses ouvertes).
• Absence de cadre d'évaluation rigoureux : Il manque un benchmark standardisé pour évaluer spécifiquement le raisonnement temporel croisé, nécessaire pour comprendre les interactions complexes entre ce qui est vu et ce qui est entendu dans le temps.

2. Méthodologie : Le Benchmark Daily-Omni

Les auteurs proposent Daily-Omni, un benchmark de questions-réponses (QA) audio-visuel conçu pour évaluer le raisonnement multimodal aligné temporellement.

A. Construction du Dataset

• Données : 684 vidéos du monde réel (issues d'AudioSet, Video-MME, FineVideo) couvrant 11 catégories YouTube, segmentées en clips de 30s et 60s.
• Volume : 1 197 paires de questions à choix multiples couvrant 6 familles de tâches.
• Pipeline d'annotation semi-automatique : Pour assurer l'évolutivité et la qualité, les auteurs ont développé un pipeline complexe :
  1. Annotation segmentée : Utilisation de modèles MLLM (Gemini 2.0 Flash) pour annoter indépendamment les segments vidéo et audio (découpés en sous-segments de 10s/20s pour éviter les hallucinations).
  2. Révision et cohérence : Vérification de la cohérence visuelle sur le clip complet et correction des annotations audio en utilisant le contexte visuel (ex: corriger un "bruit d'impact" en "porte qui claque" si la vidéo montre une porte).
  3. Alignement d'événements : Une étape clé où le modèle identifie explicitement quelles événements visuels et audio se produisent simultanément.
  4. Génération de QA : Utilisation de modèles de raisonnement (Deepseek-R1) pour créer des questions couvrant : l'alignement d'événements, la séquence temporelle, le raisonnement causal, l'inférence, la comparaison et la compréhension contextuelle.
  5. Filtrage de fuite textuelle : Un filtre automatique (via GPT-4o et Deepseek-V3) élimine les questions répondables uniquement par le texte, forçant le modèle à utiliser les modalités audio/vidéo.
  6. Validation humaine : Une vérification finale par des humains (taux d'acceptation ~30%) garantit l'unicité de la réponse correcte et la nécessité du raisonnement multimodal.

B. Baseline Diagnostique : Daily-Omni Agent

Pour servir de référence et diagnostiquer les échecs des modèles, les auteurs proposent un Agent Daily-Omni (sans entraînement).

• Architecture modulaire : Combine des modèles unimodaux existants (Qwen2-Audio, Qwen2.5-VL, Whisper, Qwen2.5-Instruct).
• Fonctionnement : Il segmente la vidéo, génère des annotations séparées, effectue une vérification de cohérence, et utilise une stratégie d'alignement ciblé ("Smart Alignment") pour localiser temporellement les événements critiques nécessaires à la réponse avant de synthétiser la réponse finale.

3. Contributions Clés

1. Daily-Omni Benchmark : Un dataset de haute qualité (684 vidéos, 1197 questions) axé sur le raisonnement temporel croisé dans des scénarios de la vie quotidienne, avec une diversité de sons non-parlés.
2. Pipeline d'annotation évolutif : Une méthode semi-automatique efficace (30 heures de travail humain pour 1 annotateur) permettant de filtrer et d'aligner les données avec un taux d'acceptation de 30%, rendant la construction de benchmarks à grande échelle réalisable.
3. Évaluation exhaustive et diagnostique : Évaluation de 24 modèles fondamentaux (OLM, VLM, ALM, LLM) sous 37 configurations (Audio+Vidéo, Audio seul, Vidéo seul, Texte seul), incluant une analyse de sensibilité à l'alignement temporel.

4. Résultats Principaux

L'évaluation révèle des résultats significatifs sur l'état de l'art :

• Difficulté de l'alignement temporel : De nombreux MLLMs "end-to-end" (notamment les anciennes versions de modèles Omni) peinent considérablement sur les questions nécessitant un alignement fin. Certains modèles unifiés obtiennent des scores inférieurs à des modèles purement textuels ou à la baseline modulaire simple.
• Performance de la Baseline : L'Agent Daily-Omni (sans entraînement, basé sur l'alignement explicite) atteint 61,82 % de précision. Il surpasse plusieurs modèles unifiés open-source et même certains modèles propriétaires plus petits, démontrant que l'architecture d'alignement explicite est souvent plus efficace que l'intégration implicite dans les modèles actuels.
• Performances des modèles leaders :
  • Les modèles propriétaires (Gemini 2.5 Flash) et les modèles Qwen récents (Qwen3-Omni) obtiennent les meilleurs scores (jusqu'à 73,06 % pour Gemini 2.5 Flash), suggérant que des mécanismes d'alignement temporel plus robustes (comme TMRoPE) commencent à porter leurs fruits.
  • Cependant, même les meilleurs modèles montrent des lacunes dans le raisonnement temporel complexe.
• Ablation des modalités : La suppression de l'audio ou de la vidéo entraîne une chute drastique des performances (ex: Gemini 2.5 Flash passe de 73% à 54% sans vidéo, et à 44% sans audio), confirmant que les tâches ne peuvent pas être résolues par une seule modalité ou par devinette textuelle.
• Importance de l'alignement : L'étude ablation sur l'agent montre que l'alignement "intelligent" (Smart Alignment) des événements améliore significativement les performances par rapport à une simple génération de légendes globales ou à un alignement naïf.

5. Signification et Conclusion

Daily-Omni met en évidence que l'alignement temporel robuste entre les modalités audio et visuelle reste un défi majeur et un goulot d'étranglement pour les architectures unifiées actuelles.

• Limitation actuelle : Les modèles actuels, bien que puissants en compréhension unimodale, échouent souvent à synchroniser correctement les flux audio et vidéo pour répondre à des questions de raisonnement complexe.
• Direction future : La recherche doit se concentrer sur le développement de mécanismes de "grounding" temporel plus précis et robustes. Le fait qu'une baseline modulaire simple puisse surpasser des modèles unifiés complexes suggère que l'architecture d'alignement explicite est une voie prometteuse.
• Impact : Ce benchmark fournit un cadre standardisé pour mesurer les progrès réels en matière de perception multimodale du monde réel, au-delà de la simple reconnaissance de patterns statiques.

En résumé, Daily-Omni prouve que pour atteindre une intelligence artificielle capable d'interagir avec le monde physique, les modèles doivent non seulement "voir" et "entendre", mais surtout comprendre la synchronisation temporelle entre ces deux flux d'information.