🤖 AI

Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning

Ce papier présente MOV-Bench, une référence pour le raisonnement audio-visuel multi-sauts, et propose AOP-Agent, un cadre agentique efficace qui améliore les capacités de raisonnement des Omni-LLMs open-source grâce à une perception omni-modale active sans nécessiter d'entraînement supplémentaire.

Auteurs originaux : Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ke Xu, Yuhao Wang, Ziyang Cheng, Hongcheng Liu, Yanfeng Wang, Yu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La Vidéo « Aiguille dans une Botte de Foin »

Imaginez qu'on vous donne une vidéo de 30 minutes d'un atelier très animé. Quelqu'un vous pose une question piège : « Pourquoi le technicien a-t-il appliqué cette colle spécifique sur la puce ? »

Pour répondre, vous ne pouvez pas vous contenter de regarder une seule seconde. Vous devez :

Écouter un commentaire fait il y a 5 minutes concernant une « puce défectueuse ».
Regarder un plan visuel il y a 10 minutes montrant un fil desserré.
Relier ces deux informations éloignées pour réaliser que la colle est une solution temporaire pour un joint de soudure défectueux.

Les modèles d'IA actuels (appelés Omni-LLMs) sont comme des étudiants qui tentent de mémoriser la toute entière vidéo d'un coup. Lorsque la vidéo est longue, ils sont submergés. Ils oublient l'indice d'il y a 5 minutes ou manquent l'indice visuel d'il y a 10 minutes. Ils tentent de deviner la réponse en se basant sur tout le chaos, se trompant souvent car les preuves sont dispersées et clairsemées.

La Solution 1 : MOV-Bench (Le « Test Difficile »)

Les chercheurs ont d'abord construit un nouvel examen appelé MOV-Bench.

Ce que c'est : Une collection de 519 questions pièges basées sur de vraies vidéos.
La Piège : Chaque question nécessite un raisonnement « multi-sauts ». Vous ne pouvez pas y répondre en regardant juste un clip. Vous devez sauter entre différents moments de la vidéo et basculer entre l'écoute (audio) et la vue (visuel).
Le Résultat : Lorsqu'ils ont testé les modèles d'IA actuels sur cet examen, les modèles ont échoué. Ils ont eu du mal à trouver les indices dispersés et à relier les points.

La Solution 2 : AOP-Agent (Le « Détective »)

Au lieu de forcer l'IA à mémoriser toute la vidéo d'un coup, les chercheurs ont créé un nouveau système appelé AOP-Agent. Imaginez cela non pas comme un étudiant qui révise pour un examen, mais comme un détective résolvant un mystère.

Voici comment le détective fonctionne, en utilisant une approche « à faibles ressources » (ce qui signifie qu'il n'a pas besoin de superordinateurs coûteux ni d'entraînement spécial) :

Le Classeur (Mémoire Hiérarchique) :
Avant que le détective ne commence, la vidéo est organisée dans un classeur intelligent.
- L'Aperçu : Un résumé d'une page de toute la vidéo.
- Les Chapitres : La vidéo est divisée en tranches de 30 secondes, chacune avec un court résumé et une liste de « mots-clés » (comme « colle », « puce », « soudure »).
- Les Détails : Si nécessaire, le détective peut zoomer sur des clips spécifiques de 5 secondes pour des détails haute définition.
La Boucle en Trois Étapes (Observer, Réfléchir, Replanifier) :
Le détective ne fait pas que regarder ; il chasse activement les indices en utilisant trois rôles :
- Le Planificateur : Regarde la question et le « Classeur ». Il dit : « Je dois trouver où ils ont parlé de la colle. Cherchons d'abord dans la section 'Mots-clés'. »
- L'Observateur : Utilise des outils pour récupérer les segments vidéo spécifiques demandés par le Planificateur.
- Le Réfléchisseur : Vérifie les preuves. « D'accord, nous avons trouvé la colle, mais nous n'avons pas encore trouvé la 'mauvaise puce'. Les indices actuels ne suffisent pas. Retournons et cherchons dans la section 'Audio' pour les 30 secondes suivantes. »
Si les indices manquent toujours, le Planificateur change de stratégie (Replanifier) et essaie un outil de recherche différent. Cette boucle continue jusqu'à ce que le détective se sente confiant d'avoir toutes les pièces.
La Réponse :
Une fois que le détective a rassemblé suffisamment de preuves spécifiques provenant de différentes parties de la vidéo, le Raisonneur (le juge final) assemble le puzzle et donne la réponse.

Pourquoi Cela Compte

Pas d'Entraînement Magique : Ce système fonctionne avec des modèles d'IA open-source sans avoir besoin de les réentraîner ou d'utiliser des modèles propriétaires coûteux en « boîte noire ».
Actif vs Passif : Les anciennes méthodes étaient passives (regarder toute la vidéo et espérer se souvenir). AOP-Agent est actif (décider exactement quoi regarder, quand regarder et quand s'arrêter).
Les Résultats : Lorsqu'il a été testé sur le « Test Difficile » (MOV-Bench) et d'autres benchmarks vidéo, AOP-Agent a nettement surpassé les anciennes méthodes, en particulier sur les vidéos longues et les questions nécessitant la connexion de nombreux indices différents.

Les Limitations (Les « Erreurs du Détective »)

Le document admet que le système n'est pas parfait :

Hallucinations : Si le « Classeur » (la mémoire) décrit une scène à tort (par exemple, il dit que quelqu'un a crié alors que ce n'est pas le cas), le détective pourrait construire une fausse théorie basée sur ce mensonge.
Vitesse : Parce que le détective doit s'arrêter, réfléchir, chercher et vérifier plusieurs fois, cela prend plus de temps que de simplement regarder la vidéo une fois.
Temps Réel : Le système doit d'abord traiter toute la vidéo dans le classeur, il ne peut donc pas actuellement fonctionner sur des vidéos en direct ou en streaming (comme une diffusion sportive en direct) en temps réel.

Résumé

Le document présente une nouvelle façon d'enseigner à l'IA comment raisonner sur des vidéos longues. Au lieu d'essayer d'avaler toute la vidéo d'un coup, ils donnent à l'IA une boîte à outils de détective : un système de classement intelligent et un processus étape par étape pour chasser les indices dispersés, réfléchir à ce qu'ils ont trouvé, et répondre uniquement lorsqu'ils sont sûrs. Cela permet aux modèles d'IA standards et open-source de résoudre des énigmes vidéo complexes qu'ils ne pouvaient pas gérer auparavant.

Résumé Technique : Perception Active Omni-Modale Agente pour le Raisonnement Audio-Visuel Multi-Sauts

Énoncé du Problème

Les modèles de langage de grande taille omni-modaux (Omni-LLM) actuels font face à des défis majeurs dans le raisonnement audio-visuel multi-sauts, en particulier lorsque les preuves pertinentes sont rares, dispersées dans le temps et réparties entre les flux audio et visuel. Les benchmarks existants échouent souvent à isoler cette capacité spécifique, impliquant généralement des modalités limitées, des segments temporels courts ou des preuves décisives d'une seule modalité. Par conséquent, il reste incertain que les Omni-LLM puissent intégrer efficacement des preuves croisées rares, réparties sur plusieurs segments temporels, pour répondre à des questions complexes. De plus, les approches agentes existantes pour la perception active reposent souvent sur des modèles propriétaires coûteux ou nécessitent un entraînement extensif, limitant leur applicabilité aux Omni-LLM open-source dans des contextes à ressources limitées.

Méthodologie

1. MOV-Bench : Un Benchmark pour le Raisonnement Multi-Sauts

Pour évaluer rigoureusement cette capacité, les auteurs introduisent MOV-Bench (Multi-hop Omni Video Benchmark).

Construction du Jeu de Données : Basé sur le jeu de données Fine-Video, MOV-Bench contient 519 questions à choix multiples soigneusement sélectionnées.
Principes de Conception :
- Raisonnement Temporel Multi-Sauts : Les questions exigent des preuves provenant de 2 à 4 segments temporels distincts, empêchant les modèles de s'appuyer sur une perception d'un seul instant.
- Intégration Croisée des Modalités : Les questions sont conçues de telle sorte que ni le flux audio ni le flux visuel seul ne soient suffisants ; les modèles doivent interpréter conjointement les événements visuels, le contenu de la parole et les indices audio.
- Thèmes de Raisonnement : Les questions couvrent cinq motifs de raisonnement distincts : causal, référentiel, relationnel, hypothétique et raisonnement d'intention.
Contrôle de Qualité : Un processus de filtrage en deux étapes (filtrage uniquement linguistique pour éliminer les biais, suivi d'une vérification humaine) garantit que les questions exigent un véritable raisonnement multi-sauts croisé entre les modalités.

2. AOP-Agent : Cadre de Perception Active Omni-Modale

Pour pallier les limites du traitement passif, les auteurs proposent AOP-Agent, un cadre agentique efficace conçu pour les Omni-LLM open-source sans entraînement supplémentaire ni composants propriétaires.

Mémoire Omni-Modale Hiérarchique : Au lieu de traiter directement les flux vidéo bruts, AOP-Agent organise le contenu vidéo en une mémoire structurée :
- Extraits fins : Préservant les détails locaux.
- Segments de niveau intermédiaire : Extraits fusionnés (≤30s) compressés à une résolution inférieure.
- Métadonnées Structurées : Pour chaque segment, le système génère des points clés visuels, des points clés audio, des mots-clés de recherche et des descriptions au niveau du segment.
- Résumé Global : Une description synthétisée de l'ensemble de la vidéo.
Boucle Observer-Réfléchir-Replanifier : Le cadre emploie un processus de collaboration multi-agents :
- Agent Planificateur ( $A_P$ ) : Détermine la prochaine cible d'observation en fonction de l'état de raisonnement actuel, sélectionnant des régions vidéo spécifiques à inspecter.
- Outils d'Observation : Une suite de cinq outils complémentaires permet à l'agent de naviguer dans la mémoire hiérarchique :
  - Basé sur la description : Correspondance sémantique pour les événements de haut niveau.
  - Guidé par les mots-clés : Recherche lexicale pour les entités/actions explicites.
  - Guidé par les points clés : Correspondance des points clés visuels/audio pour les indices croisés entre modalités.
  - Observation des Voisins : Expansion vers les segments temporellement adjacents.
  - Observation Finesse : Approfondissement pour une vérification locale.
- Agent Réfléchisseur ( $A_R$ ) : Évalue si les observations actuelles sont suffisantes. Si non, il fournit des retours pour guider la replanification ; si oui, il déclenche le raisonnement final.
- Agent Raisonneur ( $A_A$ ) : Synthétise les preuves accumulées pour générer la réponse finale.

Contributions Clés

MOV-Bench : Un nouveau benchmark ciblant spécifiquement le raisonnement audio-visuel multi-sauts à travers des segments dispersés dans le temps, révélant que les Omni-LLM actuels peinent à localiser et intégrer des preuves croisées rares.
AOP-Agent : Un cadre agentique à faible ressources permettant aux Omni-LLM open-source d'effectuer une perception active. Il y parvient grâce à la construction d'une mémoire hiérarchique et à une boucle collaborative observer-réfléchir-replanifier, éliminant le besoin d'entraînement supplémentaire ou de modèles propriétaires.
Validation Empirique : Des démonstrations montrant que AOP-Agent améliore systématiquement les performances de raisonnement sur MOV-Bench et OmniVideoBench, avec des gains significatifs sur les vidéos longues et les questions exigeant un raisonnement intensif.

Résultats Expérimentaux

Des expériences ont été menées sur MOV-Bench et OmniVideoBench en utilisant divers Omni-LLM open-source (par exemple, Qwen3-Omni-Instruct, Qwen2.5-Omni-7B).

Limites des Lignes de Base : L'inférence directe sur MOV-Bench a révélé que les Omni-LLM actuels atteignent une précision relativement faible (par exemple, Qwen3-Omni-Instruct à ~52,8 %). Les performances se dégradent considérablement à mesure que la durée de la vidéo augmente et que le nombre de sauts de raisonnement croît (par exemple, chutant à ~44 % sur les questions à 4 sauts).
Performances de AOP-Agent :
- Amélioration Générale : AOP-Agent surpasse systématiquement les lignes de base d'inférence directe à travers différents modèles de base. Par exemple, sur des vidéos longues avec Qwen3-Omni-Instruct, la précision est passée de 45,50 % à 60,85 %.
- Comparaison avec les Cadres Agentiques : Contrairement aux cadres agentiques existants (OmniAgent, ActiveVideoPerception) qui ont obtenu de moins bons résultats que l'inférence directe lorsqu'adaptés aux modèles open-source, AOP-Agent a obtenu des résultats supérieurs. Cela suggère que les méthodes existantes, souvent conçues pour des modèles propriétaires puissants, amplifient l'accumulation d'erreurs dans les modèles open-source plus faibles sans le support structurel spécifique que fournit AOP-Agent.
- Études d'Ablation :
  - Composants : Les agents Planificateur et Réfléchisseur ont tous deux contribué aux performances, la boucle complète produisant les meilleurs résultats.
  - Attribution des Modèles : Des capacités de planification et de réflexion plus fortes se sont révélées plus critiques que la force du raisonneur final, soulignant que la sélection efficace des preuves précède le raisonnement réussi.
  - Rondes d'Observation : Les performances se sont améliorées avec l'augmentation du nombre de rondes d'observation (jusqu'à 3) mais ont saturé ou légèrement diminué avec un nombre excessif de rondes, indiquant un compromis entre la récupération des preuves et l'accumulation de bruit.

Importance et Revendications

L'article revendique que le principal goulot d'étranglement pour les Omni-LLM actuels dans le raisonnement multi-sauts n'est pas simplement la capacité de raisonnement elle-même, mais la capacité à localiser, préserver et intégrer efficacement des preuves rares et dispersées dans le temps.

En passant d'un traitement vidéo passif à une perception active et itérative, AOP-Agent permet aux modèles open-source d'inspecter sélectivement les preuves pertinentes pour la question. Les auteurs postulent que cette approche offre un paradigme évolutif et efficace pour le raisonnement omni-modal sur les vidéos longues, en particulier dans les scénarios où les preuves décisives sont rares. Le travail démontre qu'un raisonnement multi-sauts complexe peut être réalisé sans modèles propriétaires coûteux ni entraînement à grande échelle, à condition que le système soit équipé d'une mémoire hiérarchique et d'une boucle de perception active structurée.

Limites Reconnues :

L'échelle de MOV-Bench est limitée par les coûts d'annotation.
La boucle multi-rondes introduit une surcharge d'inférence.
Le système reste vulnérable aux hallucinations dans la base de mémoire sous-jacente, ce qui peut propager des erreurs.
La construction actuelle de la mémoire est basée sur le hors-ligne, limitant l'applicabilité aux scénarios de streaming en temps réel.