🤖 AI

Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA

L'article présente Omni-Decision, un système d'agent sans entraînement qui améliore la précision des questions-réponses omnimodales en maintenant un état de preuve structuré et explicite pour suivre, valider et combler systématiquement les lacunes d'information à travers diverses sources médiatiques, atteignant ainsi des gains de performance significatifs par rapport aux bases de référence existantes.

Auteurs originaux : Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais les indices sont éparpillés partout : un détail infime dans un clip vidéo, un murmure dans une piste audio, un fait caché sur un site web et un nombre que vous devez calculer sur une calculatrice. La plupart des détectives IA d'aujourd'hui travaillent comme quelqu'un qui griffonne frénétiquement des notes sur une serviette en papier désordonnée. Ils regardent un indice, le notent, regardent un autre, le notent, et espèrent qu'au moment où ils atteindront la fin, ils se souviendront à quelle partie du mystère appartient chaque note. Souvent, ils se perdent dans leurs propres gribouillis, oublient ce qu'ils ont déjà trouvé, ou tentent de résoudre l'énigme avant d'avoir réuni toutes les pièces.

Cette publication présente un nouveau système de détective appelé Omni-Decision. Au lieu d'une serviette en papier désordonnée, ce système utilise une liste de contrôle structurée et vivante appelée « état de la preuve » (evidence state). Considérez cette liste de contrôle comme un tableau blanc magique que le détective ne peut ignorer. Elle ne se contente pas de stocker des notes ; elle suit activement ce qui est confirmé, ce qui manque, ce qui est contradictoire et ce qui doit être calculé ensuite.

Voici comment la magie opère :

La Liste de Contrôle : Lorsqu'une question est posée, le système la décompose immédiatement en « besoins » spécifiques sur le tableau blanc. Par exemple, « Trouver la marque de la montre dans la vidéo » ou « Trouver la date de lancement d'Instagram ».
La Boucle : Le détective choisit un outil (comme une recherche web ou un scanner vidéo) pour remplir un élément de la liste.
Le Juge : Avant que le détective ne passe à la suite, un « Critique » strict vérifie la nouvelle information. A-t-elle résolu le problème ? Contredit-elle quelque chose trouvé plus tôt ?
La Mise à Jour : Un « Réducteur » spécial met à jour le tableau blanc. Si un indice est trouvé, la case « manquant » devient verte. Si deux indices s'affrontent, un drapeau rouge « conflit » est levé. Le détective ne passe jamais à l'étape suivante tant que le tableau blanc n'indique pas que l'étape actuelle est terminée.
L'Arrêt : Le système sait exactement quand s'arrêter. Il ne devine pas une réponse simplement parce qu'il est fatigué ; il ne répond que lorsque le tableau blanc montre que chaque pièce de preuve requise est verrouillée et qu'aucun conflit ne subsiste. S'il manque des outils et que le tableau est toujours incomplet, il admet sa défaite plutôt que d'inventer une fausse réponse.

Ce contre quoi l'article argumente :
Les auteurs soutiennent explicitement que le simple fait de rendre les modèles d'IA plus grands ou de leur donner une « mémoire » plus longue (comme une serviette plus grande) n'est pas la solution. Ils démontrent que posséder un historique massif d'actions passées n'aide pas si l'IA ne peut pas suivre ce qui est réellement ancré et ce qui manque encore. Ils écartent également l'idée que le système ait besoin d'être « entraîné » sur de nouvelles données pour fonctionner ainsi ; il fonctionne en organisant la manière dont les outils existants sont utilisés, et non en apprenant de nouveaux tours.

Les Résultats :
L'article a mesuré ce système lors de deux tests difficiles. Sur un test appelé OmniGAIA, qui implique une recherche en monde ouvert à travers des vidéos, de l'audio et le web, Omni-Decision a obtenu une précision de 45,6 %. C'est un bond énorme par rapport à l'agent « de base » standard, qui n'a obtenu que 18,33 %. Cela représente un gain de 27,3 points de pourcentage.

Sur un second test appelé WorldSense, qui se concentre sur l'intégration de l'audio et de la vidéo sans recherches web externes, le système a obtenu 58,3 %, battant la référence de 30,2 points de pourcentage.

Les auteurs suggèrent que cette approche est particulièrement efficace pour repérer quand un détective est bloqué. Dans leur analyse des tentatives ratées, ils ont constaté que beaucoup de réponses « fausses » étaient en réalité des cas où le détective faisait des progrès réels — il était simplement bloqué parce qu'une pièce spécifique de preuve (comme lire un texte minuscule sur un panneau) était trop difficile à trouver pour les outils. La force du système n'est pas qu'il n'échoue jamais, mais qu'il montre clairement où il a échoué et pourquoi, plutôt que de deviner aveuglément.

En résumé, Omni-Decision prouve que pour les mystères complexes à plusieurs étapes, avoir une carte claire et partagée de ce qui est connu et de ce qui manque est bien plus puissant que d'avoir une mémoire plus longue ou un cerveau plus gros. Cela transforme le processus chaotique de recherche d'indices en une mission disciplinée, étape par étape.

Résumé Technique : Omni-Decision

Énoncé du Problème

Le questionnement et de réponse (QA) de recherche de preuves omnimodales nécessite que des agents répondent à des questions où les preuves nécessaires sont réparties de manière éparse à travers des sources hétérogènes, incluant des vidéos, de l'audio, des images, des pages web et des résultats de calculs. Les auteurs identifient trois défis primordiaux dans ce contexte :

Preuves éparses et distribuées : Les indices pertinents peuvent apparaître dans de courts segments vidéo, des segments spécifiques de sous-titres, des événements audio, des régions d'images ou des résultats web externes, ce qui rend difficile la localisation de tous les composants nécessaires.
Observabilité partielle : Le système ne peut pas savoir à l'avance quels attributs d'entités, relations ou valeurs intermédiaires sont requis avant que les preuves précédentes ne soient ancrées (grounded).
La préparation de la réponse comme problème de contrôle : L'agent doit décider non seulement de ce qu'il doit acquérir ensuite, mais aussi si une réponse candidate est suffisamment étayée, si des conflits nécessitent une réparation, et quand s'arrêter si les lacunes sont impossibles à combler.

L'article soutient que les systèmes agents multimodaux existants échouent souvent car ils reposent sur des historiques de dialogue implicites, des carnets de notes (scratchpads) ou des trajectoires d'outils en forme libre. Ces approches rendent difficile le suivi des preuves ancrées, l'identification des attributs manquants ou la détermination du moment où une chaîne de preuves est complète. Par conséquent, le problème est formulé non pas simplement comme un problème de mise à l'échelle du contexte, mais comme un problème de maintien d'état.

Méthodologie : Omni-Decision

Les auteurs proposent Omni-Decision, un système sans entraînement qui reformule le QA omnimodal comme un processus de clôture de preuve par portée de requête (query-scoped evidence-closure process). L'innovation centrale est le maintien d'un État de Preuve ( $S_t$ ) explicite, structuré et modifiable qui sert d'objet de contrôle central pour l'ensemble de la boucle d'inférence.

1. État de Preuve par Portée de Requête

Contrairement à la mémoire vidéo générale ou aux journaux d'outils, l'État de Preuve est spécifique à la requête actuelle et contient quatre composantes mutables :

$E_t$ (Preuve Confirmée) : Atomes de preuves confirmées avec sources et support temporel.
$C_t$ (Conflits Non Résolus) : Enregistrements de contradictions entre les sources de preuves.
$F_t$ (Dépendances de Faits/Calculs) : Suit les faits externes, les complétions d'attributs d'entités et les résultats de calculs.
$U_t$ (Besoins de Preuves Ouverts) : Listes de questions non résolues et d'incertitudes.

Le système initialise $S_0$ à partir de la requête avant tout appel d'outil. À mesure que l'agent interagit avec les outils, l'état est mis à jour de manière déterministe.

2. Boucle d'Inférence et Contrôle

Le système opère dans une boucle (Algorithme 1) où tous les modules de décision lisent une vue partagée de l'état, tandis qu'un seul module écrit dedans :

Planificateur (Planner) : Lit un condensé borné du contexte immuable ( $R_0$ ) et de l'état actuel ( $S_t$ ) pour sélectionner l'action suivante (utilisation d'outil ou fin).
Outils (Tools) : Exécutent des actions (ex: ancrage vidéo, recherche web, exécution de code) et retournent des observations.
Critique (Critic) : Valide si les nouvelles observations soutiennent, entrent en conflit avec, ou laissent ouverts les besoins de preuves actuels.
Réducteur (Reducer) : L'unique composant qui écrit dans l'état. Il normalise les observations et les verdicts du critique en événements typés et les enregistre dans $S_{t+1}$ via des règles de mise à jour de champs déterministes.
Finalisateur (Finalizer) : Rédige une réponse uniquement lorsque l'état indique la disponibilité (readiness).

3. Disponibilité et Conditions d'Arrêt

La disponibilité de la réponse est dérivée strictement de l'état, et non comme une décision indépendante du planificateur :
$\text{ready}(S_t) = (U_t = \emptyset) \land \text{complete}(F_t) \land (C_t = \emptyset)$
Le système se termine avec une réponse « suffisante » uniquement si tous les besoins ouverts sont comblés, toutes les dépendances sont résolues et aucun conflit n'existe. Si aucune action disponible ne peut plausiblement réduire un besoin ouvert ou résoudre un conflit, le système s'arrête avec un statut « insuffisant » plutôt que de forcer une réponse non étayée.

Contributions Clés

Formulation : Les auteurs formulent le QA de recherche de preuves omnimodal comme un problème de clôture de preuve par portée de requête, exigeant que l'agent maintienne explicitement des entités ancrées, des attributs ouverts, des relations entre entités et des dépendances externes plutôt que de compter sur un historique implicite.
Conception du Système : Ils proposent Omni-Decision, un système d'état de preuve sans entraînement. Une distinction architecturale clé est que la planification, la vérification, la réparation et l'arrêt sont tous conditionnés par la même vue de l'état, tandis que le Réducteur est le seul auteur de l'état. Cela rend les trajectoires inspectables, rejouables et ablables.
Évaluation : Le système est évalué sur OmniGAIA (monde ouvert, augmenté par des outils) et WorldSense (audio-vidéo autonome), démontrant que le contrôle par état de preuve améliore les performances à travers différents formats de tâches.

Résultats Expérimentaux

OmniGAIA (Collecte de Preuves en Monde Ouvert)

Performance : Omni-Decision a atteint une précision de 45,6 % sur le benchmark OmniGAIA.
Amélioration : Cela représente une amélioration de +27,3 points de pourcentage par rapport à l'agent de base officiel d'OmniGAIA (18,33 %) et une amélioration de +30,2 points de pourcentage par rapport à la ligne de base WorldSense (58,3 % vs 28,1 % pour OmniAgent).
Ablation : La suppression de l'état de preuve (ablation No-State) a provoqué une chute significative de la précision (ex: -9,17 points dans la configuration par défaut), confirmant que le gain est distinct du choix du planificateur ou du backend de perception.
Analyse d'Échec : Des audits de 40 cas Moyens/Difficiles ont révélé que de nombreuses exécutions « incorrectes » avaient en réalité progressé partiellement le long de la chaîne de preuves mais étaient bloquées par des créneaux de perception ou de récupération non clôturés, plutôt que d'avoir échoué dès le départ.

WorldSense (Audio-Vidéo Autonome)

Performance : Omni-Decision a atteint 58,3 % de précision sur WorldSense.
Transférabilité : Malgré l'absence d'outils externes (recherche web, navigation) dans ce benchmark, le système d'état de preuve est resté efficace, organisant les preuves média internes pour une lecture de choix multiples. Cela soutient la thèse selon laquelle l'interface d'état est un mécanisme de contrôle au niveau du système, indépendant des outils spécifiques au jeu de données.

Signification et Revendications

L'article affirme qu'Omni-Decision démontre que le contrôle multimodal à long horizon ne doit pas être laissé à un historique de dialogue implicite. En traitant l'état de preuve par portée de requête comme l'objet de contrôle central, le système peut :

Cibler l'acquisition de preuves : Identifier et poursuivre directement des besoins de preuves spécifiques manquants.
Préserver les indices épars : Maintenir des indices multimodaux qui pourraient autrement être perdus dans de longues trajectoires en forme libre.
Permettre un contrôle inspectable : Fournir un mécanisme clair de réparation, de résolution de conflit et d'arrêt basé sur l'état de la clôture des preuves.

Les auteurs positionnent Omni-Decision comme une interface de contrôle au niveau du système plutôt que comme une implémentation à rôles fixes. Ils soulignent que la contribution réside dans le contrat de lecture/écriture (les modules consomment un état partagé, seuls les événements normalisés sont enregistrés) plutôt que dans le nombre spécifique de rôles ou d'outils. L'article conclut que bien que le système améliore considérablement la prise de décision concernant ce qui manque et quand continuer, il ne remplace pas le besoin de capacités de perception de bas niveau ou de modèles calibrés en termes d'incertitude.