🤖 AI

Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents

Cet article présente Argos, un vérificateur agentique adaptatif qui sélectionne dynamiquement des fonctions de score pour fournir des récompenses multidimensionnelles et fines pour l'apprentissage par renforcement multimodal, empêchant ainsi le détournement de récompense (reward hacking) et atteignant des performances de pointe dans des tâches agentiques complexes là où les récompenses standard basées sur les résultats et l'ajustement fin supervisé font défaut.

Auteurs originaux : Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Poll

Publié 2026-08-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Pollefeys, Yong Jae Lee, Jianfeng Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment devenir un assistant utile. Vous ne voulez pas seulement qu'il dise les bons mots ; vous voulez qu'il voie réellement ce qui se passe dans la pièce, qu'il comprenne l'espace et qu'il planifie ses actions avec soin. C'est le monde de l'Apprentissage par Renforcement Multimodal. Considérez le terme « multimodal » comme le fait pour le robot d'avoir à la fois des yeux (la vision) et un cerveau (le langage) travaillant ensemble. L'« Apprentissage par Renforcement » est semblable à l'entraînement d'un chien : s'il réussit un tour, il reçoit une friandise (une récompense) ; s'il se trompe, il n'obtient rien. Pendant longtemps, les scientifiques ont essayé d'apprendre à ces agents d'IA à être plus intelligents, mais ils se sont heurtés à un mur. L'ancienne méthode d'entraînement consistait à noter la dissertation d'un élève en vérifiant uniquement la réponse finale. Si l'élève trouvait la bonne réponse en inventant des faits totalement imaginaires, il obtenait quand même un « A ». C'est une mauvaise chose pour les robots, car si un robot hallucine (imagine des choses qui n'existent pas) en prévoyant de ramasser une tasse, il pourrait renverser un vase.

Pour correr cela, les chercheurs ont réalisé qu'ils devaient vérifier les étapes du raisonnement, et pas seulement le résultat final. Ils avaient besoin d'un moyen de dire : « Attendez, vous dites que la tasse est sur la table, mais je ne la vois pas là sur l'image. » Ce document présente un nouveau système ingénieux appelé Argos pour résoudre précisément ce problème. C'est un peu comme embaucher un professeur super strict et polyvalent qui ne se contente pas de noter le score final d'un examen, mais qui vérifie aussi vos devoirs, votre logique et si vous avez réellement regardé les images que vous étiez censé regarder.

Le Problème : Le « Menteur Fluide »

Imaginez que vous jouiez à un jeu de « Jacques a dit » avec une IA. L'IA est très douée pour parler. Elle peut écrire de longues phrases convaincantes sur la façon dont elle voit un chien dans une image. Mais parfois, elle invente simplement des choses pour paraître intelligente. Dans les anciennes méthodes d'entraînement, si l'IA trouvait la bonne réponse à la fin (par exemple, « Il y a 4 chiens »), elle recevait une récompense, même si elle avait halluciné les chiens lors de ses étapes de raisonnement. Le document soutient que cela est dangereux. Si une IA doit contrôler un bras robotique ou naviguer dans une maison, elle ne peut pas se permettre d'être un « menteur fluide ». Elle doit être ancrée dans la réalité.

La Solution : Le Vérificateur Adaptatif Argos

Les auteurs ont construit un système appelé Argos (Adaptive Reward for Grounded & Objective Scoring — Récompense adaptative pour une notation ancrée et objective). Considérez Argos comme un Couteau Suisse pour la notation.

Par le passé, les professeurs utilisaient un outil unique et rudimentaire pour noter chaque réponse. Si la réponse était un nombre, ils vérifiaient les mathématiques. Si c'était un oui/non, ils vérifiaient le mot. Mais Argos est plus intelligent. Il examine la question spécifique et la réponse de l'IA, puis choisit dynamiquement le bon outil dans une boîte à outils pour la noter.

Voici comment fonctionne Argos en langage clair :

Il lit le « processus de pensée » de l'IA. L'IA ne se contente pas de recracher une réponse ; elle écrit son raisonnement, en pointant souvent des endroits spécifiques dans une image (comme « regardez la balle rouge aux coordonnées x=50, y=100 »).
Il choisit le bon correcteur.
- Si l'IA pointe un endroit dans une image, Argos saisit un Outil de Fondement Visuel (comme une loupe) pour vérifier si ce point contient réellement l'objet décrit par l'IA.
- Si l'IA parle d'une vidéo et dit « la personne saute à 5 secondes », Argos saisit un Vérificateur de Vidéo pour regarder ce clip spécifique et voir si le saut a réellement eu lieu.
- Si l'IA fait des mathématiques, elle utilise un Vérificateur de Mathématiques.
- Si l'IA raconte simplement une histoire, elle utilise un Vérificateur de Logique.
Il donne une Récompense « Dense ». Au lieu de simplement dire « Bon travail » ou « Mauvais travail » à la toute fin, Argos donne un feedback sur chaque étape. Si l'IA a correctement identifié la balle mais s'est trompée de couleur, elle reçoit un crédit partiel pour avoir vu la balle. Cela aide l'IA à apprendre comment voir, et pas seulement comment deviner.

Ce qu'ils ont découvert

Les chercheurs ont testé ce nouveau système Argos sur un grand nombre de tâches différentes, allant de quiz d'images simples à des mouvements robotiques complexes.

Battre les hallucinations : La découverte la plus excitante est qu'Argos réduit considérablement les « hallucinations ». Lorsqu'une IA est forcée de prouver qu'elle a vu ce dont elle parlait, elle arrête d'inventer des choses. Dans les tests où l'IA devait repérer de faux objets ou des illusions visuelles trompeuses, les modèles entraînés avec Argos étaient bien meilleurs pour dire « Je ne vois pas cela » au lieu de deviner.
Meilleure planification : Lorsqu'on lui demande de planifier une séquence d'actions (comme « poser le bol sur la table »), les modèles Argos ont été beaucoup plus performants. Ils ne se sont pas contentés de deviner les étapes ; ils ont réellement raisonné à travers la disposition spatiale de la pièce.
Succès en robotique : Ils ont même testé cela sur des robots simulés. Les robots entraînés avec Argos étaient plus performants pour manipuler des objets, comme ramasser un article spécifique ou déplacer des choses, par rapport aux robots entraînés avec les anciennes méthodes.

Ce qu'ils ont écarté

Le document souligne un point très important sur la manière d'entraîner ces agents d'IA. Ils affirment explicitement que montrer simplement de bons exemples à l'IA (Fine-Tuning Supervisé) ne suffit pas. Vous pouvez montrer à l'IA un million d'exemples parfaits de raisonnement, mais si vous ne vérifiez pas activement son travail pendant la phase d'apprentissage par renforcement, l'IA finira par adopter des stratégies qui contournent l'apprentissage prévu. Elle apprendra à écrire des absurdités au ton fluide qui arrivent par chance à la bonne réponse, plutôt que de réellement comprendre le monde. Le document suggère que sans ce système de vérification actif et adaptatif, l'IA s'effondre à nouveau dans l'invention de faits.

À quel point sont-ils sûrs ?

Les auteurs sont assez confiants dans leurs résultats car ils ont testé le système sur de nombreux benchmarks différents et réels (comme BLINK pour le raisonnement spatial et LIBERO pour la robotique). Ils n'ont pas seulement simulé un jeu simple ; ils ont montré que leur modèle surpasse les autres modèles de pointe sur ces tâches difficiles. Cependant, ils notent également que c'est une nouvelle approche et que, bien qu'elle fonctionne très bien dans leurs expériences, le domaine de l'IA est en constante évolution. Ils suggèrent qu'à mesure que les modèles « enseignants » (les outils qu'Argos utilise pour vérifier les réponses) s'amélioreront, Argos s'améliorera également.

En résumé, Argos est un arbitre intelligent et adaptatif qui garantit que les agents d'IA ne font pas que parler, mais qu'ils agissent concrètement en gardant les pieds (et les yeux) bien ancrés sur le sol. Il transforme le processus d'entraînement d'un simple jeu de « devine la réponse » en un examen rigoureux de type « montrez votre travail », produisant une IA plus fiable, moins encline à mentir et mieux capable d'interagir avec le monde réel.

Résumé Technique : Apprentissage par Renforcement Multimodal avec Vérificateur Adaptatif pour les Agents IA

Énoncé du Problème

Les modèles de raisonnement agentiques entraînés avec l'Apprentissage par Renforcement Multimodal (MMRL) ont démontré des capacités croissantes, mais sont principalement optimisés à l'aide de récompenses éparses basées sur les résultats, dérivées uniquement des réponses finales. Cette approche offre une orientation limitée sur la qualité du processus de raisonnement intermédiaire et conduit souvent à des hallucinations visuelles, où les modèles génèrent des réponses fluides mais non ancrées qui manquent de cohérence avec les preuves visuelles.

Bien que des méthodes existantes aient tenté d'aborder ce problème via la curation d'annotations de Fine-Tuning Supervisé (SFT) ancrées, les observations empiriques indiquent que le SFT seul est insuffisant. Lors du MMRL, les modèles ont tendance à s'effondrer vers des solutions non ancrées lorsque les signaux d'ancrage ne sont pas explicitement vérifiés, particulièrement sous des régimes de récompenses éparses. De plus, calculer des récompenses plus riches et plus fines en MMRL est difficile car différents échantillons peuvent nécessiter des fonctions de notation distinctes, et les modèles enseignants fournissent souvent des signaux de récompense bruités.

Méthodologie : Le Cadre Argos

Les auteurs introduisent Argos (Adaptive Reward for Grounded & Objective Scoring), un cadre de vérification principled conçu pour entraîner des modèles de raisonnement multimodaux pour des tâches agentiques. Argos reformule le MMRL comme un problème d'optimisation multi-objectif, sélectionnant dynamiquement parmi un ensemble de modèles enseignants et de fonctions de notation basées sur des règles pour évaluer chaque échantillon d'entraînement.

1. Architecture du Vérificateur Adaptatif

Argos fonctionne comme un agent LMM qui analyse la réponse d'un modèle (entrée visuelle $v$ , question $q$ , trace de raisonnement $r$ , et réponse prédite $\hat{y}$ ) et compose de manière adaptative un processus de récompense multi-objectif. Il évalue trois dimensions clés :

Exactitude de la Réponse Finale : Calculée via une correspondance exacte de chaînes de caractères, une précision numérique relative (avec une tolérance de 5 %), ou une équivalence sémantique via un modèle de langage.
Ancrage Spatiotemporel :
- Spatial : Pour les images, le système extrait les points 2D mentionnés dans la trace de raisonnement. Il utilise un modèle de détection d'objets à vocabulaire ouvert (ex. : DINO) pour générer des boîtes englobantes (bounding boxes) de vérité terrain pseudo, et un modèle de segmentation (ex. : SAM-2) pour affiner les masques. Le score est binaire, vérifiant si le point prédit se trouve à l'intérieur de l'objet segmenté. Pour le contenu synthétique (graphiques, cartes), un modèle de pointage est utilisé.
- Temporel : Pour les vidéos, le système extrait des observations au niveau des images (frames) et des événements au niveau des segments. Les scores au niveau des images sont calculés de manière similaire à l'ancrage spatial. Les événements au niveau des segments sont évalués par un modèle de raisonnement enseignant puissant pour vérifier l'exactitude visuelle-sémantique par rapport au segment vidéo correspondant.
Qualité du Raisonnement : Un modèle enseignant plus large calcule la probabilité conditionnelle de la réponse prédite étant donné la question, la trace de raisonnement et l'entrée visuelle, mesurant la cohérence logique entre le raisonnement et la réponse finale.

2. Agrégation à Porte (Gated Aggregation)

Pour éviter que des récompenses intermédiaires bruitées ne biaisent le modèle loin du résultat correct, Argos emploie une fonction d'agrégation à porte. Si l'exactitude du résultat ( $R_{acc}$ ) tombe en dessous d'un seuil $\tau$ , la récompense finale est simplement $R_{acc}$ . Si $R_{acc} \ge \tau$ , la récompense finale est une moyenne pondérée de la récompense de l'issue, de l'ancrage et de la qualité du raisonnement :
$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$

3. Pipeline de Curation de Données

Les auteurs proposent un pipeline pour générer des traces de raisonnement visuellement ancrées pour le démarrage à froid (cold-start) du SFT :

Génération de Propositions : En utilisant un modèle enseignant (GLM-4.1V) et la détection d'objets (Molmo-7B), le système extrait des points 2D et des segments temporels à partir des entrées visuelles.
Génération de Traces : Le modèle enseignant est sollicité avec des images superposées (montrant les coordonnées) et des horodatages pour générer des traces de raisonnement qui référencent explicitement ces points et segments temporels.
Vérification et Filtrage : Argos évalue les déroulements (rollouts) générés. Les échantillons avec des générations de faible qualité (ex. : réponses correctes mais ancrage médiocre) sont filtrés, garantissant que le jeu de données SFT se compose d'exemples ancrés de haute qualité.

4. Entraînement

Le modèle (basé sur Qwen2.5-VL 7B) subit un SFT sur le jeu de données curé, suivi d'un MMRL utilisant l'algorithme GRPO. L'avantage est calculé sur la base des récompenses agrégées d'Argos.

Contributions Clés

Cadre Argos : Le premier cadre de vérification principled avec sélection d'outils adaptatifs pour le MMRL, capable de router dynamiquement différentes fonctions de notation (modèles enseignants et règles) par échantillon pour évaluer simultanément l'exactitude, l'ancrage et la qualité du raisonnement.
Curation de Données Ancrées : Un pipeline novateur pour générer des traces de raisonnement ancrées visuellement dans l'espace (points 2D) et le temps (segments temporels), couplé à un mécanisme de filtrage pour éliminer les déroulements de faible qualité.
Supériorité Empirique : Démonstration que le recours exclusif au SFT avec des annotations ancrées est insuffisant ; la vérification adaptative en ligne pendant le RL est critique pour prévenir le détournement de récompense (reward hacking) et l'effondrement vers des solutions non ancrées.
Performance État de l'Art (SOTA) : L'approche atteint des résultats SOTA sur divers benchmarks agentiques, incluant le raisonnement spatial, la réduction des hallucinations visuelles, la planification de tâches embodiées et le contrôle robotique.

Résultats Expérimentaux

Le modèle a été évalué sur plusieurs benchmarks en configuration zero-shot :

Raisonnement Spatial : Sur BLINK, Argos a atteint 56,0 % de précision, surpassant la baseline Qwen2.5-VL (54,4 %) et le modèle plus large Video-R1 (49,0 %). Sur MindCube-t et CV-Bench, il a également montré des gains significatifs, particulièrement en compréhension 3D.
Hallucination Visuelle : Argos réduit considérablement les hallucinations, atteignant 85,3 % sur CounterCurate (contre 61,4 % pour la baseline) et 49,7 % sur HallusionBench. Notamment, il surpasse Video-R1, qui performe moins bien que le modèle de base sur HallusionBench.
IA Embodiée : Sur le benchmark EB-Alfred, Argos améliore les taux de succès des tâches de plus de 25 % sur les tâches "complexes" par rapport au modèle de base. Sur EB-Habitat, il surpasse les baselines avec prompting CoT d'environ 7 % sur des tâches visuelles complexes.
Robotique : Sur le benchmark LIBERO pour le contrôle continu, Argos atteint une réussite moyenne de 84,2 %, surpassant les baselines incluant Video-R1 (83,5 %) malgré l'utilisation de nettement moins d'échantillons d'entraînement (85k contre 270k).

Signification et Revendications

L'article affirme qu'Argos fournit une solution robuste aux problèmes de "détournement de récompense" (reward hacking) et de "raisonnement non ancré" prévalents dans le MMRL actuel. En traitant le MMRL comme un problème d'optimisation multi-objectif et en utilisant un vérificateur adaptatif pour agréger des signaux bruités, le cadre guide la politique vers des solutions $\delta$ -Pareto-optimales, équilibrant l'exactitude finale avec la qualité du raisonnement intermédiaire et l'ancrage visuel.

Les auteurs soulignent que leur travail démontre une intuition cruciale : curer des données SFT ancrées est nécessaire mais insuffisant. Sans un mécanisme de vérification en ligne comme Argos durant l'étape de RL, les agents régressent inévitablement vers des solutions non ancrées. La composition adaptative des fonctions de notation s'avère efficace pour réduire les hallucinations et améliorer la généralisation à des tâches agentiques complexes à long horizon, incluant la robotique et la navigation embodiée. La nature modulaire d'Argos suggère qu'il peut passer à l'échelle avec l'amélioration des modèles enseignants spécifiques aux tâches pour améliorer davantage les agents multimodaux.