🤖 AI

PRISM: Perception Reasoning Interleaved for Sequential Decision Making

PRISM est un cadre entièrement automatique qui comble l'écart entre la perception, le raisonnement et la décision chez les agents incarnés en employant un pipeline dynamique de questions-réponses où un LLM critique et sonde activement un modèle vision-langage pour générer une compréhension de scène axée sur les tâches, surpassant de manière significative les modèles de pointe sur des benchmarks tels qu'ALFWorld et Room-to-Room.

Auteurs originaux : Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

Publié 2026-06-15

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe dans une pièce sombre, mais que vous ne pouvez voir qu'un minuscule filet de lumière à la fois. Vous avez un Photographe (le modèle de vision) qui peut prendre une photo et décrire ce qu'il voit, et un Détective (le modèle de langage) qui est brillant en logique et en planification, mais qui est aveugle.

Dans la plupart des systèmes robotiques actuels, le Photographe jette un coup d'œil rapide, rédige une description générique du type « Je vois une table et une chaise », et la transmet au Détective. Le Détective tente ensuite de comprendre comment saisir un œuf et le chauffer. Le problème ? Le Photographe a manqué le fait que l'œuf est caché sous une serviette, ou que le micro-ondes est en réalité un grille-pain. Le Détective, travaillant avec des informations incomplètes, commet une erreur.

PRISM change la donne en transformant cela en une conversation dynamique plutôt qu'en une transmission unidirectionnelle.

L'approche PRISM : Un détective et un photographe en ligne

Au lieu de simplement transmettre un rapport statique, PRISM instaure une conversation en boucle fermée entre le Photographe et le Détective :

Le premier regard : Le Photographe observe la scène et donne une description sommaire.
La critique du Détective : Le Détective lit la description et l'objectif (par exemple, « Chauffer un œuf »). Il repère immédiatement les lacunes : « Attendez, vous ne m'avez pas dit où se trouve l'œuf, ni s'il y a un micro-ondes ! »
La question ciblée : Au lieu de demander au Photographe de décrire toute la pièce à nouveau, le Détective pose une question spécifique et orientée vers l'objectif : « Voyez-vous un micro-ondes ? » ou « Y a-t-il un œuf sur le comptoir ? »
La réponse spécifique : Le Photographe se concentre mentalement et répond uniquement à cette question précise.
Le briefing final : Le Détective prend la description originale, y ajoute les nouvelles réponses et rédige un résumé parfait et concis qui inclut exactement ce qui est nécessaire pour accomplir la tâche.

Pourquoi cela importe (la « magie » de PRISM)

L'article affirme que cette méthode résout trois problèmes majeurs :

Elle évite le piège de l'hallucination : Si vous dites simplement au Photographe « Cherche un micro-ondes », il pourrait en imaginer un qui n'existe pas parce qu'il essaie trop de satisfaire l'objectif. PRISM évite cela en faisant en sorte que le Détective pose des questions après avoir pris connaissance de la réalité initiale, gardant ainsi les faits ancrés dans le réel.
Elle élimine le bruit : Imaginez essayer de lire un roman où, chaque fois que vous posez une question, l'auteur colle à nouveau le livre entier avec la réponse mise en évidence. C'est ce que font les autres méthodes. PRISM est comme un éditeur talentueux qui prend la nouvelle information et l'intègre dans une histoire courte et claire. Cela facilite grandement la prise de décision correcte par le robot.
Elle apprend par elle-même : Le système n'a pas besoin qu'un humain écrive une liste de questions comme « Vérifie s'il y a un frigo » ou « Vérifie s'il y a un four ». Le Détective (l'IA) détermine de lui-même les questions à poser en fonction de la situation spécifique.

Les résultats : Meilleur au jeu

Les chercheurs ont testé cette équipe « Détective-Photographe » dans deux mondes de type jeu vidéo :

ALFWorld : Une maison où vous devez accomplir des tâches ménagères comme nettoyer, chauffer de la nourriture ou ramasser des objets.
Room-to-Room : Une tâche de navigation où vous devez traverser une maison pour trouver une pièce spécifique.

L'article affirme que :

PRISM a nettement surpassé les robots qui utilisent simplement une caméra et un cerveau sans communiquer entre eux.
Il a même battu des robots qui avaient accès à des « codes de triche » (des descriptions textuelles parfaites de la pièce), simplement parce qu'il était très efficace pour trouver les détails pertinents.
Il fonctionne de manière entièrement automatique. Aucun humain n'a eu à rédiger les questions ; l'IA a déterminé par elle-même ce qu'elle devait demander sur le vif.

L'essentiel

Voyez PRISM comme la différence entre un rendez-vous arrangé où vous restez assis en espérant que l'autre personne dise la bonne chose, et une excellente conversation où vous posez des questions de suivi pour comprendre parfaitement votre interlocuteur. En permettant au « cerveau » du robot de questionner activement ses « yeux », le robot cesse de deviner et commence à comprendre exactement ce dont il a besoin pour réussir.

Résumé technique : PRISM – Perception et raisonnement entrelacés pour la prise de décision séquentielle

1. Énoncé du problème

L'intégration des modèles de langage étendus (LLM) et des modèles langage-vision (VLM) dans les agents incarnés pour la prise de décision séquentielle fait face à un fossé critique entre « perception et raisonnement ». Bien que les LLM excellent dans le raisonnement logique et que les VLM puissent traiter des entraux visuels, les approches actuelles ont tendance à découpler ces modules. Dans les pipelines standards, un VLM génère passivement une description de scène générique qui est ensuite transmise à un LLM pour la prise de décision. Ce couplage lâche entraîne deux problèmes principaux :

Perte d'information : Les VLM négligent souvent des détails visuels fins et critiques pour la tâche car ils manquent du contexte spécifique de l'objectif actuel de l'agent.
Hallucinations et bruit : Le simple fait de conditionner le VLM sur l'objectif peut induire des hallucinations (description d'objets inexistants), tandis que la concaténation naïve de paires question-réponse (QA) avec des descriptions de scènes crée des prompts longs et bruyants qui entravent le raisonnement en aval.

De plus, les méthodes interactives existantes reposent souvent sur des questions prédéfinies ou des annotations d'oracle, ce qui limite leur autonomie et leur applicabilité dans des contextes réels où de tels a priori ne sont pas disponibles.

2. Méthodologie : Le cadre PRISM

PRISM (Perception et raisonnement entrelacés pour la prise de décision séquentielle) répond à ces défis en établissant un couplage étroit et dynamique entre la perception et la prise de décision grâce à un pipeline de Question-Réponse Dynamique (DQA). Le cadre opère en deux phases entrelacées au sein d'un processus de décision markovien partiellement observable (POMDP) conditionné par un objectif :

A. Perception interactive orientée vers l'objectif

Au lieu d'une description en une seule passe, PRISM emploie une boucle de communication itérative entre un VLM (module de perception, $V_p$ ) et un LLM (module de raisonnement, $R$ ) :

Description initiale : Le VLM génère une description initiale, indépendante de l'objectif ( $d^t_i$ ), de l'observation visuelle ( $o_t$ ).
Identification des lacunes et génération de questions : Le LLM analyse $d^t_i$ par rapport à l'objectif de la tâche ( $g$ ) pour identifier les informations manquantes. Il génère un ensemble de questions spécifiques et pertinentes pour l'objectif ( $Q_t$ ) afin d'interroger le VLM.
Requêtes ciblées : Le VLM répond à chaque question de $Q_t$ en se basant sur l'observation visuelle actuelle, produisant un ensemble de réponses ( $\Lambda_t$ ).
Synthèse sémantique : Crucialement, le LLM ne se contente pas de concaténer les paires QA brutes. Au lieu de cela, il synthétise la description initiale, les questions et les réponses en une description finale compacte et raffinée ( $d^t_f$ ). Cette étape filtre les détails non pertinents et les hallucinations tout en mettant l'accent sur les éléments critiques pour la tâche.

B. Prise de décision séquentielle

La description raffinée ( $d^t_f$ ), ainsi que l'objectif et l'historique d'interaction, sont transmis à la politique de l'LLM ( $\pi_\theta$ ) pour générer l'action suivante ( $a_t$ ). La politique est augmentée d'adaptateurs LoRA (Low-Rank Adaptation) spécifiquement entraînés pour la génération d'actions, tandis que l'LLM de base conserve ses capacités de raisonnement pré-entraînées.

C. Stratégie d'entraînement

PRISM utilise un pipeline d'entraînement en deux étapes exclusivement au sein de l'environnement visuel, évitant de dépendre d'une supervision textuelle privilégiée :

Imitation comportementale (BC) : La politique est pré-entraînée pour imiter des démonstrations d'experts (converties en texte via le pipeline de perception de PRISM).
Apprentissage par renforcement (RL) en ligne : La politique est affinée par la suite en utilisant l'Optimisation de Politique Proche (PPO). Notamment, la boucle de perception DQA reste active pendant le RL, permettant à l'agent d'apprendre des interactions en ligne.

3. Contributions clés

Question-Réponse Dynamique (DQA) : Un mécanisme entièrement automatique qui couple étroitement la perception et la prise de décision. Contrairement aux travaux précédents, il ne nécessite aucune question fabriquée à la main ou annotation d'oracle, car l'LLM génère dynamiquement des requêtes orientées vers l'objectif.
Synthèse sémantique : Une stratégie de fusion novatrice où l'LLM synthétise les interactions QA en une description concise et axée sur la tâche, évitant le bruit et la verbosité d'une concaténation naïve.
Architecture efficace : Le cadre sépare la perception (VLM) de la prise de décision (LLM avec LoRA), permettant l'utilisation de recettes de RL textuelles établies tout en ancrant les décisions dans des environnements visuels.
Pipeline automatique : Le système élimine le besoin d'une clarification humaine dans la boucle ou de jeux de questions prédéfinis, améliorant ainsi l'autonomie.

4. Résultats expérimentaux

Les auteurs ont évalué PRISM sur deux benchmarks : ALFWorld (tâches domestiques) et Room-to-Room (R2R) (navigation).

Résultats ALFWorld

Performance : PRISM surpasse significativement les modèles basés sur l'image de l'état de l'art. La variante PRISM BC+RL a atteint un taux de succès (SR) moyen de 80 %, dépassant la base Idefics2 8B de 12 points et la base VIPERBC+RL de 5 points.
Comparaison à l'Oracle : PRISM a réduit l'écart de performance avec les méthodes utilisant une supervision textuelle privilégiée (ex: EMMA, EMAC+) à une marge négligeable, atteignant des performances comparables malgré l'absence d'accès aux identifiants d'objets et aux états occultés.
Études d'ablation :
- Architecture : PRISM a surpassé les VLM monolithiques et les architectures modulaires VLM-LLM statiques (« Raw perception ») de 6 à 8 % en moyenne.
- Stratégie de fusion : L'approche de synthèse de l'LLM a surpassé les stratégies « QA-Only » et « CONCAT » (concaténation naïve), confirmant que la synthèse du contexte global avec les détails spécifiques à la tâche est supérieure à une simple agrégation.
- Qualité des questions : Les questions générées dynamiquement par PRISM ont atteint une performance à moins de 2 % des questions oracle annotées par des humains, démontnant que l'LLM peut identifier efficacement les besoins d'information sans a priori prédéfinis.
- Précision de la perception : La perception interactive orientée vers l'objectif a considérablement amélioré la précision des descriptions de scènes (mesurée par RougeL, METEOR, BERTScore et LLM-as-a-judge) par rapport à la perception brute et à la perception consciente de l'objectif (qui souffrait d'hallucinations).

Résultats R2R

PRISM a obtenu le taux de succès le plus élevé (46,08 %) et le succès pondéré par la longueur du chemin (SPL 43,14) parmi toutes les méthodes testées, incluant les réimplémentations de DiscussNav et LangNav.
Le cadre a démontré une efficacité de navigation supérieure, réduisant l'erreur de navigation (NE) de plus de 1,4 point par rapport aux bases de comparaison réimplémentées, soulignant sa capacité à filtrer le bruit et à exploiter les indices pertinents pour la tâche lors du raisonnement spatial.

5. Signification et affirmations

L'article affirme que PRISM représente une étape significative vers des agents incarnés autonomes en comblant efficacement le fossé entre perception et raisonnement. Les auteurs soutiennent que :

Le raisonnement entrelacé est essentiel : Le couplage étroit de la perception et de la prise de décision via la DQA compense les limitations perceptuelles des VLM autonomes.
Autonomie plutôt que A Priori : Le cadre prouve que des agents incarnés de haute performance peuvent être construits sans dépendre de questions manuelles irréalistes ou d'environnements textuels privilégiés.
Robustesse : La méthode est robuste à travers différents backbones de VLM (Idefics2, Qwen3-VL) et différents domaines de tâches (manipulation et navigation).

Les auteurs concluent que, bien que leur approche améliore l'interprétabilité et l'autonomie, elle hérite des biais des modèles pré-entraînés à grande échelle. Les travaux futurs identifiés consistent à intégrer ces capacités entrelacées avec des systèmes de contrôle de bas niveau, tels que la robotique, pour combler le fossé entre la prise de décision et l'action physique.