R-WoM: Retrieval-augmented World Model For Computer-use Agents

Le papier propose R-WoM, un modèle de monde enrichi par la récupération d'informations factuelles pour pallier les hallucinations des grands modèles de langage et améliorer la fiabilité des simulations à long horizon dans les agents informatiques.

L'essentiel

🌍 R-WOM : Le "Super-Guide" pour les Agents IA

Imaginez que vous donnez à un robot (une Intelligence Artificielle) la mission de faire des tâches sur votre ordinateur ou sur Internet, comme copier un fichier, modifier un document ou naviguer sur un site web complexe.

Le problème ? Le robot est très intelligent, mais il a une faiblesse majeure : il hallucine.

1. Le Problème : L'IA qui rêve trop

Les grands modèles de langage (comme ceux qui font fonctionner les chatbots) sont comme des encyclopédies géantes qui ont tout lu, mais qui n'ont jamais vraiment touché un ordinateur.

• L'analogie du cuisinier aveugle : Imaginez un chef cuisinier très célèbre qui a lu des millions de livres de cuisine. Il connaît la théorie parfaite. Mais si vous lui demandez de faire un gâteau dans votre cuisine spécifique, avec votre four qui a un bouton bizarre, il va essayer de deviner.
• Le résultat : Il va dire : "Je vais appuyer sur le bouton rouge pour cuire le gâteau". Sauf que dans votre cuisine, le bouton rouge éteint le four ! Il va essayer, échouer, et recommencer. C'est ce qu'on appelle l'essai-erreur, ce qui est lent et coûteux.

Les chercheurs ont découvert que ces IA sont bonnes pour deviner ce qui se passe immédiatement après une action (ex: "Si je clique ici, le menu s'ouvre"), mais elles perdent le fil très vite quand il faut planifier une longue série d'étapes (ex: "Préparer le gâteau, le décorer, l'envoyer par la poste"). Elles s'égarent dans leurs propres rêves.

2. La Solution : R-WOM (Le Modèle de Monde Augmenté par la Recherche)

Pour régler ce problème, les auteurs ont créé R-WOM. C'est comme donner au robot un guide de l'utilisateur en temps réel qu'il consulte à chaque étape.

• L'analogie du GPS et du manuel : Au lieu de se fier uniquement à sa mémoire (qui est parfois fausse), le robot regarde un manuel d'instructions précis (des tutoriels) qui correspond exactement à la tâche qu'il est en train de faire.
• Comment ça marche ?
  1. Le robot a une idée de ce qu'il doit faire.
  2. Avant d'agir, il va chercher dans une bibliothèque de tutoriels (sur Internet ou des manuels logiciels) la procédure exacte.
  3. Il utilise ces informations pour "simuler" l'avenir : "Si je fais ça selon le manuel, qu'est-ce qui va se passer ?"
  4. Il compare plusieurs scénarios et choisit le meilleur, en s'assurant qu'il ne s'éloigne pas des instructions réelles.

3. Les Deux Astuces Magiques

Le papier explique deux idées clés qui rendent ce système efficace :

• La Recherche Intelligente (RAG) : Parfois, si vous demandez "Comment fork un ChatGPT ?", le robot pourrait trouver un manuel sur Git (un outil de code) qui est trop général. R-WOM est comme un bibliothécaire très intelligent qui reformule votre question et trie les résultats pour ne vous donner que le manuel exact pour votre situation précise.
• Le Classement Relatif (au lieu du score absolu) : Au lieu de dire "Cette action vaut 8/10", le robot compare les options entre elles : "L'option A est-elle meilleure que l'option B ?". C'est comme un jury de concours qui compare les candidats entre eux plutôt que de noter chacun sur une échelle fixe. Cela évite les erreurs de jugement et rend le choix plus stable.

4. Les Résultats : Moins d'erreurs, plus de succès

Les chercheurs ont testé ce système sur deux terrains d'entraînement difficiles :

• WebArena : Naviguer sur des sites web complexes (comme des forums ou des boutiques en ligne).
• OSWorld : Utiliser des logiciels de bureau (comme GIMP, LibreOffice, Chrome).

Le verdict ?
Avec R-WOM, les robots ont réussi beaucoup plus de tâches, surtout celles qui demandent beaucoup d'étapes.

• Sur certains tests, ils ont gagné jusqu'à 23% de réussite en plus par rapport aux robots qui n'avaient pas de guide.
• Ils sont devenus beaucoup plus fiables pour les longues missions, là où les autres robots s'embrouillaient et perdaient le fil.

En Résumé

R-WOM transforme un robot qui "rêve" de ce qu'il doit faire en un robot qui lit le mode d'emploi avant d'agir.

C'est la différence entre un étudiant qui tente de résoudre un problème de maths en se souvenant vaguement de la leçon (et qui fait des erreurs) et un étudiant qui a le livre de cours ouvert devant lui, vérifie chaque formule, et réussit son examen du premier coup.

C'est une avancée majeure pour rendre les agents IA plus utiles et moins sujets aux erreurs dans notre monde numérique réel.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "R-WOM: RETRIEVAL-AUGMENTED WORLD MODEL FOR COMPUTER-USE AGENTS", publié à la conférence ICLR 2026.

1. Problématique et Contexte

Les Modèles du Monde (World Models) basés sur les Grands Modèles de Langage (LLM) sont devenus une approche prometteuse pour les agents informatiques (Computer-Use Agents). Ils permettent de simuler des états futurs et de prédire les conséquences des actions, réduisant ainsi le besoin d'exploration par essais-erreurs coûteuse dans des environnements numériques réels (navigateurs web, systèmes d'exploitation).

Cependant, l'article identifie une limitation fondamentale : les LLMs souffrent d'hallucinations et dépendent de connaissances paramétriques statiques. Dans des environnements dynamiques et complexes, cela conduit à des erreurs cumulatives qui dégradent rapidement la fiabilité des simulations à long terme (long-horizon). Les agents peinent souvent à s'adapter aux connaissances spécifiques d'un environnement (ex: interface utilisateur spécifique d'un logiciel) et génèrent des procédures qui semblent cohérentes mais sont inapplicables.

L'objectif de l'étude est de déterminer si les LLMs peuvent servir de modèles du monde fiables et, le cas échéant, comment les ancrer (ground) dans des connaissances factuelles pour améliorer leur performance.

2. Analyse Préliminaire et Diagnostic

Les auteurs ont mené une enquête systématique sur les capacités des LLMs (Qwen-2.5-VL-72B, Claude-3.5/3.7-Sonnet) via trois tâches de sondage sur les benchmarks WebArena et OSWorld :

1. Identification de l'état suivant (Next-state identification) : Prédire l'observation immédiate après une action.
   • Résultat : Les LLMs excellent ici (>75% de précision), montrant une bonne compréhension des changements d'états à court terme.
2. Alignement de la planification complète (Full-procedure planning alignment) : Générer un plan d'exécution complet et vérifier sa cohérence avec la réalité de l'environnement.
   • Résultat : La performance chute drastiquement (<65%). Les LLMs échouent à maintenir la cohérence procédurale sur de longues séquences, produisant des étapes infeasibles.
3. Reconnaissance des transitions de jalons (Milestone transition recognition) : Évaluer si une séquence d'états intermédiaires mène au succès (estimation de récompense).
   • Résultat : Les LLMs sont performants (>83%), capables de distinguer les trajectoires prometteuses des échecs.

Conclusion de l'analyse : Les LLMs possèdent une bonne capacité de prédiction locale et d'évaluation, mais échouent dans la planification à long horizon en raison du manque d'ancrage dans des connaissances procédurales spécifiques et à jour.

3. Méthodologie : R-WoM (Retrieval-augmented World Model)

Pour combler ce fossé, les auteurs proposent R-WoM, un cadre qui intègre des connaissances externes (tutoriels) pour ancrer la simulation du monde.

Architecture et Composants Clés :

• Pipeline RAG Raisonné (Reasoning-based RAG) :
  • Au lieu d'une simple recherche par similarité vectorielle, R-WoM utilise une pipeline en deux étapes :
    1. Réécriture de requête (Query Rewriting) : Pour généraliser et anonymiser la requête de l'agent (ex: transformer "Fork ChatGPT" en une requête générique sur le forking GitLab).
    2. Reclassement par LLM (LLM-based Reranking) : Un modèle LLM réévalue les résultats pour éliminer le bruit sémantique et sélectionner les tutoriels les plus pertinents pour le contexte spécifique.
• Simulation par Rollout Long CoT (Chain-of-Thought) :
  • Contrairement aux méthodes itératives coûteuses (policy vs world model), R-WoM utilise un mécanisme de Long Chain-of-Thought (inspiré de Deepseek-R1). Le modèle du monde génère une trajectoire imaginaire complète (k étapes) en une seule séquence de raisonnement, conditionnée par les tutoriels récupérés.
• Estimation de Récompense Listwise :
  • Au lieu d'attribuer un score absolu (0, 0.5, 1) à chaque trajectoire (source de biais), R-WoM utilise une estimation de récompense par classement (listwise). Le modèle compare les différentes trajectoires candidates les unes par rapport aux autres pour identifier la plus prometteuse, ce qui stabilise la sélection d'actions.
• Optimisation Adaptative :
  • Pour réduire les coûts computationnels, le système n'active le modèle du monde que lorsque l'agent est incertain (branchement adaptatif) et élimine les actions redondantes (déduplication).

4. Résultats Expérimentaux

Les expériences ont été menées sur WebArena et OSWorld avec plusieurs modèles de base (Qwen, Claude).

• Performance End-to-End :
  • R-WoM surpasse systématiquement les baselines (Vanilla, RAG simple, WebDreamer).
  • Améliorations relatives : Jusqu'à 23,4% sur OSWorld et 16,3% sur WebArena par rapport aux meilleures baselines non-R-WoM.
  • L'amélioration est particulièrement marquée pour les tâches à long horizon, là où les modèles non ancrés échouent.
• Impact de l'Ancrage (Grounding) :
  • Une analyse ablation montre que la performance croît avec la qualité de l'ancrage : Sans ancrage < R-WoM (tutoriels récupérés) < R-WoM (tutoriels oracles). Cela prouve que la précision des connaissances procédurales est cruciale.
• Horizon d'Imagination :
  • Les modèles non ancrés (WebDreamer) voient leur taux de succès chuter après 2 étapes d'anticipation. R-WoM maintient un taux de succès élevé jusqu'à 3 étapes, démontrant sa capacité à stabiliser les simulations longues.
• Scénarios à Tutors Rares :
  • Même en l'absence de tutoriels en ligne, R-WoM peut synthétiser des tutoriels à partir de trajectoires d'auto-jeu (self-play), conservant ainsi un avantage significatif sur les autres méthodes.

5. Contributions Clés

1. Analyse Systématique : Démonstration que les LLMs sont de bons prédicteurs d'états locaux mais de mauvais planificateurs à long terme sans ancrage externe.
2. Cadre R-WoM : Introduction d'un modèle du monde augmenté par la récupération, combinant un pipeline RAG avancé (réécriture + reclassement) et une simulation Long CoT.
3. Nouvelle Stratégie de Récompense : Adoption d'une estimation de récompense listwise (relative) plutôt qu'absolue, améliorant la robustesse de la sélection d'actions.
4. Validation Empirique : Preuve de l'efficacité sur des benchmarks réalistes complexes, avec des gains significatifs et une réduction des hallucinations procédurales.

6. Signification et Impact

Ce travail est significatif car il déplace le paradigme des agents informatiques de la simple "réflexion interne" vers une réflexion ancrée dans la réalité. Il démontre que pour des tâches complexes sur ordinateur, la capacité d'un agent à accéder et à raisonner sur des connaissances procédurales externes (tutoriels) est aussi importante que sa capacité de raisonnement intrinsèque.

R-WoM offre une solution pratique et efficace pour réduire les hallucinations dans les agents autonomes, permettant des simulations fiables sur de longues séquences d'actions, ce qui est essentiel pour le déploiement d'agents dans des environnements professionnels réels. De plus, la méthode d'optimisation adaptative rend cette approche viable en termes de coût computationnel.