🤖 machine learning

When a Verified World Model Still Loses: Play-Adequacy vs Prediction-Accuracy in LLM-Synthesized Code World Models

Cet article démontre que les modèles de monde de code synthétisés par des modèles de langage de grande taille peuvent atteindre une précision de transition quasi parfaite sur des données échantillonnées, tout en échouant systématiquement dans la planification car ils omettent des règles rares mais pivots, révélant ainsi que la précision de prédiction est une métrique inadéquate pour les modèles de monde orientés vers la planification par rapport à la performance de jeu ou à la couverture de la distribution de recherche.

Auteurs originaux : Javier Aguilar Martín

Publié 2026-07-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Javier Aguilar Martín

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Boîte Magique et l'Angle Mort

Imaginez que vous enseigniez à un robot super intelligent comment jouer à un nouveau jeu de société. Vous ne voulez pas que le robot se contente de mémoriser chaque mouvement qu'il a déjà vu ; vous voulez qu'il comprenne les règles pour qu'il puisse anticiper et gagner. Dans le monde de l'intelligence artificielle, il existe une astuce ingénieuse appelée « Modèle de Monde par Code » (Code World Model). Au lieu de laisser le robot deviner, nous demandons à un Grand Modèle de Langage (comme ceux qui écrivent des histoires ou du code) de lire le livre de règles et d'écrire un programme informatique qui simule parfaitement le jeu. Une fois que le robot possède ce programme, il peut faire tourner des millions de parties imaginaires dans sa tête pour trouver le meilleur coup.

Mais voici la partie délicate : comment savoir si le robot a écrit le programme correctement ? Habituellement, nous le testons en jouant quelques parties aléatoires contre lui. Si le programme du robot prédit correctement l'issue de ces parties aléatoires, nous disons : « Super ! Le modèle est vérifié ! » et nous le laissons jouer pour de vrai. Cet article pose une question effrayante : et si le programme du robot était parfait pour prédire des parties aléatoires, mais complètement erroné lors des moments précis qui comptent vraiment pour gagner ? Il s'avère que le simple fait qu'un modèle réussisse un test aléatoire ne signifie pas qu'il est prêt pour la cour des grands.

Le Conte de la Règle Manquante

Les chercheurs de cet article ont découvert un piège caché dans la manière dont nous testons ces joueurs de jeux IA. Ils ont constaté qu'une IA peut franchir une « porte de vérification » avec brio — réussissant 100 % des parties de test aléatoires — tout en perdant chaque partie réelle face à un adversaire expérimenté.

Pour comprendre comment cela se produit, imaginez que vous testez un nouveau moteur de jeu vidéo. Vous jouez 40 matchs aléatoires où vous vous contentez d'appuyer frénétiquement sur les boutons et de faire tourner votre personnage en cercles. Le moteur prédit exactement ce qui se passe dans ces 40 matchs. Vous lui donnez une étoile dorée et dites : « Parfait ! ». Mais supposons qu'il existe une règle secrète dans le jeu : « Si la partie dure plus de 100 tours, le joueur ayant le plus d'or gagne. » Dans ces 40 matchs aléatoires de tapotement de boutons, la partie ne dure jamais aussi longtemps, donc le moteur n'est jamais testé sur cette règle. Il réussit le test.

Cependant, lorsqu'un joueur astucieux (l'adversaire de l'IA) joue, il sait comment faire durer la partie jusqu'à 100 tours pour gagner. L'IA, utilisant son moteur « vérifié », ignore que cette règle secrète existe. Elle pense que la partie devrait se terminer par un match nul. Parce qu'elle ignore cette règle minuscule et rare, elle commet une erreur fatale et perd. Les chercheurs appellent cela l'« écart entre vérification et correction » (verified-vs-correct gap). Le modèle est vérifié (il a réussi le test) mais n'est pas correct (il échoue dans le monde réel).

La Loi de l'Erreur Rare

L'article ne se contente pas de dire que cela arrive ; il nous donne une formule mathématique pour prédire exactement quand cela se produira. Ils appellent cela la « Loi du Danger » (Danger Law).

Considérez le test de vérification comme un filet de pêche. La « rareté » de la règle secrète correspond à la difficulté de capturer un poisson qui déclenche cette règle. Si la règle se produit dans 50 % des parties, le filet (même petit) la capturera facilement. Mais si la règle ne se produit que dans 2,5 % des parties (comme la règle des « 100 tours » dans leur expérience), et que vous ne lancez votre filet que 40 fois, il y a une très forte probabilité que vous la manquiez complètement.

La formule est la suivante : Danger = (Gravité de l'erreur) × (Probabilité que le test ait manqué la règle).

Dans leurs expériences, ils ont créé un jeu appelé army5x5a avec une règle cachée concernant ce qui se passe lorsqu'une limite de temps est atteinte. Ils ont découvert que lorsque la règle était rare (survenant dans seulement environ 2,5 % des parties aléatoires), l'IA réussissait le test mais perdait les vraies parties avec un taux de victoire de seulement 0,404 (environ 40 %), contre une base de référence équitable de 0,495 (environ 50 %). Cela ne semble peut-être pas être une énorme différence, mais dans le monde du jeu compétitif, perdre 1,6 partie pour chaque partie gagnée est un désastre. Le modèle « vérifié » a été systématiquement surpassé parce qu'il était aveugle à la seule chose qui comptait le plus.

Pourquoi plus d'exemples ne servent à rien

Vous pourriez penser : « D'accord, le test était trop court. Donnons simplement plus d'exemples de cette règle rare à l'IA ! » Les chercheurs ont également essayé cela. Ils ont nourri l'IA de milliers d'exemples de fins de partie avec un match nul, espérant qu'elle « apprendrait » la règle.

Mais voici le rebondissement surprenant : cela n'a pas fonctionné. L'IA a agi comme un traducteur, pas comme un détective. Si vous lui disiez : « Voici la règle », elle écrivait le code parfaitement. Mais si vous lui montriez simplement des exemples en disant : « Déduis la règle », elle échouait. Même avec des centaines d'exemples, l'IA ne pouvait pas inférer la règle manquante à partir des données seules. Elle ne pouvait tout simplement pas deviner ce qui n'était pas explicitement écrit dans les instructions. Cela suggère que pour ces systèmes d'IA, la « complétude de la spécification » (donner le livre de règles complet) est bien plus importante que l'« apprentissage par l'exemple ».

Le Problème du Poker : Quand on ne voit pas les cartes

L'article a également examiné des jeux où l'on ne peut pas tout voir, comme le Poker. Dans ces jeux, l'IA doit deviner les cartes que l'adversaire détient. C'est la partie « inférence » du modèle.

Les chercheurs ont prouvé que pour des jeux de poker simples, un test aléatoire est en réalité sûr car le jeu est trop superficiel ; on ne peut pas cacher une règle secrète dans une partie courte. Mais ils ont construit un petit jeu personnalisé appelé Beacon pour prouver que dans des jeux plus profonds et plus complexes, le même piège existe. Dans Beacon, l'IA devait deviner le type caché d'un adversaire en fonction de ses mouvements. L'IA a réussi le test parfaitement (0 erreur sur 8 156 cas de test) mais a perdu toutes les vraies parties (0 % de taux de victoire).

Pourquoi ? Parce que le test utilisait des mouvements aléatoires qui n'atteignaient presque jamais la partie profonde du jeu où le secret était caché. Le « cerveau de déduction » de l'IA était erroné, mais le test ne l'a pas vu car le test était trop superficiel. C'est comme tester la capacité d'un détective à résoudre un meurtre en lui demandant de résoudre une affaire de chaussette perdue. Il pourrait réussir l'affaire de la chaussette, mais échouer au meurtre.

L'Essentiel à Retenir

La principale conclusion de cet article est un avertissement pour quiconque construit une IA qui joue à des jeux ou prend des décisions : ne faites pas confiance à un modèle simplement parce qu'il réussit un test aléatoire.

Si l'IA est destinée à être utilisée par un planificateur intelligent qui cherche des mouvements stratégiques profonds, vous ne pouvez pas la vérifier avec des tests aléatoires et superficiels. Vous devez soit :

La tester sur la stratégie réelle : Lancez l'IA contre un adversaire intelligent et voyez si elle gagne, et non pas seulement si elle prédit correctement des mouvements aléatoires.
Lui donner le livre de règles complet : Assurez-vous que les instructions sont 100 % complètes avant de demander à l'IA d'écrire le code.

L'article montre qu'un modèle peut être « vérifié » et pourtant être dangereusement erroné, simplement parce que le test a manqué le moment unique et pivot où le jeu se gagne ou se perd. C'est un rappel que dans le monde de l'IA, réussir un test n'est pas la même chose qu'être prêt pour la réalité.

Résumé Technique : Modèles de Monde Vérifiés vs Adéquation au Jeu dans les Modèles de Monde de Code Synthétisés par LLM

1. Énoncé du Problème

L'article étudie le paradigme du Modèle de Monde de Code (CWM - Code World Model), où des modèles de langage de grande taille (LLM) synthétisent du code exécutable représentant la dynamique de transition d'un jeu, lequel est ensuite utilisé par un planificateur classique (ex: MCTS) pour jouer. Le protocole de vérification standard consiste à affiner le code synthétisé jusqu'à ce qu'il atteigne une précision de transition de 100 % sur un ensemble de trajectoires échantillonnées aléatoirement (la « porte » ou gate).

Le problème central est de savoir si le passage de cette porte certifie l'adéquation du modèle pour la planification. Les auteurs soutiennent que la haute précision de prédiction sur des échantillons aléatoires est la mauvaise métrique pour l'adéquation à la planification. Ils postulent un écart structurel : un planificateur concentre sa recherche sur des états stratégiquement significatifs (souvent profonds ou rares), tandis qu'un échantillonnage aléatoire se concentre sur des historiques superficiels et communs. Par conséquent, un CWM peut franchir la porte avec une précision de 100 % tout en échouant systématiquement lors du jeu s'il omet une règle « rare mais pivotale » que le jeu aléatoire déclenche rarement, mais qu'un jeu compétent exploite de manière fiable.

2. Méthodologie

L'étude emploie un cadre expérimental et théorique rigoureux à travers des jeux à information parfaite et imparfaite :

Pipeline de Synthèse : Des LLM (famille GPT-5.x : mini, nano, large) sont sollicités par des instructions (prompts) contenant les règles du jeu et des trajectoires aléatoires pour synthétiser des modules Python implémentant un contrat CWM standard (initial_state, legal_actions, apply_action, etc.).
La Porte (The Gate) : Une boucle d'affinement vérifie le code synthétisé par rapport aux trajectoires de vérité terrain. Le modèle est accepté uniquement s'il atteint une précision de transition de 100 % sur l'ensemble échantillonné.
Instrumentation :
- Information Parfaite : Les auteurs ont construit une variante du jeu army5x5a avec une règle de départage « matériel au sommet » (material-at-cap). Cette règle est rare sous un jeu aléatoire (~~2,5 % d'incidence) mais décisive sous un jeu compétent (~~50 % d'incidence).
- Information Imparfaite : Ils ont introduit Beacon, un jeu minimal instrumenté manuellement conçu pour isoler les erreurs d'inférence. Il présente une « région profonde » accessible uniquement par des stratégies de survie optimales, que le jeu aléatoire n'atteint presque jamais.
Métriques :
- Lentille de la Porte (Gate Lens) : Précision de transition, précision d'état, taux d'observation et taux d'inférence.
- Lentille de la Décision (Decision Lens) : Taux de victoire dans une arène contre un adversaire de vérité terrain, mesuré avec des intervalles de confiance de Wilson à 95 %.
- Mesure de l'Écart (Gap Measurement) : La différence entre la précision d'état sur la distribution de la porte et la distribution de recherche du planificateur.
Tentatives de Réparation : Les auteurs ont testé si la fourniture d'exemples discriminants (via DAgger, des transitions ciblées sur la variété ou des états artificiels) permet au LLM d'inférer la règle manquante.

3. Contributions Clés et Résultats

3.1 L'Écart entre Vérifié et Correct

L'article démontre qu'un CWM peut passer la porte de transition (100 % de précision) et être $\ge$ 98 % précis sur l'état de la distribution de recherche du planificateur, tout en perdant systématiquement lors du jeu.

Preuve : Dans army5x5a avec la règle omise du matériel au sommet, le CWM « aveugle à la règle » a obtenu un taux de victoire de 0,404 (IC 95 % [0,384, 0,424]) contre une base équitable de 0,495. Les intervalles de Wilson sont séparés, confirmant un « coût de jeu » statistiquement significatif de 0,091.
Cause : L'erreur réside dans les < 1 % d'états où la règle s'applique. L'échantillonnage aléatoire dilue cette erreur, faisant paraître la précision d'état élevée, tandis que la recherche du planificateur se concentre sur ces états pivots.

3.2 La Loi du Danger Quantitatif

Les auteurs dérivent une loi en forme close régissant le dommage attendu de la vérification par échantillonnage :
$\text{danger} = \text{coût\_de\_jeu} \times (1 - \text{rareté})^N$

$(1 - \text{rareté})^N$ : La probabilité exacte qu'une porte de taille $N$ (échantillons de Bernoulli i.i.d.) ne parvienne pas à observer une règle de rareté $r$ .
$\text{coût\_de\_jeu}$ : Le déficit de performance empirique conditionnel à l'omission de la règle.
Comportement de Seuil : La loi prédit un seuil : le dommage est négligeable lorsque les règles sont assez communes pour être captées par la porte, augmente brusquement à mesure que les règles deviennent rares, et sature à l'intégralité du coût de jeu lorsque la règle échappe presque toujours à la détection.

3.3 Traduction, non Inférence

L'article examine si la fourniture de transitions d'exemple peut réparer la règle manquante.

Constat : La synthèse par LLM se comporte comme une traduction de règle, et non une inférence de règle.
Preuve : À travers plusieurs régimes de données (DAgger naïf, DAgger approprié, exemples ciblés sur la variété) et tailles de modèles, le LLM a échoué à inférer la règle omise même lorsque des transitions discriminantes étaient présentes dans l'échantillon.
Noyau Prouvable : Une proposition théorique montre que si une règle est absente de l'échantillon (probabilité $(1-r)^N$ ), aucun apprenant ne peut l'inférer à partir de ces seules transitions. Même quand la règle est présente, les LLM testés (GPT-5.x) ont systématiquement échoué à l'encoder, suggérant une limitation dans l'inférence de règles à partir d'exemples plutôt que dans la simple traduction de spécifications.

3.4 Information Imparfaite et l'Écart d'Inférence

Le mécanisme s'étend à la fonction d'inférence (reconstruction des états cachés) dans les jeux à information imparfaite.

Borne de Couverture : Les auteurs prouvent qu'une porte d'inférence aléatoire est identifiante (couvre tous les ensembles d'informations pertinents) quand $N \gtrsim b^{d_{max}} \cdot p_{chance}^{-1} \cdot \log |I|$ . Cela explique pourquoi les jeux peu profonds comme le poker de Kuhn ne présentent pas d'écart.
Expérience Beacon : Dans le jeu construit Beacon, une fonction d'inférence « vérifiée mais erronée » a passé la porte (0/8156 erreurs) mais a perdu chaque partie (taux de victoire de 0,000 contre une base de 0,500). L'erreur était confinée à une région profonde, atteignable par un jeu optimal mais invisible pour l'échantillonnage aléatoire.
Cécité de la Croyance : Une porte de précision de transition est structurellement aveugle aux modèles de croyance incorrects (fonctions d'observation/inférence) car les partitions de croyance n'apparaissent pas dans les tuples de transition $(s, a, s')$ .

4. Signification et Revendications

L'article prétend fournir une réponse négative rigoureuse à la question de savoir si la précision de transition sur des trajectoires aléatoires certifie l'adéquation à la planification.

Diagnostic Structurel : L'échec n'est pas un problème de capacité du modèle mais un décalage de distribution de portée (reach-distribution shift). La politique de vérification (aléatoire uniforme) et la politique de déploiement (planificateur compétent) concentrent la masse sur des régions disjointes de l'espace d'états. Cela est analogue au problème des croyances hors-chemin non contraintes en théorie des jeux.
Implications Pratiques :
1. Vérification : L'adéquation doit être mesurée sur la distribution de recherche ou par le jeu direct, et non par la précision de prédiction sur des transitions échantillonnées.
2. Spécification : Compléter la spécification est plus efficace que de tenter de réparer les lacunes via des exemples. Le modèle traduit ce qui lui est donné ; il n'infère pas de manière fiable ce qui est omis.
Portée : Les conclusions sont établies pour la famille GPT-5.x sous des régimes spécifiques. Bien que le comportement « traduction vs inférence » soit observé à travers différentes tailles de modèles et stratégies de réparation, les auteurs présentent la revendication universelle (« aucun modèle ne peut inférer une règle omise ») comme une conjecture soutenue par leurs données, notant que des modèles de raisonnement de code plus puissants ou des structures agentiques pourraient modifier ce résultat.

L'article conclut que l'écart « vérifié-vs-correct » est une limitation fondamentale de la vérification par échantillonnage pour les modèles de monde de code synthétisés pour la planification, pilotée par l'impossibilité statistique de capturer des dynamiques rares mais pivotales avec un échantillonnage aléatoire uniforme.