🤖 AI

OPINE-World: Programmatic World Modeling with Ontology-error-Prioritized Interactive Exploration

OPINE-World est un agent basé sur les LLM qui apprend en ligne des modèles de monde programmatiques, centrés sur les objets, réutilisables et économes en données à partir d'interactions basées sur les pixels, en couplant la génération d'hypothèses avec une exploration priorisée par les erreurs d'ontologie, atteignant ainsi une performance élevée sur le benchmark exigeant ARC-AGI-3 sans entraînement par jeu.

Auteurs originaux : David Courtis, Wenhao Li, Scott Sanner

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Courtis, Wenhao Li, Scott Sanner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez parachuté dans un tout nouveau jeu vidéo. Vous ne connaissez pas les règles, vous ne connaissez pas le nom des personnages, et vous ne connaissez même pas l'« objectif ». Vous devez simplement appuyer sur des boutons et voir ce qui se passe. La plupart des programmes informatiques resteraient bloqués, essayant de mémoriser chaque pixel qu'ils voient, ou ils auraient besoin de jouer au jeu des milliers de fois juste pour comprendre qu'appuyer sur « Haut » fait sauter le personnage.

Le document présente OPINE-World, un nouveau type d'agent d'IA qui apprend à jouer à ces jeux de manière beaucoup plus proche de celle d'un humain : en construisant un modèle mental du monde, en le testant, et en le corrigeant lorsqu'il se trompe.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le système à deux cerveaux

Au lieu d'un seul cerveau géant essayant de tout faire, OPINE-World utilise deux agents coopérants (pensez à deux spécialistes travaillant ensemble) :

L'Explorateur (Agent d'Action) : C'est les « mains ». Il joue au jeu en temps réel. Il tente des actions, observe ce qui se passe et tient un journal de chaque mouvement et résultat. Il ne cherche pas encore à écrire le livre de règles ; il se contente de rassembler des preuves.
L'Architecte (Agent de Modèle de Monde) : C'est le « cerveau ». Il lit le journal de l'Explorateur et tente d'écrire un ensemble de règles (un programme informatique) qui explique pourquoi les choses se sont produites. Il se demande : « Si j'appuie sur "Haut" quand le personnage est au sol, il saute. S'il est en l'air, il tombe. Laissez-moi noter cette règle. »

2. La boucle « Hypothèse et Test »

Le système ne se contente pas de deviner une fois et d'espérer que cela fonctionne. Il exécute une boucle continue d'Hypothèse et de Test :

L'Architecte écrit un projet de livre de règles (un programme).
L'Explorateur continue de jouer.
Le Vérificateur vérifie si le livre de règles de l'Architecte correspond au journal de l'Explorateur. Il demande : « Votre livre de règles prédit-il exactement ce qui s'est passé dans le journal ? »
- Si le livre de règles prédit l'avenir parfaitement, il est accepté.
- Si le livre de règles dit « Le personnage devrait sauter » mais que le personnage est en fait tombé, c'est un Contre-exemple. L'Architecte reçoit un « drapeau rouge », réécrit le livre de règles pour corriger cette erreur spécifique, et réessaie.

3. Apprendre l'« Ontologie » (Le vocabulaire des objets)

C'est ici qu'OPINE-World est spécial. Dans beaucoup de jeux, on dit à l'ordinateur : « Ceci est un joueur, ceci est un mur ». OPINE-World n'est pas informé de cela. Il doit le découvrir par lui-même.

Le Problème : Imaginez que vous regardiez la photo d'un pont. Est-ce un seul grand objet, ou est-il composé de plusieurs petites planches ? Si l'IA les groupe mal, ses règles seront désordonnées.
La Solution : Le système utilise une règle de mesure ingénieuse appelée Erreur d'Ontologie. Voyez cela comme un « Compteur de Confusion ».
- Si l'IA est confuse quant au type d'objet (par exemple : « Est-ce une clé ou une porte ? »), le compteur augmente.
- Si l'IA est confuse quant au comportement d'un objet (par exemple : « Parfois ce bouton ouvre la porte, parfois il ne le fait pas »), le compteur augmente.
- Le système utilise ce compteur pour diriger l'Explorateur vers les parties les plus confuses du jeu afin de recueillir plus de données, aidant ainsi l'Architecte à déterminer le « vocabulaire » correct des objets.

4. La règle de l'« Exécution Exacte »

La plupart des systèmes d'IA acceptent d'être « globalement corrects ». OPINE-World est un perfectionniste. Il utilise une méthode appelée Synthèse Inductive Guidée par Contre-exemple (CEGIS).

Le programme de l'Architecte n'est autorisé à être utilisé que s'il peut rejouer chaque mouvement passé parfaitement, au pixel près.
S'il échoue ne serait-ce qu'une seule fois, il est rejeté. Cela garantit qu'une fois que l'IA pense connaître les règles, elle les connaît réellement, plutôt que de simplement deviner en se basant sur des motifs.

5. Les Résultats : Battre le Benchmark

Les chercheurs ont testé cela sur ARC-AGI-3, un benchmark très difficile conçu pour tester la capacité d'une IA à apprendre de nouvelles compétences sans avoir été entraînée spécifiquement sur celles-ci.

Le Défi : L'IA devait jouer à 25 jeux différents. Elle ne connaissait ni les objectifs, ni les noms des objets, ni les règles.
Le Résultat : OPINE-World a réussi à résoudre 20 des 25 jeux.
Efficacité : Elle ne s'est pas contentée de les résoudre ; elle l'a fait efficacement. Sur de nombreux jeux, elle a effectué moins d'actions qu'un humain.
Comparaison : D'autres méthodes d'IA (comme les réseaux neuronaux profonds qui tentent de mémoriser les pixels, ou d'autres méthodes de synthèse de programmes) n'ont réussi à résoudre aucun des jeux dans les mêmes conditions strictes.

Résumé par l'analogie

Imaginez que vous soyez parachuté dans un pays étranger où personne ne parle votre langue.

L'IA classique : Tente de mémoriser chaque visage et chaque panneau de signalisation qu'elle voit, en espérant reconnaître des motifs plus tard. Elle finit par être submergée et confuse.
OPINE-World :
1. L'Explorateur se promène, pointe des choses du doigt et note : « Quand je pousse ceci, la porte s'ouvre. »
2. L'Architecte écrit un dictionnaire et un livre de grammaire basés sur ces notes.
3. Le Compteur de Confusion leur dit : « Nous ne savons pas encore ce qu'est cet objet rouge ; retournons voir de plus près. »
4. Ils continuent d'affiner leur dictionnaire jusqu'à ce qu'ils puissent prédire parfaitement ce qui va se passer ensuite.
5. Une fois qu'ils ont le dictionnaire parfait, ils peuvent planifier leur itinéraire pour atteindre la destination sans avoir à deviner.

Le document affirme qu'en séparant le « faire » du « penser » et en exigeant une précision parfaite dans leur livre de règles interne, ce système peut apprendre des environnements complexes et inconnus beaucoup plus rapidement et efficacement que les méthodes précédentes.

Résumé Technique : OPINE-World

Énoncé du Problème

Construire des agents capables de s'adapter à des tâches inconnues nécessite d'apprendre comment un environnement se comporte par l'interaction. Bien que les modèles de monde basés sur des réseaux profonds offrent de la flexibilité, ils sont gourmands en données et transfèrent mal au-delà de leur distribution d'entraînement. À l'inverse, les modèles de monde synthétisés par programme sont économes en données et réutilisables, mais ont été historiquement limités à des environnements à états structurés avec un vocabulaire d'objets prédéfini. Une simple recherche de programme ne peut pas passer à l'échelle pour des environnements rendus par pixels où la structure même des objets doit être hypothétisée de manière flexible à partir d'observations brutes.

Le défi central adressé par ce travail est l'apprentissage d'un modèle de monde programmatique centré sur les objets en ligne par l'interaction dans un environnement où :

Le vocabulaire des objets et la partition en types mécaniques sont inconnus.
Le but et la sémantique des actions sont dissimulés.
L'agent doit inférer la structure des objets, la dynamique et la pertinence de l'objectif uniquement à partir de trames de pixels bruts et de récompenses éparses.

Méthodologie : OPINE-World

OPINE-World est un agent LLM qui apprend un modèle de monde programmatique centré sur les objets via une boucle d'hypothèse et de test. Il couple deux agents coopérants et un critique périodique, opérant sur un tampon de relecture (replay buffer) d'interactions partagé.

1. Modèle Programmatique Centré sur les Objets

Le modèle de monde est représenté comme un programme Python factorisé par type d'objet. Au lieu d'une fonction de transition monolithique, le modèle détient une règle de réponse $f_\tau$ pour chaque type mécanique $\tau$ . Cette règle prédit l'état mis à jour d'un objet basé sur ses attributs actuels, l'action effectuée et un contexte local en lecture seule. Cette factorisation permet à une règle apprise pour un objet de se transférer à tous les objets du même type, à condition que la partition des types soit approximativement correcte.

2. Deux Agents Coopérants

Le système découple l'action de la modélisation en deux agents spécialisés :

L'Agent d'Action (orienté vers le but) : Interagit avec l'environnement en direct, propose des hypothèses sur la dynamique et les objectifs, et les sonde. Il maintient un modèle de monde en langage naturel et sélectionne des actions basées sur le modèle synthétisé actuel ou les besoins d'exploration.
L'Agent de Synthèse : Lit le tampon d'interaction partagé et les hypothèses de l'agent d'action. Il synthétise du code (le modèle de monde) qui généralise les transitions observées en règles. Il soumet des programmes candidats à un vérificateur.

3. Vérification et Synthèse Guidée par Contre-Exemples (CEGIS)

Un programme candidat n'est admis que s'il reproduit exactement chaque transition enregistrée dans le tampon (test de relecture exacte).

Acceptation : Le programme doit prédire l'état suivant attribut par attribut et objet par objet. Il est également exécuté deux fois pour garantir le déterminisme (rejetant les modèles dépendant d'un état caché).
Réparation : La synthèse est déclenchée par des contre-exemples — des transitions où le modèle en direct prédit mal le résultat observé. Une fenêtre de différé permet aux contre-exemples de s'accumuler avant une réécriture, et une garde de blocage (stall guard) empêche les boucles infinies sur des erreurs irréparables.
Reconnaissance de l'Objectif : Une fois qu'un niveau est franchi, un prédicat de but booléen est synthétisé et vérifié selon la même norme de relecture exacte.

4. Erreur d'Ontologie et Pilotage de l'Exploration

Puisque la partition des objets est inconnue, OPINE-World emploie un diagnostic bayésien appelé erreur d'ontologie ( $\eta_t$ ) pour orienter l'exploration.

Signatures d'Effet : Au lieu de suivre les deltas de valeurs exacts, le système suit des signatures catégorielles grossières de changements d'attributs (ex: "x a changé", "pixels ont changé", "disparu").
Tables d'Effets Locaux : Ces tables comptent les signatures par ligne (définie par le type, l'action et le contexte local).
Mesures d'Incertitude : Le système calcule deux entropies normalisées :
1. Incertitude de Type ( $U_{type}$ ) : Le degré d'incertitude du système concernant le type mécanique d'un objet.
2. Incertitude de Ligne ( $U_{row}$ ) : Le degré de mixité de la distribution d'effets pour une combinaison spécifique de type-action-contexte.
Erreur d'Ontologie : Le "noisy-OR" de ces incertitudes ( $\eta_i = 1 - (1-U_{type})(1-U_{row})$ ) identifie les objets et contextes que les types actuels ne peuvent pas encore expliquer. L'agent d'action est dirigé vers les régions à haute erreur, incitant le synthétiseur à affiner les types ou à ajouter des caractéristiques de contexte.

5. Planification

Une fois qu'un modèle est admis et qu'au moins un niveau est franchi, un planificateur cherche un chemin vers le but dans le modèle vérifié. Le plan est exécuté étape par étape dans le jeu en direct. Tout décalage entre l'état prédit et l'état observé interrompt le plan, enregistre un contre-exemple et rend le contrôle à l'agent d'action.

Contributions Clés

Agent OPINE-World : Un agent LLM qui apprend des modèles de monde programmatiques centrés sur les objets en ligne via une boucle d'hypothèse et de test impliquant deux agents coopérants, la synthèse guidée par contre-exemples et la planification basée sur le modèle.
Découverte d'Ontologie : Une méthode pour découvrir l'ontologie des objets (partitionnant les objets en types mécaniques) directement par l'interaction, étendant les modèles de monde synthétisés par programme des entrées à états structurés vers des environnements de rendu de pixels avec des structures d'objets inconnues.
Évaluation sur ARC-AGI-3 : Une démonstration sur le benchmark ARC-AGI-3 (où le vocabulaire des objets, les buts et la sémantique des actions sont retenus) où OPINE-World résout 20 des 25 jeux sans entraînement par jeu.

Résultats Expérimentaux

Le système a été évalué sur l'ensemble d'évaluation public ARC-AGI-3 (25 jeux, 183 niveaux).

Performance : OPINE-World a résolu 20 des 25 jeux et franchi 160 des 183 niveaux sans entraînement par jeu.
Efficacité d'Action : Il a obtenu un score d'efficacité d'action de 78,4 (par rapport à une base humaine), comparé à 63,8 pour une base solide de codage à agent unique (baseline1) et 63,2 pour un agent de vision pré-entraîné sur l'ensemble d'évaluation.
Comparaison aux Bases de Référence :
- Codage à Agent Unique (baseline1) : A résolu 14 jeux. OPINE-World a résolu tous les 14 jeux ainsi que 6 jeux supplémentaires qui ont vaincu la base de référence. Sur les 6 jeux où la base de référence a échoué, OPINE-World les a franchis en utilisant environ 25 % des actions dépensées par la base avant l'échec.
- Synthèse de Programme (WorldCoder) & Modèles Latents Neuraux : Ces approches ont résolu 0 jeu sous le budget d'actions du benchmark.
- Base de Référence Humaine : Sur les 20 jeux gagnés par OPINE-World, il a utilisé moins d'actions que la référence humaine dans 16 cas.

Signification et Revendications

L'article affirme qu'OPINE-World démontre que des modèles de monde programmatiques peuvent être appris en ligne à partir de pixels bruts sans vocabulaires d'objets ou de buts prédéfinis. En séparant l'action de la modélisation et en utilisant une boucle de vérification de relecture exacte guidée par une erreur d'ontologie bayésienne, le système atteint une haute efficacité d'échantillonnage et une grande transférabilité.

Les auteurs soulignent que le système ne repose pas sur des contraintes d'optimisme ou des fonctions de récompense synthétisées (contrairement à des travaux antérieurs tels que WorldCoder) mais repose sur la cohérence de relecture exacte et des prédicats de but dérivés des récompenses observées. Les résultats suggèrent que le fait de factoriser les modèles par type d'objet et de découvrir l'ontologie dynamiquement permet aux agents de généraliser à travers les configurations et de résoudre des tâches complexes d'acquisition de compétences avec nettement moins d'interactions que les modèles latents neuraux ou les approches de codage à agent unique.

Limites

Les auteurs notent plusieurs limites :

Portée Observable-Markov : Le test de relecture exacte suppose une fonction de transition déterministe sous une représentation correcte. L'état caché dégrade le signal temporel.
Perception Inférée : L'appariement des objets et la partition des types sont inférés à partir de trames brutes, ce qui est plus difficile que l'utilisation d'identités d'objets fournies par le moteur.
Échelle du Planificateur : Le planificateur utilise une recherche de propagation vers l'avant bornée, ce qui peut échouer sur des jeux avec des facteurs de branchement élevés.
Exécution Unique : Les résultats sont basés sur une seule exécution par jeu, manquant d'estimations de variance.