🤖 machine learning

Learning Explicit Behavioral Models with Adaptive Questions and World-Model Probes

Cet article introduit l'Explicit Symbolic Behavioral Model (ESBM), un cadre entraînable qui intègre la performance de la tâche à un questionnement adaptatif et à des sondes de modèle de monde exécutables afin d'apprendre des politiques robustes et interprétables pouvant être continuellement affinées sur la base de la cohérence mécaniste plutôt que sur de simples scores de tâche.

Auteurs originaux : Hikaru Shindo, Yu Deng, Teng Cao, Quentin Delfosse, Christopher Tauchmann, Jannis Blüml, Gopika Sudhakaran, Kristian Kersting

Publié 2026-06-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hikaru Shindo, Yu Deng, Teng Cao, Quentin Delfosse, Christopher Tauchmann, Jannis Blüml, Gopika Sudhakaran, Kristian Kersting

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le « Conducteur Rapide » qui ne connaît pas les règles

Imaginez que vous engagiez un chauffeur pour vous emmener à destination le plus vite possible.

L'ancienne méthode (Entraînement basé uniquement sur le score) : Vous ne vous souciez que du résultat final : « Est-ce qu'il est arrivé en 10 minutes ? » Si oui, vous le payez.
Le danger caché : Ce chauffeur aurait pu arriver rapidement en roulant sur le trottoir, en ignorant les feux rouges, ou en prenant un raccourci qui ne fonctionne que parce que le feu de signalisation est actuellement en panne. Il a obtenu un score élevé (arrivée rapide), mais il ne comprend pas réellement comment les voitures fonctionnent ni pourquoi les règles existent.
Le résultat : Si le feu de signalisation est réparé ou si la route change, ce chauffeur s'écrase immédiatement. Il est « fragile » — il ne peut pas s'adapter car il se contentait de mémoriser un chemin chanceux, plutôt que d'apprendre la mécanique de la conduite.

La Solution : L'« ESBM » (Le Chauffeur avec un Manuel)

Les auteurs proposent une nouvelle façon d'entraîner des agents (comme des IA jouant à des jeux) appelée Explicit Symbolic Behavioral Model (ESBM).

Au lieu de simplement entraîner le chauffeur à obtenir un score élevé, ils le forcent à tenir un manuel écrit sur le fonctionnement du monde. Ce manuel comporte quatre parties :

Prédicats (Les Faits) : « La voiture est rouge », « Le feu est vert ».
Règles (La Logique) : « Si le feu est rouge, s'arrêter ».
Options (Les Compétences) : « La manœuvre de dépassement » ou « La routine d'arrêt d'urgence ».
Mémoire de Mécanisme (Le Moteur de Physique) : Un modèle mental qui prédit ce qui va se passer ensuite. « Si je freine, la voiture ralentira de 5 km/h ».

Comment ça marche : Le « Challenger » et l'« Optimizer »

Le processus d'entraînement n'est pas seulement un jeu ; c'est un tir à la corde constant entre deux rôles :

1. Le Challenger (Le Professeur Strict)
Après qu'un agent a joué un tour, le Challenger ne regarde pas seulement le score. Il agit comme un professeur strict qui pose des questions :

Questions d'adaptation : « Pourquoi t'es-tu arrêté là ? » « Que se passerait-il si l'ennemi était plus rapide ? » « Peux-tu prouver que tu sais où se trouve le danger ? »
Sondes de Modèle de Monde : Le Challenger crée un scénario de type « et si ». Il dit : « D'accord, imagine que tu as pris un autre virage ici. Selon ton manuel, que devrait-il se passer ensuite ? » Ensuite, il vérifie dans le jeu réel si la prédiction de l'agent était correcte.

2. L'Optimizer (L'Équipe de Réparation)
Si l'agent répond mal à une question ou prédit mal l'avenir, l'Optimizer (propulsé par un Grand Modèle de Langage) tente de corriger le manuel, et non pas seulement la conduite.

Il peut ajouter une nouvelle règle : « Si le singe est plus rapide, attendre plus longtemps ».
Il peut corriger une mauvaise prédiction dans la mémoire du mécanisme.

3. Le Vérificateur (Le Gardien)
Avant que le nouveau manuel ne soit accepté, un gardien vérifie trois choses :

Le score a-t-il augmenté ?
L'agent a-t-il répondu correctement aux questions ?
Les prédictions de l'agent sur l'avenir correspondent-elles à la réalité ?

Si l'agent obtient un score élevé mais échoue aux questions ou aux prédictions, la mise à jour est rejetée. Cela garantit que l'agent apprend la compréhension, et non de simples raccourcis chanceux.

Les Résultats : Pourquoi c'est important

Les chercheurs ont testé cela sur des jeux vidéo classiques (comme Kangaroo, Seaquest et King Kong).

Scores élevés : Les agents ESBM ont obtenu des scores aussi élevés que (ou plus élevés que) les méthodes d'IA traditionnelles.
Réelle compréhension : Contrairement à d'autres IA, ces agents pouvaient réellement répondre à des questions sur les mécaniques du jeu et expliquer pourquoi ils faisaient ce qu'ils faisaient, en s'appuyant sur des preuves issues de leur manuel.
Meilleure récupération : Lorsque les chercheurs ont secrètement changé les règles du jeu (par exemple, en rendant les ennemis plus rapides), les agents ESBM se sont adaptés beaucoup plus rapidement. Parce qu'ils possédaient une « mémoire de mécanisme » (un modèle de fonctionnement du monde), ils ont réalisé : « Oh, les règles ont changé, je dois donc mettre à jour mon manuel », plutôt que de simplement s'écraser et échouer.

L'essentiel

Ce papier introduit un système qui force l'IA à apprendre les règles du jeu, et pas seulement les coups gagnants. En traitant le « cerveau » de l'IA comme un manuel écrit et testable qui doit réussir des quiz stricts et des tests de prédiction future, l'IA devient moins fragile et plus apte à gérer les changements d'environnement. C'est la différence entre un conducteur qui a mémorisé un itinéraire et un conducteur qui comprend les lois de la circulation.

Résumé Technique : Apprentissage de Modèles Comportementaux Explicites via des Questions Adaptatives et des Sondes de Modèle du Monde

1. Définition du Problème

Les agents interactifs entraînés uniquement sur le retour de tâche (récompenses scalaires) parviennent souvent à des scores élevés en exploitant des schémas temporels étroits, des raccourcis locaux ou des particularités propres à l'environnement sans développer une représentation robuste des mécanismes sous-jacents. Ce comportement de « score élevé, faible compréhension » crée un angle mort caché : la politique de l'agent semble réussie mais reste fragile lorsque la dynamique de l'environnement change, ce qui entraîne une récupération lente et un diagnostic difficile.

Les approches actuelles, telles que la réflexion basée sur les LLM ou la réparation du code de la politique, révisent généralement le comportement uniquement après l'entraînement ou s'appuient sur le succès de la tâche comme principal juge de l'utilité. De plus, bien qu'il existe des benchmarks de compréhension du monde, ceux-ci sont généralement statiques et appliqués a posteriori, sans devenir rarement une partie du mécanisme qui sélectionne, répare ou rejette une politique pendant le processus d'apprentissage. Le défi central est d'optimiser la « compréhension » en tant qu'objet testable et exécutable au sein de la boucle d'apprentissage de la politique, plutôt que comme un simple sous-produit rhétorique.

2. Méthodologie : Le Modèle Comportemental Symbolique Explicite (ESBM)

Le document introduit l'Explicit Symbolic Behavioral Model (ESBM), un modèle comportemental entraînable qui couple la performance de la tâche avec un questionnement fondé sur des preuves et une prédiction de mécanismes exécutables. L'ESBM n'est pas un réseau de neurones agissant comme une politique ; il s'agit plutôt d'une structure symbolique explicite composée de :

Prédicats Typés : Mappent les observations brutes et la mémoire en faits sémantiques.
Règles Pondérées : Mappent les faits vers des actions ou des appels d'options.
Options Bornées : Encapsulent des procédures multi-étapes (ex: itinéraires, séquences de sauvetage) avec des contrats définis et des conditions de terminaison.
Mémoire de Mécanisme ( $K$ ) : Un modèle de monde abstrait qui prédit les événements symboliques, les changements d'objets, les récompenses et les conséquences terminales sous des interventions d'actions.

La Boucle Challenger–Optimiseur
Le processus d'apprentissage est piloté par une boucle antagoniste mais constructive :

Challenger (Génération de Sondes) : Après chaque passage (rollout), le challenger analyse les échecs, les récentes éditions symboliques, les erreurs de QA (Question-Réponse) et les erreurs de prédiction de transition pour génire deux formes de pression :
- Questions Adaptatives (QA) : Questions ancrées sur les entités, les dangers, les récompenses et les contrefactuels. Les réponses doivent être soutenues par le contexte explicite de l'ESBM (prédicats, règles, mécanismes).
- Sondes Actives du Modèle du Monde : Le système bifurque à partir d'un point de contrôle correspondant vers deux chemins : l'environnement réel et le modèle abstrait de l'ESBM. Les deux exécutent la même séquence d'actions (observée, contrefactuelle ou mixte). La mémoire de mécanisme de l'ESBM doit prédire les événements symboliques résultants, les changements de score et les états d'objets.
Optimiseur (Proposition d'Édition) : Un LLM agit comme un backend pour proposer des éditions locales et typées à l'ESBM (ex: réviser une condition de règle, mettre à jour une entrée de mécanisme) sur la base du feedback du challenger.
Porte de Vérification (Sélection) : Une règle d'acceptation à critères multiples évalue le candidat modèle. Un candidat n'est accepté que s'il améliore au moins une dimension validée (Score de Tâche, Précision QA, Cohérence du Modèle du Monde Passive/Active) tout en restant dans les tolérances de régression sur les dimensions protégées. Cela empêche l'acceptation d'explications non fondées, même si elles améliorent le score.

3. Contributions Clés

Définition de l'ESBM : Les auteurs définissent l'ESBM comme un objet d'optimisation explicite combinant l'abstraction d'état, la sélection d'actions symboliques, les options bornées et la mémoire de mécanisme exécutable.
Mécanisme d'Apprentissage Adaptatif : Ils introduisent des questions adaptatives de politique et des sondes actives du modèle du monde fondées sur des preuves, qui convertissent les écheures du modèle en contraintes de compréhension réutilisables, déplaçant le QA de l'évaluation a posteriori vers le cœur de la boucle d'apprentissage.
Acceptation à Critères Multiples : Une nouvelle règle d'acceptation est formulée qui évalue conjointement la performance de la tâche, la précision du QA et la cohérence inter-interventionnelle du modèle du monde, garantissant que les mises à jour améliorent à la fois le comportement et la compréhension mécaniste.

4. Résultats Expérimentaux

L'approche a été évaluée sur trois environnements de type JAXAtari (Kangaroo, Seaquest, Kingkong) qui nécessitent de la planification d'itinéraire, de la gestion de ressources et de l'évitement d'obstacles.

Performance de la Tâche (RQ1) : L'ESBM a obtenu des scores compétitifs ou supérieurs par rapport aux bases sans modèle (DQN, PPO), aux apprenants neuro-symboliques (NUDGE, BlendRL) et à une référence symbolique basée uniquement sur le score (EvoSymbol). Notamment, l'ESBM a surpassé EvoSymbol (qui manque de validation par QA et par modèle du monde) dans les trois jeux.
Compréhension Explicite (RQ2) : Les ESBM appris ont démontré une capacité élevée de réponse supportée par des preuves sur des benchmarks de compréhension de jeu tenus à l'écart. Les modèles pouvaient répondre à des questions sur la structure du monde, les mécaniques et les contrefactuels, avec les preuves de support (prédicats, règles) explicitement identifiables.
Prédiction de Modèle du Monde Exécutable (RQ3) : La couche de mécanisme ( $K$ ) a prédit avec succès les dynamiques symboliques sous des branches contrefactuelles actives, surpassant les bases de persistance, de dynamique constante et de modèles du monde par arbres de décision.
Récupération après Changements de Mécanisme (RQ4) : Lorsque les dynamiques de l'environnement ont été modifiées (ex: singes plus rapides, décomposition de l'oxygène plus rapide, bombes plus rapides), l'ESBM a récupéré une fraction nettement plus importante du score original par rapport à PPO. Cela indique qu'une compréhension mécaniste explicite facilite une adaptation plus rapide aux nouvelles dynamiques.

5. Signification et Revendications

Le papier affirme que les questions adaptatives et les sondes actives du modèle du monde peuvent servir à la fois de pression d'entraînement et de benchmarks réutilisables pour l'apprentissage de politiques mécanistes. En faisant de la compréhension du mécanisme un objet exécutable lié aux mises à jour de la politique, le cadre réussit à séparer le comportement de haut score de la connaissance mécaniste symboliquement vérifiable.

Les auteurs soutiennent que cette approche traite de la fragilité des politiques basées uniquement sur le score. Au lieu de compter sur des récompenses scalaires qui peuvent masquer des mécanismes manquants ou incorrects, l'ESBM force l'agent à maintenir un modèle qui est auditable, interrogeable et réparable. Les résultats suggèrent qu'optimiser pour des modèles comportementaux explicites permet aux agents non seulement d'accomplir des tâches, mais aussi de comprendre pourquoi leurs actions réussissent, menant à une adaptation plus robuste lorsque les dynamiques de l'environnement changent.

Le papier reste modeste quant à sa portée, notant que le cadre actuel utilise des jeux de style Atari comme banc d'essai contrôlé et que le transfert de la méthode à la robotique ou à des environnements ouverts nécessiterait une abstraction d'état plus riche et des vérificateurs plus puissants. Il reconnaît également les dépendances vis-à-vis de la qualité des sondes générées et les limitations du vocabulaire symbolique.