🤖 machine learning

RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

Le papier propose RENEW, un cadre qui exploite les préférences humaines sur des déploiements imaginaires pour réparer directement l'exploitation de modèle dans l'apprentissage par renforcement hors ligne des modèles de monde en utilisant l'incertitude épistémique pour guider un ajustement fin efficace, améliorant ainsi l'efficacité d'échantillonnage et la généralisation sans nécessiter de démonstrations d'experts supplémentaires.

Auteurs originaux : Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

Publié 2026-07-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment jouer à un jeu vidéo, mais que vous ne puissiez pas le laisser toucher la console de jeu réelle. À la place, vous lui donnez une pile de vieux enregistrements vidéo et vous lui demandez de construire une « machine à rêves » — une simulation mentale du fonctionnement du jeu. C'est le monde de l'apprentissage par renforcement hors ligne (offline reinforcement learning), où une IA apprend entièrement à partir d'un ensemble de données fixes sans jamais interagir avec le monde réel. L'objectif est de construire un modèle de monde, une sorte de boule de cristal interne qui prédit ce qui se passera ensuite si le robot effectue une action spécifique.

Cependant, il existe un bug dangereux dans cette machine à rêves. Parce que le robot n'a appris qu'à partir d'un ensemble limité d'enregistrements anciens, sa boule de cristal possède des angles morts. Si le robot tente de planifier un mouvement qui passe par un « angle mort », le modèle pourrait halluciner un raccourci — comme un mur qui n'existe pas réellement ou un sol qui se transforme en trampoline. Le robot, étant un optimiseur astucieux, repérera ce faux raccourci et l'exploitera pour gagner dans la simulation, pour ensuite s'écraser et échouer dans la réalité. C'est ce qu'on appelle l'exploitation de modèle (model exploitation). Traditionnellement, les scientifiques ont tenté de corriger cela soit en collectant plus de données réelles (ce qui est coûteux et lent), soit en disant au robot d'avoir peur de tout ce qu'il ne comprend pas (ce qui le rend trop timide pour apprendre quoi que ce soit de nouveau).

Ce papier introduit une nouvelle façon ingénieuse de colmater la machine à rêves du robot sans avoir besoin de plus de séquences vidéo réelles. Les auteurs, Logan Bhamidipaty, Mykel Kochenderfer et Subramanian Ramamoorthy, proposent que nous puissions utiliser l'intuition humaine comme un outil de réparation. Ils ont réalisé que, si cela demande un doctorat pour savoir quel est le meilleur moyen de jouer à un jeu, presque n'importe qui peut repérer quand les lois de la physique sont brisées. Si un robot dans une simulation traverse un mur solide ou fait flotter une voiture, un humain peut instantanément dire : « C'est faux ! ». Le papier suggère d'utiliser ces jugements simples de « vrai vs faux » pour apprendre au modèle de monde du robot comment arrêter d'halluciner.

Le projet « Dream Repair »

Les chercheurs appellent leur nouveau cadre RENEW (Repairing ExploitatioN with Elicited World-model preferences). Voici comment cela fonctionne, étape par étape, en utilisant une analogie simple :

Imaginez que le modèle de monde du robot est un étudiant essayant d'apprendre les règles d'un jeu de société en lisant quelques pages d'un livre de règles. L'étudiant est confiant, mais se trompe à certains endroits.

L'ancienne méthode (DLHF Naïve) : Vous pourriez demander à un humain de regarder deux mouvements de jeu différents que l'étudiant a imaginés et de dire : « Lequel semble le plus réel ? ». Si vous posez la question de manière aléatoire, l'humain pourrait passer des heures à corriger des mouvements que l'étudiant a déjà réussis, tout en manquant les mouvements totalement impossibles là où l'étudiant est le plus confus. C'est ce qu'on appelle l'apprentissage de la dynamique par feedback humain (DLHF) naïf. Le papier montre que cela fonctionne, mais c'est incroyablement gaspilleur. Pour obtenir le même niveau de précision que seulement 1 000 exemples réels, la méthode naïve a nécessité 1 million de labels de préférence humaine. C'est comme demander à un humain de corriger un million de dissertations juste pour corriger quelques fautes de frappe.
La méthode RENEW : Au lieu de demander de manière aléatoire, RENEW agit comme un tuteur intelligent. Il vérifie d'abord le « compteur d'incertitude » de l'étudiant. Il demande : « Où l'étudiant est-il le plus confus ? ». Ensuite, il ne demande à l'humain de comparer les mouvements que dans ces zones spécifiques et confuses. Il concentre l'attention de l'humain exactement là où le robot est le plus susceptible de commettre une erreur dangereuse.

Ce qu'ils ont découvert

L'équipe a testé cette idée dans plusieurs environnements numériques, incluant un labyrinthe, un puzzle de glissement de tuiles (comme le jeu du 15-puzzle) et un jeu de poussée de boîtes appelé Sokoban. Ils ont utilisé un programme informatique pour agir comme un « humain parfait » afin de générer les labels de préférence, simulant ce qui se passerait si de vraies personnes effectuaient le jugement.

Voici les points clés de leurs expériences :

Les préférences peuvent enseigner la physique directement : Ils ont prouvé que vous pouvez enseigner les règles de la physique à un modèle de monde simplement en demandant : « Lequel de ces deux chemins semble réel ? ». Vous n'avez pas besoin de montrer la bonne réponse au robot ou de lui dire quel est l'objectif. Le simple signal « vrai vs faux » suffit à réparer le modèle.
Le ciblage intelligent fait gagner du temps : Lorsqu'ils ont comparé la méthode « aléatoire » (DLHF naïve) avec la méthode de « ciblage intelligent » (RENEW), les résultats étaient clairs. Sur un puzzle de glissement de tuiles 3x3, RENEW a réduit le taux d'erreur de moitié par rapport à la méthode aléatoire, en utilisant exactement le même nombre de labels humains.
Corriger le problème de l'« amnésie » : Une découverte surprenante a été que la méthode aléatoire rendait parfois les choses pires. Dans le jeu Sokoban, l'approche naïve a en fait provoqué l'oubli par le robot de la manière correcte de pousser les boîtes, un problème connu sous le nom d'oubli catastrophique (catastrophic forgetting). RENEW a totalement évité cela car il n'a ajusté que les parties du modèle qui étaient réellement défectueuses, laissant les parties correctes intactes.
Potentiel dans le monde réel : Dans un environnement de labyrinthe, ils ont constaté qu'avec seulement 1 600 labels de préférence, RENEW pouvait réparer un modèle pré-entraîné sujet à l'exploitation, réduisant considérablement le taux d'erreur. La méthode naïve, même avec le même budget, laissait derrière elle de nombreuses erreurs et incertitudes.

L'essentiel

Le papier suggère que nous n'avons pas besoin d'être des experts pour réparer les modèles d'IA ; nous avons juste besoin d'être doués pour repérer l'absurde. En demandant aux humains de simplement signaler quand l'imagination d'un robot viole les lois de la physique, nous pouvons réparer la « machine à rêves » du robot de manière efficace.

Cependant, les auteurs précisent avec prudence qu'il s'agit encore d'une recherche à un stade précoce. Leurs expériences ont utilisé des labels « parfaits » générés par ordinateur et des jeux de grille simples et petits. Ils n'ont pas encore testé cela avec de vrais humains fatigués qui pourraient faire des erreurs, ou dans des mondes complexes et de haute dimension comme la conduite d'une véritable voiture. Mais les résultats suggèrent une nouvelle voie prometteuse : au lieu de forcer les robots à avoir peur de l'inconnu, nous pouvons utiliser notre propre bon sens pour les guider doucement vers la réalité, les rendant plus sûrs et plus fiables sans avoir besoin d'une quantité infinie de données coûteuses.

Résumé technique : RENEW : Vers l'apprentissage de modèles de monde et la réparation de l'exploitation de modèle à partir de préférences

Énoncé du problème

L'apprentissage par renforcement (RL) basé sur des modèles repose sur des modèles de monde appris (modèles de dynamique) pour améliorer l'efficacité de l'échantillonnage en générant une expérience synthétique. Cependant, dans les contextes hors ligne (offline) où les agents apprennent à partir de jeux de données fixes, ces modèles souffrent d'exploitation de modèle. Lorsqu'une politique optimise un modèle de monde imparfait, elle peut découvrir et exploiter des transitions inexactes (par exemple, traverser un mur par téléportation) pour obtenir des rendements artificiellement élevés qui ne se transfèrent pas à l'environnement réel.

Les solutions existantes se classent généralement en deux catégories, présentant toutes deux des limitations significatives :

Collecter plus de données : Recueillir des démonstrations d'experts supplémentaires dans les régions de défaillance du modèle est souvent coûteux, dangereux ou impossible (par exemple, les modes de défaillance rares en robotique ou en conduite autonome).
Algorithmes conservateurs : Pénaliser les visites d'états incertains ou contraindre les politiques à la distribution comportementale sacrifie l'exploration et la généralisation au profit de la robustesse, limitant l'utilité des méthodes basées sur les modèles.

Les auteurs posent une nouvelle question : pouvons-nous corriger la dynamique d'un modèle de monde sans collecter plus de démonstrations ? Ils observent que si la démonstration d'un comportement correct nécessite une expertise métier, l'identification de dynamiques incorrectes (violations de la physique intuitive comme la solidité ou la permanence de l'objet) est souvent triviale pour les humains.

Méthodologie

Le papier introduit deux composantes centrales : un nouveau cadre d'apprentissage et un algorithme pour l'optimiser.

1. Apprentissage de la dynamique par feedback humain (DLHF)

Les auteurs formalisent le DLHF, un cadre qui remplace le modèle de récompense du RLHF (Reinforcement Learning from Human Feedback) standard par un modèle de dynamique.

Idée centrale : Au lieu de demander aux humains de comparer des trajectoires en fonction du succès de la tâche (ce qui pourrait renforcer l'exploitation, par exemple en préférant une trajectoire qui traverse un mur car elle est plus rapide), on demande aux humains de comparer des segments de trajectoire sur la base de la plausibilité physique.
Formulation :
- Soit $\hat{T}_\theta$ le modèle de dynamique appris.
- La log-vraisemblance d'un segment de trajectoire $\sigma$ sous le modèle est définie par $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$ .
- Dans le cadre de préférence de Bradley-Terry, la probabilité qu'un segment $\sigma_0$ soit préféré à $\sigma_1$ est modélisée par :
  $P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$
- Les paramètres $\theta$ du modèle sont mis à jour en minimisant la perte d'entropie croisée par rapport aux étiquettes de préférence humaine. Cela permet au modèle de dynamique d'être supervisé directement par des préférences binaires sans nécessiter de labels de récompense, de démonstrations d'experts ou d'interaction avec l'environnement.

2. RENEW (Réparation de l'exploitation via des préférences de modèle de monde élicitées)

Les auteurs notent que le DLHF naïf est peu efficace en termes d'échantillonnage car l'échantillonnage uniforme de paires de trajectoires gaspille le budget sur des transitions que le modèle prédit déjà bien. RENEW répond à cela en utilisant l'incertitude épistémique pour orienter les requêtes de préférence.

Requêtes actives : RENEW identifie les paires état-action où le modèle présente une forte incertitude épistémique (par exemple, via le désaccord d'un ensemble/ensemble disagreement).
Échantillonnage ciblé : Il génère des paires de segments de trajectoire partant de ces régions de haute incertitude.
Finetuning itératif : Le processus itère :
1. Calculer l'incertitude épistémique $u$ sous le modèle actuel.
2. Échantillonner des paires de segments proportionnellement à $u$ .
3. Éliciter les préférences humaines (ou de l'oracle) pour ces paires.
4. Ajuster finement (finetune) le modèle en utilisant la perte DLHF.
5. Recalculer l'incertitude et répéter.
Objectif : Cela concentre le budget de préférence sur les régions spécifiques où le modèle est le plus vulnérable à l'exploitation, améliorant ainsi l'efficacité de l'échantillonnage et empêvant l'oubli catastrophique des dynamiques correctes précédemment apprises.

Principales contributions

Cadre DLHF : Une formulation novatrice pour l'apprentissage de la dynamique de transition directement à partir des préférences humaines, déplaçant le signal de supervision du succès de la tâche (récompense) vers le réalisme physique (dynamique).
Algorithme RENEW : Un algorithme d'apprentissage actif qui exploite l'incertitude épistémique pour rendre l'apprentissage de la dynamique basé sur les préférences efficace en termes d'échantillonnage, ciblant spécifiquement les régions sujettes à l'exploitation du modèle.
Validation empirique : Démonstration que des préférences binaires peuvent apprendre des modèles de monde à partir de zéro et réparer des modèles pré-entraînés sans démonstrations supplémentaires ni interaction avec l'environnement.

Résultats expérimentaux

Les auteurs ont évalué leur approche sur des environnements Jumanji (mondes de grille discrets comme Maze, Sliding Tile, Sokoban) et Classic Control (MountainCar, Acrobot).

Faisabilité du DLHF : Le DLHF naïf peut apprendre des modèles de monde simples à partir de zéro en utilisant uniquement des préférences, mais il nécessite un budget massif (environ 1M de labels de préférence) pour égaler la performance de 1k transitions supervisées.
Efficacité d'échantillonnage de RENEW :
- Sous un budget de préférence identique, RENEW surpasse significativement le DLHF naïf. Par exemple, sur l'environnement Sliding Tile 3x3, RENEW a approximativement réduit de moitié l'erreur finale par rapport à l'échantillonnage uniforme.
- Oubli catastrophique : Sur l'environnement Sokoban, le DLHF naïf a dégradé la performance d'un modèle pré-entraîné, tandis que RENEW l'a améliorée. Cela suggère que le questionnement actif empêche l'écrasement des dynamiques correctes par des mises à jour provenant de transitions imaginées inexactes.
Réparation de l'exploitation : Dans les expériences de finetuning sur les environnements Maze (5x5 à 20x20) avec un budget fixe de 1 600 labels, RENEW a réduit à la fois l'erreur de prédiction et l'incertitude épistémique plus efficacement que le finetuning naïf. Il a atteint une précision de transition plus élevée (par exemple, 97,2 % contre 93,2 % sur Maze 10x10) et des intervalles de confiance plus serrés.
Contrôle continu : Bien que l'apprentissage de la dynamique continue à partir de préférences soit plus difficile en raison de signaux de préférence moins distincts, le DLHF a tout de même atteint une performance quasi équivalente aux bases supervisées sur MountainCar et Acrobot. RENEW a montré des avantages en termes d'efficacité d'échantillonnage lorsque les étapes de gradient étaient limitées (par exemple, à $K=8$ candidats).

Signification et affirmations

Le papier affirme fournir une première preuve que les préférences peuvent superviser directement la dynamique des modèles de monde. La signification réside dans :

Supervision directe de la dynamique : Contrairement aux travaux antérieurs qui utilisent les préférences pour apprendre des fonctions de récompense ou aligner des politiques, ce travail les utilise pour apprendre le modèle de transition lui-même.
Aucune donnée d'expert requise : L'approche ne nécessite aucune démonstration d'expert, aucun label de récompense, ni interaction avec l'environnement, répondant ainsi à un goulot d'étranglement majeur de l'apprentissage par renforcement basé sur les modèles hors ligne.
Mécanisme de réparation pratique : RENEW offre une alternative pragmatique à la collecte de plus de données ou à la restriction de l'exploration, permettant de réparer l'exploitation du modèle dans les modèles pré-entraînés en utilisant un budget limité de requêtes de préférence.

Les auteurs restent modestes quant à la portée actuelle, notant que les expériences ont utilisé des oracles synthétiques plutôt que de véritables annotateurs humains et étaient limitées à de petits environnements discrets et à faible dimension. Ils identifient la validation avec des labels humains bruités et le passage à l'échelle vers des espaces d'observation de haute dimension comme des prochaines étapes critiques.