💬 NLP

Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications

Ce papier présente HRDL, une formulation de problème étendant la conception de récompenses pour les agents RL hiérarchiques, ainsi que L2HR, une méthode traduisant des spécifications linguistiques en récompenses hiérarchiques afin d'améliorer l'alignement du comportement des agents IA avec les préférences humaines complexes.

Auteurs originaux : Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

Publié 2026-02-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Zhiqin Qian, Ryan Diaz, Sangwon Seo, Vaibhav Unhelkar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imagine que vous essayez d'enseigner à un robot comment faire le ménage dans votre maison. Si vous lui dites simplement : « Range la maison », il va probablement ramasser les objets, mais peut-être qu'il va les jeter par terre, marcher sur vos plantes préférées ou faire du bruit à 3 heures du matin.

Le problème, c'est que les humains ne se soucient pas seulement du résultat (la maison est rangée), mais aussi de la manière dont c'est fait (gentiment, silencieusement, dans le bon ordre).

C'est exactement le problème que ce papier tente de résoudre. Voici une explication simple de leur solution, HRDL et L2HR, avec quelques analogies pour rendre les choses claires.

1. Le Problème : La carte trop simple

Jusqu'à présent, les chercheurs utilisaient une méthode appelée « récompense plate » (flat reward). Imaginez que vous donnez à votre robot une carte au trésor très simple :

« Si tu mets l'objet dans la boîte, +10 points. »
« Si tu marches sur un tapis, -1 point. »

Le robot va essayer de maximiser ses points. Mais cette carte est trop simple pour des tâches complexes. Elle ne peut pas dire : « D'abord, range les jouets, puis les livres, et fais-le doucement pour ne pas réveiller bébé ». Le robot, étant très littéral, va peut-être ranger les livres avant les jouets parce que c'est plus rapide pour ses points, ou il va courir partout en faisant du bruit.

2. La Solution : Une carte en plusieurs couches (HRDL)

Les auteurs proposent une nouvelle façon de faire : La Conception Hiérarchique de Récompense (HRDL).

Au lieu d'une seule carte plate, ils créent une carte à deux niveaux, comme un chef d'orchestre et ses musiciens :

Le Niveau Haut (Le Chef d'Orchestre) : Il décide de la stratégie. « Maintenant, on range les jouets. Ensuite, on range les livres. » Il ne s'occupe pas de savoir comment le robot bouge ses bras, il s'occupe de l'ordre des tâches.
Le Niveau Bas (Les Musiciens) : Ils exécutent les détails. « Pour ranger ce jouet, je dois le saisir doucement, le lever, et le poser ici sans le faire tomber. »

En séparant ces deux niveaux, on peut donner des instructions beaucoup plus précises. On peut dire au Chef : « Ne change pas de tâche tant que tous les jouets sont rangés » (une règle d'ordre), et aux Musiciens : « Ne marche pas sur le tapis pendant que tu portes un objet fragile » (une règle de sécurité).

3. L'Outil Magique : L2HR (Le Traducteur)

Le plus dur, c'est d'écrire ces cartes complexes à la main. C'est là qu'intervient L2HR (Language to Hierarchical Rewards).

Imaginez que vous parlez à un traducteur très intelligent (une Intelligence Artificielle de type "Grand Modèle de Langage", comme celui qui génère ce texte).

Vous dites : « Je veux que le robot range d'abord les pommes, puis les œufs, et qu'il évite le tabouret quand il porte un œuf. »
L2HR traduit : Il prend votre phrase naturelle et écrit automatiquement le code mathématique complexe (les récompenses) pour le Chef d'Orchestre et les Musiciens.

C'est comme si vous donniez une recette de cuisine à un assistant culinaire génial, et qu'il préparait automatiquement les instructions précises pour chaque étape de la cuisson, sans que vous ayez à connaître la chimie des aliments.

4. Les Résultats : Des robots plus "humains"

Les chercheurs ont testé cela dans trois mondes virtuels :

Un monde de sauvetage : Un robot doit livrer des fournitures.
Une maison virtuelle (iTHOR) : Un robot doit ranger des pommes et des œufs.
Une cuisine : Un robot doit préparer une salade.

Ce qu'ils ont découvert :

Avec l'ancienne méthode (carte plate), le robot finissait souvent par faire des erreurs bizarres, comme ignorer l'ordre des tâches ou marcher sur le tabouret, parce qu'il ne comprenait pas la nuance de votre demande.
Avec la nouvelle méthode (HRDL + L2HR), le robot comprenait mieux vos intentions. Il respectait l'ordre (d'abord les pommes, puis les œufs) et évitait les dangers de manière plus intelligente.

En résumé

Ce papier nous dit : « Arrêtons de donner aux robots des ordres trop simplistes. Donnons-leur une structure hiérarchique (un plan global + des détails d'exécution) et utilisons le langage naturel pour leur expliquer ce que nous voulons. »

C'est un peu comme passer d'un enfant qui obéit aveuglément à un ordre (« Fais ça ! ») à un apprenti qui comprend le contexte, la logique et les préférences subtiles de son maître. C'est une étape cruciale pour rendre les robots plus sûrs et plus agréables à vivre avec nous dans nos maisons et nos hôpitaux.

1. Problématique

L'intégration de l'intelligence artificielle (IA) dans des environnements humains (maisons, hôpitaux, zones de catastrophe) exige non seulement que les agents accomplissent des tâches, mais qu'ils le fassent en respectant des spécifications comportementales complexes (sécurité, ordre des sous-tâches, préférences d'exécution).

Le défi central réside dans la conception de récompenses pour l'apprentissage par renforcement (RL). Les méthodes actuelles reposent souvent sur des fonctions de récompense « plates » (flat rewards) de la forme $r(s, a)$ , qui ne dépendent que de l'état et de l'action courante.

Limitation : Pour les tâches à long horizon, les humains raisonnent naturellement de manière hiérarchique (décomposition en sous-tâches). Les récompenses plates sont fondamentalement limitées pour capturer des préférences nuancées qui dépendent de l'historique des sous-tâches (ex: « faire la sous-tâche B seulement après la sous-tâche A ») ou de l'état d'exécution d'une option spécifique.
Objectif : Combler le fossé entre les spécifications humaines (souvent exprimées en langage naturel) et la capacité des agents RL à les respecter, en particulier pour des tâches complexes et hiérarchiques.

2. Méthodologie

Les auteurs proposent une nouvelle formulation de problème et une solution algorithmique.

A. Formulation du Problème : HRDL

Ils introduisent le problème de Conception Hiérarchique de Récompenses à partir du Langage (HRDL - Hierarchical Reward Design from Language).

Structure Hiérarchique : Contrairement aux récompenses plates, HRDL définit deux types de récompenses :
1. Récompense de Haut Niveau ( $\tilde{r}_H$ ) : Dépend de l'état courant, de l'option précédente ( $o_{-1}$ ) et de l'option courante ( $o$ ). Elle guide la sélection des sous-tâches et leur ordre.
2. Récompense de Bas Niveau ( $\tilde{r}_L$ ) : Dépend de l'état, de l'option courante ( $o$ ) et de l'action primitive ( $a$ ). Elle guide l'exécution détaillée de la sous-tâche.
Théorie : Ils prouvent mathématiquement que cette structure hiérarchique est strictement plus expressive que les récompenses plates. Elle permet d'encoder des dépendances temporelles et des contraintes d'ordre que les fonctions $r(s, a)$ ne peuvent pas représenter sans information cachée.
Cadre : Le problème est formulé comme une extension du problème classique de conception de récompenses (RDP), compatible avec les processus de décision de Markov (MDP) et semi-Markov (SMDP).

B. Solution Algorithmique : L2HR

Pour résoudre HRDL, ils proposent L2HR (Language to Hierarchical Rewards), un algorithme utilisant des Modèles de Langage à Grande Échelle (LLM).

Entrée : Des spécifications en langage naturel décrivant les préférences comportementales (ex: « éviter les zones dangereuses lors du transport d'objets fragiles »).
Processus en deux étapes :
1. Génération de Récompenses de Bas Niveau : Le LLM génère des fonctions de code Python ( $\tilde{r}_L$ ) basées sur les spécifications de bas niveau. Ces fonctions sont filtrées pour la validité syntaxique et utilisées pour entraîner des politiques de bas niveau. Seules les politiques atteignant un seuil de réussite de sous-objectifs sont conservées.
2. Génération de Récompenses de Haut Niveau : Le LLM génère des fonctions de récompense de haut niveau ( $\tilde{r}_H$ ) en utilisant les politiques de bas niveau validées comme contexte. Ces récompenses guident la sélection des options.
Prompting : L2HR utilise une stratégie de prompt structurée incluant la description de la tâche, le contexte du code de l'environnement (espaces d'état et d'actions), et des conseils de conception pour éviter les variables globales et assurer la stabilité de l'entraînement.

3. Contributions Clés

Formalisation du problème HRD/HRDL : Première définition formelle du problème de conception de récompenses hiérarchiques, comblant un vide théorique entre le RL hiérarchique (HRL) et la conception de récompenses.
Preuve d'Expressivité : Démonstration théorique que les récompenses hiérarchiques peuvent encoder des spécifications (ordre des sous-tâches, dépendances contextuelles) impossibles à représenter avec des récompenses plates.
Algorithme L2HR : Une méthode pratique utilisant les LLM pour générer automatiquement des structures de récompenses hiérarchiques à partir de langage naturel, rendant la conception de récompenses accessible aux non-experts.
Validation Empirique et Humaine : Une évaluation rigoureuse montrant que les agents entraînés avec L2HR respectent mieux les spécifications humaines que ceux utilisant des récompenses plates générées par LLM.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois environnements à long horizon : Rescue World, iTHOR (maison intelligente) et Kitchen (Overcooked).

Qualité du Code (Q1) : La génération hiérarchique (L2HR) produit moins d'erreurs de syntaxe que la génération plate. Les LLM comprennent mieux la structure hiérarchique (options vs actions primitives) lorsqu'elle est explicitement fournie dans le prompt.
Faisabilité de la Tâche (Q2) : Les récompenses hiérarchiques préservent mieux la capacité de l'agent à accomplir la tâche principale. Les récompenses plates tentent souvent d'inférer l'historique des sous-tâches à partir de l'état brut, ce qui conduit à des heuristiques erronées et à l'échec de la tâche.
Alignement Comportemental (Q3) :
- Rescue World : L2HR atteint un taux d'alignement d'expert de 76,92% pour les spécifications de haut niveau (persistance d'un type d'objet), contre 12,50% pour les récompenses plates.
- iTHOR : L2HR excelle sur la spécification de diversité (alterner les objets) et l'évitement de obstacles conditionnels (éviter un tabouret uniquement lors de la manipulation d'œufs).
- Kitchen : L2HR atteint 92,86% d'alignement sur l'ordre de hachage des ingrédients, contre 10% pour les récompenses plates.
Étude Utilisateur : Une étude avec 30 participants a confirmé que les agents entraînés avec L2HR sont perçus comme significativement plus alignés avec les spécifications humaines (notamment pour les préférences de haut niveau) que ceux avec des récompenses plates.

5. Signification et Impact

Ce travail représente une avancée majeure pour le développement d'IA responsables et alignées :

Passage du "Faire" au "Comment" : Il permet de passer d'une simple optimisation de la réussite de la tâche à l'optimisation de la manière dont la tâche est accomplie, en respectant les nuances des préférences humaines.
Accessibilité : En utilisant le langage naturel comme interface pour la conception de récompenses hiérarchiques, il réduit la barrière technique pour les humains souhaitant spécifier des comportements complexes à des agents autonomes.
Fondation pour le Futur : La formalisation HRD ouvre la voie à de futures recherches combinant la découverte d'options (option discovery) et la conception de récompenses, ainsi qu'à l'intégration de ces méthodes dans des systèmes robotiques réels.

En résumé, le papier démontre que pour aligner efficacement des agents IA sur des spécifications humaines complexes, il est nécessaire d'abandonner les récompenses plates au profit d'une structure hiérarchique, et que les grands modèles de langage peuvent être des outils puissants pour automatiser cette conception.