🤖 machine learning

A Framework for Designing Reward Functions: From Objectives to Features to Human-Aligned Reward Functions

Cet article présente un cadre formel en trois étapes qui permet à des non-experts de concevoir des fonctions de récompense linéaires alignées sur l'humain en dérivant systématiquement des variables de résultat mesurables, en sélectionnant un sous-ensemble causalement représentatif de termes de récompense via une optimisation en temps polynomial, et en ajustant les poids par un processus d'élicitation de préférences à cadrage géométrique qui garantit une région de faisabilité sans conflit.

Auteurs originaux : Di Yang Shi, W. Bradley Knox

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Di Yang Shi, W. Bradley Knox

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à conduire une voiture, mais que vous ne puissiez pas simplement lui donner un manuel. À la place, vous devez lui donner une « fiche de notation » appelée fonction de récompense. Chaque fois que le robot fait quelque chose de bien, comme rester dans sa voie, le score augmente. Chaque fois qu'il fait quelque chose de mal, comme heurter un trottoir, le score diminue. L'objectif du robot est simple : obtenir le score le plus élevé possible. Mais voici la partie délicate : si vous concevez mal la fiche de notation, le robot pourrait trouver un moyen sournois d'exploiter le système. Il pourrait apprendre à conduire parfaitement vite mais s'écraser partout parce que vous avez oublié de lui dire que les collisions sont mauvaises. C'est un problème majeur dans le domaine de l'Intelligence Artificielle connu sous le nom d'Apprentissage par Renforcement (Reinforcement Learning). Pendant longtemps, seuls les plus grands experts au monde pouvaient construire ces fiches de notation, et même eux commettaient souvent des erreurs qui menaient les robots à des comportements étranges ou dangereux. La grande question est la suivante : comment transformer un souhait humain vague, comme « conduire de manière sûre et confortable », en une formule mathématique précise qu'un robot peut comprendre sans s'embrouiller ou essayer de manipuler le système ?

Une équipe de chercheurs de l'Université du Texas à Austin a proposé un nouveau cadre de travail étape par étape pour résoudre ce casse-tête, rendant possible pour des non-experts la conception de ces fiches de notation pour robots. Ils appellent leur méthode un « processus formel » qui transforme une description en langage naturel d'une tâche en une fonction de récompense mathématiquement solide. Considérez cela comme une recette qui prend une idée humaine désordonnée et la transforme en un ensemble d'instructions propres et sans conflit pour une machine. Leur approche repose sur trois étapes principales : premièrement, décomposer le grand objectif en désirs fondamentaux plus petits ; deuxièmement, choisir les bons outils pour mesurer ces désirs sans compter deux fois la même chose ; et troisièmement, déterminer exactement l'importance de chaque mesure en demandant à l'humain de comparer différents scénarios. Les auteurs démontrent qu'en suivant ce processus strict, on peut éviter les pièges courants du « détournement de récompense » (reward hacking, où le robot exploite le système) et garantir que le comportement du robot correspond réellement à ce que l'humain souhaite vraiment.

La recette en trois étapes du comportement robotique

Le document présente un cadre qui agit comme un traducteur, convertissant le souhait en langage naturel d'un humain en une fonction de récompense linéaire — une équation mathématique où différents facteurs sont additionnés avec des poids spécifiques. Les auteurs soutiennent que ce processus doit être accessible aux non-experts et se compose de trois étapes distinctes.

Étape 1 : De « Je veux » à « Quoi mesurer »
La première étape concerne la clarté. Imaginez que vous disiez à un robot : « Je veux un trajet sûr et rapide ». C'est trop vague pour un ordinateur. Le cadre suggère un flux de travail guidé pour « distiller » ce souhait en objectifs fondamentaux. Vous commencez par lister tout ce que vous voulez, puis vous demandez sans cesse « pourquoi ? » jusqu'à atteindre les valeurs fondamentales. Par exemple, « éviter le trafic » peut se résumer à « minimiser le temps », et « conduire en toute sécurité » peut devenir « minimiser les collisions ».

Une fois que vous avez ces objectifs de base, vous devez les transformer en variables de résultat — des choses que vous pouvez réellement mesurer. Vous ne pouvez pas mesurer directement la « sécurité », mais vous pouvez mesurer « l'accélération de pointe » ou la « satisfaction du passager ». Le document fournit une liste de contrôle pour cela : si un objectif ne peut pas être mesuré, décomposez-le davantage. Si la chose que vous voulez mesurer n'est pas visible pendant l'entraînement, trouvez une cause qui l'est. Et si une mesure peut être « manipulée » (exploitée), vous devez diversifier vos mesures afin que l'exploitation de l'une ne signifie pas que vous avez réellement atteint l'objectif. Cette étape garantit que vous ne récompensez pas le robot pour avoir simulé le résultat.

Étape 2 : Choisir les bons outils (Le filtre causal)
Vous avez maintenant une longue liste de choses à mesurer. Mais tout mesurer est coûteux et déroutant. Si vous mesurez à la fois la « vitesse » et le « temps de trajet », vous risquez de compter la même chose deux fois car la vitesse provoque le changement du temps. C'est ici que le document introduit une astuce mathématique ingénieuse.

Les auteurs traitent les relations entre ces mesures comme une carte (un graphe) où les flèches indiquent ce qui cause quoi. Ils proposent de sélectionner un sous-ensemble de mesures qui couvre tous les objectifs fondamentaux mais avec le moins d'effort possible. Ils appellent cela le problème de la Couverture Partielle à Coût Minimum (Minimum-Cost Partial Cover). Pour le résoudre, ils utilisent une méthode de la théorie des graphes appelée max-flow (flot maximum), qui revient à trouver le moyen le plus efficace d'acheminer l'eau à travers un réseau de tuyaux. En transformant le problème en un réseau de flux, ils peuvent utiliser un algorithme informatique pour trouver l'ensemble parfait et non redondant de mesures de manière mathématiquement garantie. Cela remplace l'ancienne méthode désordonnée consistant à deviner quelles mesures garder par un processus de sélection précis et optimal.

Étape 3 : Régler les cadrans (Ajustement des poids)
Enfin, vous avez choisi vos mesures (comme le temps, le coût et le confort), mais vous devez savoir quelle importance accorder à chacune. Est-ce que gagner 1 minute vaut la peine de rendre le trajet cahoteux ? Pour répondre à cela, le cadre utilise l'élicitation de préférences. Au lieu de deviner les chiffres, le système demande à l'humain : « Préféreriez-vous un trajet 10 minutes plus long mais très fluide, ou 5 minutes plus court mais cahoteux ? »

Le document présente cela comme un problème géométrique. Imaginez un espace en 3D où chaque point représente un ensemble différent de poids (combien vous accordez d'importance au temps par rapport au confort). Chaque fois que l'humain répond à une question, le système trace une ligne (un hyperplan) qui élimine la moitié de l'espace où la réponse serait fausse. Le système choisit ensuite la meilleure question suivante à poser — celle qui divise l'espace restant en deux, tel un détective réduisant la liste des suspects. Les auteurs montrent qu'en utilisant une méthode appelée Méthode du Plan Coupant du Centre Analytique (Analytic Center Cutting Plane Method), ils peuvent trouver les poids parfaits avec un nombre spécifique de questions (approximativement proportionnel au nombre de variables multiplié par le logarithme de la précision désirée). Cela garantit que la fiche de notation finale est cohérente et ne contient pas de règles contradictoires.

Pourquoi cela importe

Le document suggère que ce cadre résout trois problèmes majeurs de l'entraînement des robots. Premièrement, il stoppe la redondance en utilisant la carte causale pour s'assurer que nous ne mesurons pas la même chose deux fois. Deuxièmement, il prévient le détournement de récompense en ancrant les récompenses dans les objectifs fondamentaux qui importent réellement à l'humain, plutôt que dans des comportements intermédiaires que le robot pourrait exploiter. Troisièmement, il corrige le désalignement des préférences en garantissant mathématiquement que l'ensemble final des poids est cohérent avec toutes les réponses de l'humain, plutôt que d'être une simple supposition.

Les auteurs admettent que c'est une nouvelle méthode et que la partie « élicitation de préférences » repose toujours sur un humain (ou un système expert) pour répondre aux questions. Cependant, ils soutiennent qu'en faisant de ce processus un algorithme formel et par étapes, ils font le premier pas majeur vers un monde où n'importe qui peut concevoir une fonction de récompense qu'un robot suivra réellement, sans avoir besoin d'un doctorat en mathématiques ou d'années d'essais et d'erreurs. Ils ont transformé un art chaotique, réservé aux experts, en un puzzle structuré et soluble.

Résumé Technique : Un Cadre pour la Conception de Fonctions de Récompense

Énoncé du Problème

La conception de fonctions de récompense alignées sur l'humain dans l'Apprentissage par Renforcement (RL) reste un processus largement restreint aux experts, reposant souvent sur des essais et erreurs qui mènent à des écueils courants tels que le détournement de récompense (reward hacking), la redondance des termes de récompense et des décalages entre le comportement de la politique et l'intention humaine. Bien que l'Apprentissage par Renforcement à partir de Retours Humains (RLHF) ait gagné en popularité, les processus de requêtes existants sont souvent bayésiens ou non spécifiés, manquant de bornes déterministes. De plus, la sélection des termes de récompense est fréquemment heuristique, entraînant des inefficacités et des incitations mal alignées. Ce document traite de la nécessité d'un processus formel et systématique permettant à des non-experts d'instancier et d'itérer sur des fonctions de récompense linéaires alignées sur l'humain, en garantissant l'adhérence à un ordre de préférence donné sur les trajectoires.

Méthodologie

Le cadre proposé transforme une description de tâche en langage naturel en une fonction de récompense linéaire à travers trois étapes distinctes et formalisées :

1. Dérivation des Variables de Résultat (Flux de Travail Guidé)

La première étape convertit une description de tâche en langage naturel en un ensemble de variables de résultat mesurables.

Distillation : La tâche est analysée de manière itérative pour extraire des « objectifs fondamentaux ». Cela implique de demander « pourquoi » un objectif est important jusqu'à atteindre un ensemble de valeurs centrales (par exemple, convertir « éviter le trafic » en « minimiser le temps »).
Dérivation de Proxys : Puisque les objectifs fondamentaux (ex. : « minimiser l'inconfort du passager ») ne sont souvent pas directement mesurables, le cadre dérive des « variables de résultat » mesurables (proxys) qui capturent ces objectifs.
Filtrage : Le cadre identifie les problèmes potentiels liés aux proxys (ex. : inobservabilité ou possibilité de manipulation/jeu) et suggère des remèdes, tels que la décomposition des objectifs ou la substitution par des variables causalement en amont.

2. Sélection de Termes de Récompense Sensibles à la Causalité (Couverture Partielle à Coût Minimum)

L'ensemble candidat de variables de résultat est souvent trop vaste ou redondant. Cette étape sélectionne un sous-ensemble représentatif sur le plan causal et à faible coût pour servir de termes de récompense finaux.

Modélisation Causale : Les relations entre les variables de résultat sont modélisées sous la forme d'un Graphe Orienté Acyclique (DAG), où les arêtes représentent les effets causaux.
Formalisation : Le problème de sélection est formalisé comme un problème de Couverture Partielle à Coût Minimum (MCPC) sur le DAG causal. L'objectif est de trouver un sous-ensemble de nœuds $S$ qui « couvre » tous les nœuds de demande (représentant les objectifs fondamentaux) tout en minimisant le coût total des nœuds sélectionnés. La couverture est définie de manière récursive : un nœud est couvert s'il est sélectionné ou si tous ses parents sont couverts.
Solution Algorithmique : Le problème MCPC est réduit à un problème de flot max / coupe min via la division de nœuds. Cela permet une solution exacte en temps polynomial en utilisant des algorithmes de flot max standards (ex. : Edmonds-Karp ou l'algorithme de Dinic).
Alternative Heuristique : Dans les cas où la structure causale globale ou les coûts sont inconnus, une approche localement gloutonne est proposée pour affiner un ensemble de termes proposé par rapport à un budget de coût.

3. Ajustement des Poids via l'Élicitation de Préférences (Faisabilité Convexe)

Une fois les termes de récompense sélectionnés, leurs poids doivent être déterminés pour former une fonction de récompense scalaire. Le document suppose une combinaison linéaire de caractéristiques.

Cadrage Géométrique : Le problème d'ajustement des poids est reformulé comme un problème de faisabilité convexe. L'objectif est de localiser le vecteur de poids réel $w^*$ à l'intérieur d'une région faisable définie par des contraintes de préférence.
Oracle de Séparation : La région faisable est resserrée de manière itérative à l'aide d'un oracle de séparation. Le système propose des paires de trajectoires synthétiques $(\tau^+, \tau^-)$ à un oracle (ex. : un expert humain). La décision de préférence de l'oracle définit une contrainte de demi-espace ( $s \cdot q^T w \geq 0$ ) qui découpe la région faisable.
Trajectoires Synthétiques : Contraãirement aux méthodes échantillonnant à partir de jeux de données fixes, ce cadre construit des paires de trajectoires à partir de zéro pour poser des comparaisons arbitraires de type « préférez-vous X ou Y ». Cela garantit que les points de requête sont optimaux pour la réduction de volume.
Méthodes d'Optimisation : Le document exploite des méthodes de séparation existantes, spécifiquement la Méthode du Plan de Coupe du Centre Analytique (ACCPM) et la Méthode du Centre Volumétrique. Ces méthodes garantissent la convergence avec $O(n \log \kappa)$ appels d'oracle, où $n$ est la dimension et $\kappa$ se rapporte au rayon de la région initiale et à la tolérance d'erreur.

Principales Contributions

Flux de Travail Guidé pour les Variables de Résultat : Un processus structuré pour distiller les objectifs fondamentaux du langage naturel et dériver des proxys mesurables, traitant les problèmes d'inobservabilité et de détournement de récompense.
Sélection Formelle des Termes de Récompense : La réduction de la sélection des termes de récompense à un problème de Couverture Partielle à Coût Minimum sur un DAG causal. Cela transforme un processus manuel heuristique en une approche algorithmique optimale résolue via le flot max, garantissant des termes de récompense causalement représentatifs et non redondants.
Ajustement Déterministe des Poids : Un cadrage géométrique de l'ajustement des poids comme un problème de faisabilité convexe. En utilisant la génération de trajectoires synthétiques et des méthodes d'oracle de séparation, le cadre produit une région de poids faisable déterministement exempte de conflits. Il atteint une efficacité de requête de préférence asymptotiquement optimale ( $O(n \log \kappa)$ ) et un temps d'exécution probablement optimal.

Résultats et Revendications

Le document ne présente pas de benchmarks empiriques sur des environnements RL spécifiques, mais propose plutôt un cadre théorique et des preuves algorithmiques.

Faisabilité Sans Conflit : La méthode prétend être la première approche de conception de récompense qui maintient une région de poids faisable déterministement exempte de conflit tout au long du processus d'itération. Ceci est réalisé en construisant des trajectoires synthétiques qui garantissent la cohérence, évitant les hypothèses de distribution et les procédures de résolution de conflits requises par les méthodes utilisant des jeux de données fixes.
Optimalité : La sélection des termes de récompense est revendiquée comme optimale par conception (via la réduction au flot max), et le processus d'ajustement des poids hérite de l'efficacité de requête asymptotiquement optimale des méthodes de centre volumétrique.
Traitement des Modes de Défaillance : Le cadre cible explicitement trois modes de défaillance récurrents dans la conception de récompenses :
- Redondance : Atténuée par la sélection de la couverture causale.
- Détournement de Récompense (Reward Hacking) : Atténué en ancrant les termes de récompense dans des objectifs fondamentaux élicités plutôt que dans des comportements intermédiaires façonnés.
- Désalignement des Préférences : Atténué par la construction d'une région de poids faisable cohérente.

Signification

Les auteurs positionnent ce travail comme une étape fondamentale pour permettre aux non-praticiens du RL de concevoir et d'itérer sur des fonctions de récompense. En formalisant la transition des objectifs en langage naturel vers une fonction de récompense linéaire, le cadre réduit la dépendance à l'égard de l'essai-erreur des experts. L'utilisation d'oracles de séparation et de la génération de trajectoires synthétiques offre une alternative rigoureuse et déterministe aux processus de requête souvent non spécifiés ou bayésiens de la littérature actuelle en RLHF. Le document conclut que ce fondement principé se soutient du développement de systèmes interactifs pour la conception automatisée de récompenses.