Résumé technique : Sélection active d'enseignants pour l'apprentissage de récompenses

Définition du problème

Les systèmes actuels d'apprentissage de récompenses, en particulier ceux utilisant l'apprentissage par renforcement à partir de retours humains (RLHF), fonctionnent sous une hypothèse restrictive : tous les retours proviennent d'un seul et unique enseignant humain canonique aux propriétés de bruit fixes. En réalité, les retours sont agrégés à partir de grandes populations hétérogènes où les annotateurs varient considérablement en termes d'expertise, d'attention et de rationalité. Cette inadéquation conduit à des modèles de récompense sous-optimaux, car l'hétérogénéité non reconnue dans la rationalité et le contexte des enseignants peut déformer les objectifs appris.

Le problème central abordé est la sélection d'enseignants : étant donné l'accès à plusieurs enseignants avec des niveaux variables de fiabilité (rationalité) et de coût, comment un agent d'apprentissage de récompenses doit-il décider quel enseignant interroger et quand les interroger ? L'agent doit équilibrer l'utilité immédiate de prendre des actions (exploiter le modèle de récompense actuel) contre la valeur d'interroger des enseignants pour améliorer le modèle (exploration), tout en tenant compte du fait que l'interrogation d'enseignants coûteux et de haute précision engendre un coût, tandis que des enseignants moins chers et plus bruyants peuvent fournir une valeur informationnelle différente.

Méthodologie

Le cadre de la bande à utilité cachée (HUB)

Les auteurs formalisent ce problème en utilisant le cadre de la bande à utilité cachée (Hidden Utility Bandit, HUB). Contrairement aux bandes à bras multiples (MAB) standard où les utilités des bras sont observées, le HUB suppose que les utilités des bras sont latentes et ne peuvent être inférées que par le biais des retours des enseignants.

• Composantes : Un ensemble d'éléments $I$ avec des utilités cachées $U$, un ensemble de bras $C$ qui produisent stochastiquement des éléments, et un ensemble d'enseignants $\beta$ avec des paramètres de rationalité distincts et des coûts d'interrogation.
• Modèle d'enseignant : Les enseignants sont modélisés comme des agents rationnels de Boltzmann. La probabilité qu'un enseignant préfère l'élément $i$ à $j$ est déterminée par son paramètre de rationalité $\beta$ et la différence d'utilité $\Delta_{ij} = U(i) - U(j)$.
• Objectif : Maximiser la somme espérée actualisée des utilités en entrelaçant les tirages de bras (gagner une récompense) et les interrogations d'enseignants (acquérir de l'information).

Algorithme de sélection active d'enseignants (ATS)

Pour résoudre le problème HUB, les auteurs proposent la sélection active d'enseignants (Active Teacher Selection, ATS), une approche algorithmique qui traite la sélection d'enseignants comme un problème de planification.

1. Formulation POMDP : Le HUB est converti en un processus de décision markovien partiellement observable (POMDP). L'espace d'état inclut la fonction d'utilité cachée et les distributions des bras. L'espace d'actions inclut à la fois le tirage de bras et l'interrogation d'enseignants spécifiques.
2. Planification : ATS utilise la planification Monte Carlo partiellement observable avec élargissement des observations (POMCPOW). Ce solveur maintient une croyance sur les utilités cachées et utilise un filtre à particules pondéré pour gérer de grands espaces d'état.
3. Stratégies de déploiement (Rollout) : L'algorithme emploie des stratégies de déploiement personnalisées (spécifiquement une stratégie de « meilleur bras ») pour estimer la valeur des nœuds feuilles dans l'arbre de croyance.
4. Sélection spécifique vs générale : ATS prend en charge deux modes :
   • Sélection spécifique : L'agent choisit exactement quel enseignant interroger.
   • Sélection générale : L'agent décide quand interroger un enseignant, mais l'enseignant spécifique est choisi au hasard (imitant le RLHF standard).
5. Inférence des paramètres : Reconnaissant que la rationalité des enseignants ($\beta$) est souvent inconnue, l'article fournit une méthode pour estimer $\beta$ à partir de données de préférences empiriques en utilisant un facteur d'échelle dérivé des différences d'utilité.

Contributions clés

1. Le cadre HUB : Un formalisme mathématique novateur pour modéliser l'apprentissage de récompenses à partir de multiples enseignants, tenant explicitement compte des différences de rationalité des enseignants et des coûts d'interrogation. Il généralise les MAB standard en rendant les utilités latentes et apprenables uniquement par le biais des retours.
2. Sélection active d'enseignants (ATS) : Une approche algorithmique qui convertit le problème HUB en un POMDP. ATS entrelace activement l'exploration et l'exploitation, décidant dynamiquement à la fois du moment et de l'enseignant spécifique pour les interrogations afin de maximiser l'utilité actualisée espérée.
3. Estimation de la rationalité : Une procédure pour inférer les paramètres de rationalité des enseignants ($\beta$) à partir de données de préférences, éliminant l'exigence que ces hyperparamètres soient connus a priori.
4. Validation empirique : Application du cadre à deux domaines distincts :
   • Recommandation d'articles : Recommander des conférences à un étudiant en fonction de la pertinence du type d'article, où les professeurs agissent comme enseignants avec une expertise variable.
   • Test de vaccins contre la COVID-19 : Évaluation de l'efficacité des vaccins où les « enseignants » sont des tests diagnostiques (enquêtes, antigènes, RT-PCR) avec une précision et des coûts variables.

Résultats expérimentaux

Les auteurs ont évalué ATS par rapport à des références incluant Aléatoire (sélection d'actions uniforme) et Naïf (phase d'exploration fixe suivie d'une exploitation, imitant les pipelines RLHF hors ligne standard).

• Tâche de recommandation d'articles :

  • ATS avec sélection spécifique d'enseignants a obtenu la récompense cumulative actualisée moyenne la plus élevée, surpassant à la fois la sélection générale et les références naïves.
  • ATS a appris la fonction d'utilité sous-jacente (scores de pertinence) et les distributions des bras plus précisément (erreur L2 plus faible) que les références.
  • Crucialement, ATS a interrogé les enseignants avec parcimonie au début mais a continué à interroger tout au long de l'épisode pour affiner les croyances, tandis que les algorithmes Naïfs cessaient d'apprendre après un horizon fixe.
  • Spécifique vs Général : La sélection spécifique a constamment surpassé la sélection générale, démontrant que la capacité de choisir quel enseignant interroger est cruciale pour l'efficacité.

• Étude de cas sur les tests de vaccins :

  • L'objectif était d'identifier le vaccin le plus efficace tout en minimisant les taux d'infection et les coûts de test.
  • Bras aléatoires (jamais de test) ont obtenu une récompense élevée en évitant les coûts mais ont échoué à identifier le meilleur vaccin.
  • Les références Naïves ont identifié le meilleur vaccin mais ont encouru des coûts de test excessifs.
  • ATS a réussi à équilibrer les deux objectifs : il a identifié le vaccin le plus efficace tout en effectuant le nombre minimum de tests coûteux nécessaires.

Importance et affirmations

L'article affirme que le cadre HUB et l'algorithme ATS comblent une lacune critique dans les systèmes actuels d'apprentissage de récompenses : l'incapacité à raisonner sur l'hétérogénéité des enseignants. En modélisant explicitement les différences de rationalité et de coût des enseignants, le système peut effectuer des compromis raisonnés entre le gain d'information et le coût de l'interrogation.

Les auteurs soulignent que leur approche :

• Améliore l'efficacité : Elle évite les calendriers d'exploration rigides et prédéfinis des pratiques RLHF actuelles, permettant aux agents d'interroger uniquement lorsque nécessaire pour les mises à jour de croyance.
• Améliore la précision : Elle produit des modèles de récompense plus précis en exploitant la valeur informationnelle spécifique de différents enseignants (par exemple, un enseignant plus bruyant fournit parfois plus d'informations sur l'ampleur des écarts d'utilité qu'un enseignant hautement rationnel).
• Évolutivité : Bien que l'implémentation actuelle repose sur des espaces d'utilité discrétisés (limitant l'évolutivité aux problèmes très vastes), le cadre conceptuel de modélisation de l'hétérogénéité des enseignants et de planification sur les interrogations est applicable aux fonctions de récompense paramétrées par des réseaux de neurones via une inférence postérieure approximative.

L'ouvrage conclut que la sélection active d'enseignants est essentielle pour apprendre des modèles précis, robustes et alignés sur les valeurs à partir de populations diversifiées, en particulier dans des domaines critiques pour la sécurité où le coût de l'erreur ou le coût du retour d'information d'experts est élevé.