🤖 machine learning

Subspace Inference Enables Efficient Active Reward Learning from Preferences

Cet article introduit PreferenceEKF, une méthode d'apprentissage actif efficace en termes d'échantillonnage qui exploite le filtrage de Kalman étendu au sein d'un sous-espace de paramètres de faible dimension pour permettre une quantification de l'incertitude scalable pour les modèles de récompense de réseaux de neurones, améliorant ainsi l'efficacité et la performance de l'apprentissage par renforcement à partir de rétroaction humaine.

Auteurs originaux : Yutai Zhou, Erdem Bıyık

Publié 2026-09-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yutai Zhou, Erdem Bıyık

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle, il existe un défi persistant connu sous le nom d'« inefficacité d'échantillonnage » de l'apprentissage à partir des commentaires humains. Imaginez l'enseignement d'un programme informatique complexe pour qu'il se comporte d'une manière alignée avec les valeurs humaines. La méthode la plus puissante actuellement disponible consiste à demander aux gens de comparer deux résultats différents — comme deux mouvements de robot ou deux réponses écrites — et d'indiquer celui qu'ils préfèrent. Bien que ce retour d'information soit facile à donner pour les humains, il est incroyablement rare ; une seule préférence ne fournit qu'un infime fragment d'information. Pour construire un modèle fiable de ce que les humains veulent, un algorithme doit poser des milliers de ces questions. Si l'ordinateur pose les mauv'aises questions, il gaspille du temps et de l'argent. S'il pose les bonnes, il apprend beaucoup plus vite. La difficulté réside dans la connaissance des questions qui seront les plus informatives. Pour ce faire, l'ordinateur doit comprendre ce qu'il ne sait pas encore, un concept appelé incertitude. Cependant, calculer cette incertitude pour les réseaux de neurones massifs et modernes est notoirement difficile et coûteux en termes de calcul, nécessant souvent l'entraînement de dizaines de modèles distincts pour obtenir une estimation approximative.

Une équipe de chercheurs de l'Université de Californie du Sud a développé une nouvelle approche pour résoudre ce goulot d'étranglement, permettant aux ordinateurs d'apprendre des préférences humaines avec une vitesse et une efficacité bien plus grandes. Ils ont introduit une méthode appelée PreferenceEKF, qui traite le processus d'apprentissage des préférences comme un problème de filtrage continu et par étapes plutôt que comme un calcul massif et ponctuel. Au lieu d'essayer de cartographier toutes les variations possibles d'un réseau de neurones géant à la fois, les chercheurs ont réalisé que le comportement du réseau pouvait être suivi avec précision au sein d'un espace beaucoup plus petit et de dimension inférieure. En concentrant leurs calculs sur ce sous-espace compact, ils ont pu utiliser un outil mathématique classique, le filtre de Kalman étendu, pour mettre à jour la compréhension du modèle en temps réel à mesure que les nouvelles réponses arrivaient. Cette technique leur a permis de générer instantanément des milliers de versions différentes du modèle de récompense, sans le coût de calcul élevé de l'entraînement de plusieurs réseaux indépendants.

Les chercheurs ont testé leur méthode contre plusieurs techniques existantes en utilisant une variété de tests de référence standards pour le contrôle robotique et la prise de décision. Ils ont constaté que leur approche était non seulement nettement plus rapide — fonctionnant jusqu'à quarante fois plus vite que certaines des alternatives les plus avancées — mais aussi plus précise dans ses prédictions. Dans les expériences où l'objectif était d'apprendre un modèle de récompense à partir d'un nombre limité de comparaisons humaines, la nouvelle méthode a systématiquement appris les préférences correctes en posant moins de questions que les autres méthodes. De plus, les modèles produits étaient mieux calibrés, ce qui signifie que la confiance de l'ordinateur dans ses réponses correspondait plus étroitement à l'exactitude réelle de ces réponses. Cette précision est vitale pour l'apprentissage actif, où le système doit décider quelle question poser ensuite ; si le système est incertain, il pose une question pour résoudre cette incertitude, et s'il est confiant, il passe à la suite. La nouvelle méthode a excellé dans cet équilibre, menant à des modèles de récompense capables d'entraîner des politiques robotiques pour accomplir des tâches complexes, égalant la performance de politiques entraînées avec des méthodes beaucoup plus coûteuses et chronophages.

L'un des aspects les plus frappants de ce travail est la façon dont il modifie le flux de travail de l'entraînement de ces systèmes. Les méthodes traditionnelles exigent souvent que l'ordinateur réentraîne ou réévalue toute sa compréhension du monde chaque fois qu'il reçoit un nouvel élément de feedback, un processus qui devient plus lent à mesure que le système grandit. La nouvelle méthode, en revanche, met à jour ses connaissances de manière séquentielle, en incorporant uniquement la dernière information reçue tout en maintenant une estimation continue de ce qu'elle a appris jusqu'à présent. Cela permet au système de passer à l'échelle efficacement, en gérant des réseaux de neurones plus larges et en générant plus d'échantillons de modèles de récompense possibles sans manquer de mémoire ou de temps. Les chercheurs ont également démontré que cette approche fonctionne même en partant de zéro, en utilisant une technique de projection aléatoire pour construire le sous-espace nécessaire à partir de rien, et elle s'est montrée prometteuse lorsqu'elle a été appliquée à des tâches basées sur l'image où les données d'entrée sont beaucoup plus complexes que de simples nombres.

Bien que la méthode soit très prometteuse, les chercheurs veillent à noter ses limites. Le cadre mathématique qu'ils ont utilisé suppose que les préférences apprises proviennent d'une source unique et cohérente. Lorsqu'ils ont testé le système avec des données provenant de plusieurs annotateurs humains qui pourraient avoir des opinions divergentes, la méthode a eu du mal à capturer toute la complexité de ces opinions différentes. Cela suggère que, bien que l'approche soit un outil puissant pour rationaliser le processus d'apprentissage, elle est mieux adaptée aux scénarios où un ensemble unique et cohérent de préférences est modélisé. Néanmoins, les résultats indiquent une étape significative vers la création d'une intelligence artificielle plus adaptable à l'intention humaine. En rendant le processus d'apprentissage à partir du feedback plus rapide et plus efficace, ce travail lève un obstacle majeur au déploiement de systèmes intelligents dans des contextes réels, de la recommandation personnalisée aux robots autonomes, là où le coût du temps humain est élevé et où le besoin d'un apprentissage rapide et précis est critique.

Résumé technique : L'inférence en sous-espace permet un apprentissage de récompense actif efficace à partir de préférences

Énoncé du problème

L'apprentissage par renforcement à partir de rétroaction humaine (RLHF) est une technique dominante pour aligner les agents avec les intentions humaines, mais elle souffre d'une faible efficacité d'échantillonnage. Puisque le retour de préférence humaine ne fournit au plus qu'un bit d'information par requête, l'apprentissage d'un modèle de récompense (RM) nécessite souvent des milliers de comparaisons, ce qui n'est pas évolutif. L'apprentissage actif répond à cela en sélectionnant judicieusement les requêtes pour maximiser le gain d'information. Cependant, un apprentissage actif efficace nécessite une quantification de l'incertitude (UQ) robuste du modèle de récompense.

Bien que les méthodes bayésiennes offrent une représentation principled de l'incertitude, elles peinent à s'adapter aux modèles de récompense par réseaux de neurones (NN) de grande taille en raison de l'intraitabilité computationnelle de l'inférence postérieure sur des espaces de paramètres de haute dimension. Inversement, les alternatives populaires comme les méthodes d'ensemble et le dropout sont soit coûteuses en calcul (nécessitant l'entraînement de plusieurs modèles indépendants), soit fournissent de mauvaises approximations de la distribution postérieure. Le défi central est de développer une méthode permettant un apprentissage actif à l'échelle et efficace en termes d'échantillonnage pour les modèles de récompense par réseaux de neurones sans la surcharge liée à l'entraînement d'ensembles.

Méthodologie : PreferenceEKF

Les auteurs proposent PreferenceEKF, une approche efficace en termes d'échantillonnage qui cadre l'apprentissage de préférences actif comme un problème de filtrage bayésien séquentiel. La méthode tire parti de deux intuitions clés :

Filtrage séquentiel : Au lieu d'un entraînement par lots (batch), la méthode met à jour la distribution postérieure du modèle de récompense de manière séquentielle à mesure que de nouvelles requêtes de préférence arrivent, en utilisant un filtre de Kalman étendu (EKF).
Inférence en sous-espace : Reconnaissant que les réseaux de neurones sont surparamétrés et que les solutions résident souvent dans un sous-espace de faible dimension, la méthode effectue l'inférence EKF au sein de ce sous-espace plutôt que dans l'espace de paramètres complet.

Flux de travail technique

Construction du sous-espace :
- Un ensemble de données initial est utilisé pour exécuter la descente de gradient stochastique (SGD) pendant quelques itérations.
- Les itérés de paramètres résultants sont utilisés pour construire un sous-espace de faible dimension. Cela se fait via la décomposition en valeurs singulières (SVD) des itérés de la SGD pour obtenir une matrice de projection $A$ , ou alternativement via des projections aléatoires.
- L'espace de paramètres complet $\theta$ est approximé par une application affine $\theta(z) = Az + \theta^*$ , où $z$ représente les paramètres du sous-espace de faible dimension ( $|z| \ll |\theta|$ ).
Filtrage Bayésien Séquentiel (EKF) :
- La méthode traite les paramètres du réseau de neurones comme des états cachés évoluant au fil du temps.
- Modèle de dynamique : Suppose une fonction identité avec un bruit gaussien additif ( $p(\theta_i | \theta_{i-1}) = \mathcal{N}(\theta_i | \theta_{i-1}, U)$ ).
- Modèle de mesure : Utilise le modèle de Bradley-Terry (BT) pour prédire les étiquettes de préférence données les paires de trajectoires. La vraisemblance BT est linéarisée autour de la moyenne postérieure actuelle pour s'adapter au cadre EKF.
- Étape de mise à jour : Lors de la réception d'une nouvelle paire requête-réponse $(Q_i, y_i)$ , l'EKF met à jour la distribution postérieure des paramètres du sous-espace $z$ de manière fermée. La distribution postérieure reste gaussienne : $b_i = \mathcal{N}(\mu'_i, \Sigma'_i)$ .
Boucle d'apprentissage actif :
- La méthode échantillonne un nombre arbitraire de modèles à partir de la distribution postérieure du sous-espace appris.
- Ces échantillons sont projetés de nouveau dans l'espace complet pour calculer les fonctions d'acquisition. Les auteurs utilisent spécifiquement InfoGain (information mutuelle entre l'étiquette de la requête et les paramètres du modèle) pour sélectionner la requête la plus informative.
- Contrairement aux méthodes d'ensemble qui réentraînent sur toutes les données, PreferenceEKF ne se met à jour que sur la requête la plus récente, ce qui le rend efficace sur le plan computationnel.

Contributions clés

Premier filtrage en sous-espace pour les modèles de récompense NN : L'article affirme être le premier à exploiter le filtrage en sous-espace pour entraîner des modèles de récompense par réseaux de neurones à partir de rétroactions de préférence.
Inférence Bayésienne évolutive : En restreignant l'inférence à un sous-espace de faible dimension, la méthode rend l'Extended Kalman Filter traitable pour les réseaux de neurones profonds, évitant la complexité $O(|\theta|^2)$ des matrices de covariance complètes.
Calcul efficace de la fonction d'acquisition : La capacité d'échantillonner un nombre arbitraire de modèles à partir de la distribution postérieure du sous-espace permet le calcul scalable de InfoGain, une fonction d'acquisition de pointe auparavant restreinte aux modèles de faible dimension.
Pas de surcharge d'entraînement d'ensemble : Contra-rence à DeepEnsembles, PreferenceEKF ne nécessite pas l'entraînement de plusieurs modèles indépendants, réduisant considérablement l'utilisation du temps d'exécution et de la mémoire.

Résultats expérimentaux

Les auteurs ont évalué PreferenceEKF sur les benchmarks D4RL et V-D4RL à travers 12 tâches impliquant la locomotion MuJoCo, la manipulation Adroit et la navigation Maze2D. Ils l'ont comparé à quatre bases de référence : DeepEnsemble, Dropout, Laplace Approximation et Last-Layer MCMC (LLMCMC).

Efficacité d'échantillonnage : PreferenceEKF a performé au même niveau ou mieux que toutes les bases de référence de deep learning bayésien en termes d'efficacité d'échantillonnage et de log-vraisemblance finale sur les requêtes de test tenues à l'écart.
Temps d'exécution et scalabilité :
- PreferenceEKF a obtenu une accélération d'environ 5x par rapport à DeepEnsemble et plus de 40x par rapport à LLMCMC.
- La méthode s'adapte gracieusement tant au nombre d'échantillons de la distribution postérieure ( $M$ ) qu'à la taille de l'architecture du réseau de neurones, alors que les bases de référence (particulièrement les ensembles) souffrent de contraintes de mémoire ou de problèmes de mise à l'échelle linéaire.
Calibration : PreferenceEKF a démontré une calibration de modèle supérieure, atteignant l'erreur de calibration attendue (ECE) la plus faible parmi toutes les méthodes et le deuxième score de Brier le plus bas.
Optimisation de la politique : Lorsque les modèles de récompense appris ont été utilisés pour l'apprentissage par renforcement hors ligne (via l'Implicit Q-Learning), les politiques résultantes ont atteint des performances compétitives avec celles entraînées avec des modèles de récompense d'autres méthodes, égalant ou dépassant légèrement la politique de la récompense réelle (ground-truth).
Robustesse : La méthode est restée efficace même sans jeu de données de préchauffage initial (en utilisant des projections aléatoires) et a montré des promesses dans les contextes de rétroaction parcimonieuse (données de robots réels) et de tâches basées sur des pixels (en utilisant des plongements d'images pré-entraînés).

Signification et affirmations

L'article positionne PreferenceEKF comme une solution viable pour porter le deep learning bayésien à l'échelle des grands modèles de récompense par réseaux de neurones dans le cadre du RLHF. Les auteurs affirment que leur approche réussit à équilibrer le besoin d'une quantification de l'incertitude fondée sur des principes avec la tractabilité computationnelle.

Efficacité : La contribution principale est l'amélioration de l'efficacité d'échantillonnage de l'apprentissage de récompense basé sur les préférences tout en réduisant drastiquement le coût de calcul de l'entraînement et de l'inférence par rapport aux méthodes existantes de deep learning bayésien.
Praticité : La méthode permet l'utilisation de fonctions d'acquisition de haute dimension comme InfoGain pour les réseaux de neurones, ce qui était auparavant irréalisable.
Limites : Les auteurs reconnaissent modestement que l'hypothèse gaussienne de l'EKF limite la méthode aux contextes à annotateur unique (distributions postérieures unimodales) et que l'extension vers des modèles de récompense à l'échelle des modèles de fondation ou des distributions de préférences multimodales (par exemple, des annotateurs humains divers) reste un défi ouvert. Ils notent également que bien que leurs modèles de récompense mènent à des politiques compétitives, la corrélation directe entre la log-vraisemblance du modèle de récompense et la performance finale de la politique est complexe et n'est pas garantie d'être améliorée uniquement par un meilleur apprentissage de la récompense.

En conclusion, l'article démontre que l'inférence en sous-espace via l'EKF offre une alternative scalable, efficace et bien calibrée aux méthodes de deep learning bayésien basées sur les ensembles pour l'apprentissage de récompense actif à partir de préférences humaines.