🤖 AI

Preference Goal Tuning: Post-Training as Latent Control for Frozen Policies

Ce papier présente le Preference Goal Tuning (PGT), un cadre d'entraînement postérieur qui aligne des politiques conditionnées par des objectifs figées sur des préférences de tâche en optimisant des plongements latents continus d'objectifs plutôt qu'en mettant à jour les paramètres de la politique, atteignant ainsi des performances et une robustesse supérieures à la fois aux invites d'experts et au fine-tuning complet sur le benchmark Minecraft SkillForge.

Auteurs originaux : Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guangyu Zhao, Kewei Lian, Haoxuan Ru, Borong Zhang, Haowei Lin, Zhancun Mu, Haobo Fu, Qiang Fu, Shaofei Cai, Zihao Wang, Yitao Liang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez un chef robot hautement qualifié et pré-entraîné. Ce chef a passé des années à regarder des millions de vidéos de cuisine et connaît la physique du hachage, de la friture et de la cuisson au four mieux que quiconque. Cependant, lorsque vous demandez à ce chef de « préparer une salade », il pourrait hacher les tomates trop finement ou oublier la vinaigrette, simplement parce que votre instruction verbale n'était pas tout à fait le bon déclencheur pour son style spécifique.

Habituellement, pour corriger cela, vous avez deux mauvaises options :

Réécrire les instructions : Vous essayez des centaines de phrases différentes (« hachez les tomates », « coupez les tomates en dés », « tranchez les tomates ») jusqu'à en trouver une qui fonctionne. C'est comme deviner le bon mot de passe ; c'est lent et cela échoue souvent.
Re-entraîner le chef : Vous ramenez le chef à l'école de cuisine pour qu'il réapprenne tout depuis zéro selon vos goûts spécifiques. Cela coûte cher, prend beaucoup de temps et risque de faire oublier au chef comment cuisiner quoi que ce soit sauf votre salade spécifique (un problème appelé « oubli catastrophique »).

Cet article présente une troisième méthode, plus intelligente, appelée « Ajustement de l'Objectif de Préférence » (PGT).

L'Idée Centrale : La Métaphore de la « Télécommande »

Au lieu de réécrire le cerveau du chef (la politique) ou de deviner les mots parfaits, les auteurs traitent l'embedding d'objectif latent du chef comme une télécommande continue.

Imaginez le cerveau du chef comme un personnage de jeu vidéo haut de gamme figé. Vous ne pouvez pas modifier son code ou ses statistiques. Cependant, vous pouvez ajuster un « cadran » caché (l'objectif latent) qui indique au personnage exactement comment interpréter l'ordre « chasser un mouton ».

Ancienne méthode (Ingénierie des invites) : Vous criez différents ordres au personnage en espérant que l'un d'eux fonctionne.
Ancienne méthode (Ajustement fin) : Vous forcez le personnage à réapprendre toute sa personnalité pour s'adapter à votre ordre.
Méthode PGT : Vous conservez exactement la même personnalité du personnage, mais vous utilisez un « cadran de préférence » pour orienter son comportement. Vous tournez le cadran légèrement vers la gauche, il hache les tomates parfaitement. Vous le tournez légèrement vers la droite, il ajoute la vinaigrette.

Comment Cela Fonctionne : La Boucle du « Dégustateur »

L'article décrit un processus qui fonctionne comme une session de dégustation très efficace :

La Configuration : Vous commencez par une instruction de base (par exemple, « collecter du bois »). Le robot figé tente de l'exécuter.
L'Essai : Le robot génère quelques tentatives (trajectoires). Certaines sont désordonnées ; d'autres sont bonnes.
Le Feedback : Un humain (ou un système de récompense) examine les tentatives et dit : « Je préfère celle-ci à celle-là ». Il n'a pas besoin d'écrire un manuel parfait ; il doit simplement choisir un gagnant et un perdant.
L'Ajustement : Le système utilise ce feedback « gagnant contre perdant » pour ajuster le cadran caché (l'objectif latent). Il se demande : « Quel tout petit changement au cadran permettrait au robot d'effectuer l'action du 'gagnant' plutôt que celle du 'perdant' ? »
Le Résultat : Le cerveau du robot reste intact, mais le cadran est maintenant réglé sur un « point idéal » qui correspond parfaitement à vos préférences.

Pourquoi C'est Important

L'article a testé cela dans le jeu Minecraft (un jeu complexe en monde ouvert) et sur des bras robotiques. Voici ce qu'ils ont découvert, en termes simples :

C'est un Cadran Magique : En tournant simplement ce cadran caché, le système a amélioré les performances de 72 % à 81 % par rapport à la simple tentative de différentes invites textuelles. Il a surpassé même les meilleures instructions écrites par des humains.
Cela Ne Casse Pas le Robot : Parce que le cerveau du robot (la politique) est figé, il n'oublie pas comment faire d'autres choses. Si vous réglez le cadran sur « collecter du bois », le robot peut toujours « construire une maison » plus tard en simplement tournant le cadran vers le réglage « construire ».
Cela Gère les Surprises : Lorsque l'environnement changeait (par exemple, le monde du jeu avait une apparence différente, ou le robot se trouvait dans une nouvelle pièce), la méthode du « cadran » fonctionnait beaucoup mieux que le ré-entraînement du robot. Elle était plus robuste, comme un conducteur chevronné capable de gérer une nouvelle route sans avoir besoin de réapprendre à conduire.
C'est Économique : Ré-entraîner un cerveau de robot coûte des millions de dollars en puissance de calcul. Ajuster ce seul « cadran » ne nécessite qu'une infime fraction de cette puissance et de ces données.

La Conclusion

Les auteurs appellent cela l'Ajustement de l'Objectif de Préférence (PGT). C'est une façon d'enseigner à une IA pré-entraînée de nouveaux tours sans briser ses anciens. Au lieu de forcer l'IA à mémoriser de nouvelles règles, vous trouvez simplement le « réglage caché » parfait qui débloque le comportement souhaité, tout en gardant l'intelligence de base de l'IA intacte.

Limitations mentionnées dans l'article :

Le robot doit déjà avoir une certaine capacité à accomplir la tâche. Si le robot n'a jamais vu de mouton, tourner le cadran ne le fera pas chasser ; il a juste besoin d'un point de départ.
Vous devez régler un nouveau cadran pour chaque tâche individuelle (un pour le bois, un pour la pierre, etc.), mais c'est en fait une caractéristique car cela maintient les tâches séparées et empêche qu'elles n'interfèrent les unes avec les autres.

1. Énoncé du problème

Les politiques conditionnées par des objectifs (par exemple, les modèles de base pour la robotique ou l'IA incarnée) ont démontré de solides capacités à interpréter les instructions et à exécuter des comportements divers. Cependant, leurs performances en aval sont hautement sensibles aux prompts ou instructions spécifiques utilisés.

Le Dilemme :
- Ingénierie des prompts : S'appuie sur une recherche textuelle discrète et sans dérivée. Elle respecte la politique figée mais échoue souvent à susciter un comportement optimal en raison des limites du langage naturel en tant qu'interface de contrôle.
- Affinage standard (Fine-Tuning) : Met à jour les paramètres de la politique pour les aligner sur les tâches. Bien que efficace, il risque l'oubli catastrophique, le surapprentissage à des distributions de tâches étroites et la destruction des capacités de généralisation étendues acquises lors du pré-entraînement.
Le Vide : Il existe un besoin d'un mécanisme d'adaptation offrant la puissance d'optimisation de l'affinage tout en maintenant la stabilité structurelle et la généralisation d'un modèle de base figé.

2. Méthodologie : Ajustement des objectifs par préférence (PGT)

Les auteurs proposent l'Ajustement des objectifs par préférence (Preference Goal Tuning - PGT), un cadre d'après-entraînement qui reformule l'adaptation comme un problème de contrôle latent. Au lieu de mettre à jour les poids de la politique, le PGT optimise une incorporation d'objectif latent continue ( $g$ ) pour moduler le comportement d'une politique figée.

Formulation de base

Politique figée : Les paramètres de la politique ( $\theta$ ) restent fixes : $\pi(a|s, g; \theta)$ .
Contrôle latent : L'objectif $g \in \mathbb{R}^d$ est traité comme un paramètre apprenable. La politique définit une "variété comportementale" indexée par $g$ .
Objectif : Trouver l'objectif optimal $g^*$ qui induit une distribution de trajectoires alignée sur les préférences de la tâche, en minimisant la divergence par rapport à une distribution cible définie par des préférences humaines ou basées sur la récompense.

Processus algorithmique

Le PGT opère en deux phases principales, souvent itératives :

Génération d'échantillons de préférence :
- Commencer par un prompt initial encodé dans un objectif latent $g$ .
- Collecter des trajectoires ( $\tau$ ) en interagissant avec l'environnement à l'aide de la politique figée et de $g$ .
- Étiqueter les trajectoires comme positives (préférées) ou négatives (non préférées). Les étiquettes peuvent provenir d'annotateurs humains ou de signaux de récompense (par exemple, la récompense cumulative dans Minecraft).
Propagation des préférences comportementales :
- Mettre à jour l'objectif latent $g$ en utilisant un objectif d'apprentissage par préférence (par exemple, DPO - Direct Preference Optimization).
- L'objectif maximise la vraisemblance des trajectoires préférées par rapport à un objectif de référence ( $g_{ref}$ ) tout en supprimant les indésirables.
- Fonction de perte : L'optimisation minimise la négative de la vraisemblance logarithmique des paires de préférences :
  $\mathcal{L}(g, g_{ref}) = \mathbb{E}_{(\tau_w, \tau_l) \sim D} \left[ -\log \sigma \left( \beta \Delta \right) \right]$
  Où $\Delta$ est la différence des rapports de vraisemblance logarithmique entre l'objectif actuel et l'objectif de référence pour les trajectoires gagnantes ( $\tau_w$ ) et perdantes ( $\tau_l$ ).

Insight théorique clé

En restreignant l'optimisation à un vecteur latent de faible dimension plutôt qu'à des millions de paramètres, le PGT impose un fort biais inductif qui favorise la généralisation par rapport à la mémorisation. Il recherche efficacement l'entrée de conditionnement optimale sans altérer les dynamiques physiques sous-jacentes encodées dans la politique.

3. Contributions clés

Paradigme de contrôle latent : Introduit une nouvelle approche d'après-entraînement où l'adaptation est réalisée uniquement par l'optimisation de l'incorporation d'objectif latent, maintenant la politique de base figée. Cela découple l'alignement des tâches des dynamiques physiques.
Optimisation basée sur les préférences : Adapte l'apprentissage par préférence (spécifiquement DPO et ses variantes) à l'espace des objectifs latents, permettant un alignement efficace avec les préférences de tâches en utilisant des données minimales.
Robustesse face aux données hors distribution (OOD) : Démontre que l'isolement de l'adaptation des tâches dans l'objectif latent empêche l'oubli catastrophique et maintient la généralisation hors distribution (OOD), que l'affinage standard dégrade souvent.
Capacité d'apprentissage continu : Montre que le PGT permet un apprentissage continu évolutif en stockant un vecteur latent compact par tâche, évitant les interférences de tâches sans mécanismes complexes de replay ou de régularisation.

4. Résultats expérimentaux

Le cadre a été évalué sur le benchmark Minecraft SkillForge (17 tâches) utilisant deux politiques de base (GROOT et STEVE-1) et sur le benchmark de manipulation robotique LIBERO-goal.

Gains de performance :
- Le PGT a réalisé des améliorations relatives moyennes de 72,0 % (GROOT) et 81,6 % (STEVE-1) par rapport aux politiques pré-entraînées sur des tâches en distribution.
- Il a systématiquement surpassé les prompts conçus par des experts et les bases de référence d'ingénierie de prompts standard.
Généralisation hors distribution (OOD) :
- Dans des configurations OOD (graines changées, biomes, configurations d'outils), le PGT a amélioré les performances de 73,8 % et 36,9 % respectivement.
- Crucialement, le PGT a surpassé l'affinage complet de 13,4 % dans les configurations OOD. L'affinage complet a amélioré les performances en distribution mais a souvent dégradé la généralisation en raison du surapprentissage.
Efficacité des paramètres :
- Le PGT n'optimise que 512 paramètres (le vecteur d'objectif latent), tandis que l'affinage complet implique environ 100 millions de paramètres.
- Il a surpassé d'autres méthodes d'affinage efficace des paramètres (PEFT) comme LoRA, BitFit et VeRA dans les scénarios OOD.
Apprentissage continu :
- Dans l'acquisition séquentielle de tâches, le PGT a évité tout oubli catastrophique, tandis que des bases de référence comme l'apprentissage continu naïf (NCL) et la consolidation pondérale élastique (EWC) ont subi des baisses de performance significatives sur les tâches antérieures.
Validité inter-domaines :
- Les expériences sur la politique OpenVLA pour la manipulation robotique (LIBERO-goal) ont confirmé que le PGT est un mécanisme d'après-entraînement général applicable au-delà de Minecraft, améliorant les taux de réussite dans les domaines de contrôle continu.

5. Signification et impact

Préservation des capacités de base : Le PGT offre une manière "non destructive" d'adapter les grands modèles. Il permet au modèle d'apprendre de nouvelles tâches sans effacer les connaissances larges et compositionnelles acquises lors du pré-entraînement.
Efficacité des échantillons : En optimisant un vecteur de faible dimension, le PGT nécessite considérablement moins de données et de calcul que l'affinage complet, le rendant hautement pratique pour un déploiement réel.
Adaptation évolutive : La capacité de stocker un seul vecteur latent compact par tâche suggère une voie viable pour des agents multi-tâches évolutifs qui ne souffrent pas d'interférences ni du besoin de tampons de replay massifs.
Sécurité et contrôle : Le cadre fournit une interface continue et différentiable pour la modulation du comportement, comblant le fossé entre les prompts textuels discrets et le contrôle continu requis pour les tâches physiques complexes.

En conclusion, l'Ajustement des objectifs par préférence représente un changement significatif dans la manière dont les modèles de base sont adaptés, passant de la modification des poids à la navigation dans l'espace latent, réalisant ainsi une robustesse, une généralisation et une efficacité supérieures dans la prise de décision conditionnée par des objectifs.