Résumé Technique : BOOST – Optimisation Bi-niveau des Trajectoires Synthétiques pour le Fine-Tuning des LLM Multi-tours

Énoncé du Problème

Les modèles de langage larges (LLM) excellent dans la génération en tour unique mais peinent avec les interactions multi-tours à horizon long (par exemple, négociation, dépannage) qui nécessitent une planification sur plusieurs étapes où les actions intermédiaires peuvent ne pas produire de récompenses immédiates. Bien que l'apprentissage par renforcement (RL) hors ligne offre une alternative évolutive au RL en ligne pour le fine-tuning des LLM sur des trajectoires précollectées, il se heurte à un goulot d'étranglement critique : la rareté et la qualité des données de trajectoires multi-tours.

Pour pallier la pénurie de données, les approches récentes augmentent les ensembles d'entraînement avec des trajectoires synthétiques générées par des LLM ou des simulateurs. Cependant, les données synthétiques sont hautement hétérogènes en qualité. Traiter naïvement toutes les trajectoires (réelles et synthétiques) comme également informatives peut dégrader les performances, car les trajectoires synthétiques de faible qualité ou trompeuses peuvent dominer le signal d'apprentissage. Les tentatives antérieures pour atténuer ce problème impliquent un filtrage binaire utilisant des LLM « juges » plus puissants ou des bases de connaissances d'experts, ce qui élimine des signaux potentiellement utiles et nécessite l'accès à des modèles de plus grande capacité. Il existe un besoin d'une méthode capable de réattribuer continuellement des poids aux données synthétiques au niveau de la trajectoire sans dépendre de juges externes, équilibrant efficacement la diversité offerte par les données synthétiques contre le risque de dérive de tâche.

Méthodologie : BOOST

Les auteurs proposent BOOST (Optimisation Bi-niveau des Trajectoires Synthétiques), un cadre qui intègre les données synthétiques dans le fine-tuning par RL multi-tours via un processus d'optimisation bi-niveau.

Cadre Principal

BOOST formule le processus d'apprentissage comme un problème d'optimisation bi-niveau :

1. Niveau Intérieur : Entraîne la politique du LLM ($\pi_\theta$) et les fonctions de valeur Q sur un ensemble de données mixte ($D_{mixed} = D_{real} \cup D_{synthetic}$) en utilisant une fonction de perte pondérée.
2. Niveau Extérieur : Optimise une tête de pondération légère ($w_\phi$) pour attribuer des poids scalaires continus aux trajectoires individuelles. L'objectif du niveau extérieur est de minimiser la perte de la politique résultante sur un ensemble de validation réel retenu ($D_{val}$).

Contrairement aux travaux antérieurs qui pondèrent des sources de données grossières, BOOST opère au niveau de la trajectoire, permettant un contrôle fin sur la qualité des données. La tête de pondération prend une trajectoire en entrée et produit un poids $w_\phi(\tau)$, qui est normalisé via un softmax sur un mini-lot pour moduler la contribution de la trajectoire à la perte d'entraînement.

Procédure d'Entraînement et Stabilité

L'algorithme d'entraînement (Algorithme 1) emploie trois innovations techniques clés pour assurer la stabilité et la convergence :

1. Mises à Jour Alternées Gelées : À chaque itération, seul un groupe de paramètres (politique auxiliaire $\psi$, politique principale $\theta$, ou tête de pondération $\phi$) est mis à jour tandis que les autres sont gelés. Cela empêche les signaux de gradient conflictuels.
2. Initialisation par Démarrage Chaud : La politique principale $\theta$ est réinitialisée à partir de la politique auxiliaire $\psi$ au début de chaque itération extérieure. Puisque $\psi$ suit l'optimum du niveau intérieur, cela fournit un démarrage chaud qui accélère la convergence.
3. Taux d'Apprentissage Asymétriques : Les paramètres de la politique ($\theta, \psi$) utilisent un taux d'apprentissage significativement plus élevé que celui de la tête de pondération ($\phi$). Cela reflète la nature hiérarchique du problème, garantissant que la politique atteint une solution stable avant que les poids ne soient ajustés.

Fondement Théorique

Les auteurs dérivent une borne de temps d'atteinte PAC-Bayésienne pour fonder l'approche. La borne révèle un compromis à trois volets :

• Données Synthétiques : Augmente la diversité et la taille d'échantillon effective mais risque une dérive de tâche (divergence par rapport à la distribution de la tâche cible).
• Focus sur la Haute Qualité : Concentrer le poids sur les trajectoires de haute qualité améliore les performances empiriques mais réduit la taille d'échantillon effective ($n_{eff}$), augmentant la pénalité de complexité.
• Rôle de BOOST : Le cadre vise un « régime intermédiaire utile », attribuant des poids élevés aux trajectoires synthétiques qui s'alignent sur la distribution des données réelles et les objectifs de validation, tout en dépréciant celles qui introduisent du bruit ou une dérive de tâche, tout en préservant une taille d'échantillon effective suffisante pour la généralisation.

Contributions Clés

1. Cadre Bi-niveau pour la Pondération des Trajectoires : Les auteurs introduisent un cadre d'optimisation bi-niveau principé pour la pondération des données synthétiques dans le fine-tuning par RL multi-tours. Ils l'instancient avec une tête de pondération efficace en paramètres entraînée conjointement avec le LLM de base et les fonctions Q via un schéma d'optimisation entièrement du premier ordre.
2. Analyse Théorique : Ils dérivent une borne PAC-Bayésienne sur les performances sous pondération de trajectoires, caractérisant explicitement le compromis entre diversité des données, dérive de tâche et taille d'échantillon effective.
3. Validation Empirique : La méthode est validée sur trois benchmarks de RL multi-tours (20 Questions, Négociation avec un Concessionnaire Automobile, et WebShop) en utilisant deux algorithmes de RL (Retour Monte Carlo et ILQL).

Résultats

Les expériences démontrent que BOOST surpasse systématiquement plusieurs lignes de base, notamment l'utilisation uniforme des données, l'augmentation synthétique naïve, et la pondération bi-niveau appliquée uniquement aux données réelles.

• Gains de Performance : BOOST affiche les gains les plus importants dans les régimes à faible données. Par exemple, dans la tâche des 20 Questions dans le cadre du Retour Monte Carlo, BOOST a amélioré les performances de 242,6 % par rapport à la meilleure ligne de base vanilla (3,46 contre 1,01). Dans la Négociation avec un Concessionnaire Automobile, l'amélioration est de 31,7 % (40,92 contre 31,08).
• Utilité des Données Synthétiques : L'ajout naïf de données synthétiques nuit souvent aux performances (par exemple, dans les configurations ILQL, l'augmentation synthétique non pondérée a sous-performé l'entraînement vanilla dans 4 cas sur 6). BOOST a exploité avec succès les données synthétiques en augmentant le poids uniquement des trajectoires alignées sur la distribution des données réelles.
• Analyse des Poids :
  • Les poids appris sont non uniformes et varient selon le point.
  • Les points synthétiques à poids élevé sont ceux les plus proches de la distribution des données hors ligne dans l'espace d'incorporation (corrélation négative entre le poids et la distance aux voisins hors ligne les plus proches).
  • Crucialement, BOOST récupère des signaux latents à partir de points hors ligne qui étaient précédemment sous-évalués. Dans l'environnement du Concessionnaire Automobile, 36,2 % des points hors ligne ayant reçu un faible poids sous un objectif hors ligne uniquement ont été promus à un poids élevé lorsque les données synthétiques ont été introduites, suggérant une relation synergique entre les sources de données.

Importance et Revendications

L'article revendique que BOOST établit une voie pratique vers l'adaptation efficace en données des LLM multi-tours. En apprenant des poids au niveau de la trajectoire sans juges externes, la méthode gère le compromis entre la diversité fournie par les données synthétiques et le risque de dérive de tâche.

Les auteurs soulignent que leur approche :

• Ne nécessite pas l'accès à un modèle « juge » de plus grande capacité.
• Opère à un niveau de trajectoire fin plutôt qu'à celui de sources de données grossières.
• Récupère efficacement des signaux utiles à la fois des données synthétiques de haute qualité et des données hors ligne précédemment sous-évaluées.

L'article conclut par une limitation modeste : la pondération actuelle opère au niveau de la trajectoire. Les travaux futurs pourraient explorer une pondération par pas de temps plus fine pour récupérer des signaux utiles à partir de trajectoires partiellement bonnes.