Résumé technique : Sur la convergence de l'auto-amélioration de l'alignement des LLM en ligne

Énoncé du problème

L'article traite des limitations théoriques de SAIL (Self-Improving Alignment), un algorithme conçu pour aligner les grands modèles de langage (LLM) avec les préférences humaines via l'apprentissage par renforcement à partir de rétroactions humaines (RLHF) en ligne. Bien que SAIL réduise avec succès la formulation bilatérale complexe du RLHF en ligne (couplant l'apprentissage de la récompense et la mise à jour de la politique) en un substitut de niveau unique plus efficace sur le plan computationnel, il manque de garanties formelles de convergence.

Le défi théorique central identifié est que la fonction d'objectif standard de SAIL n'est pas garantie d'être fortement concave. En raison de propriétés défavorables de sa matrice Hessienne, l'objectif peut perdre sa définition positive lorsque les paramètres de la politique s'écartent de l'initialisation. Cette instabilité géométrique empêche l'établissement de garanties de convergence globale et rend le paysage d'optimisation sensible aux décalages de distribution induits par la collecte de données itérative.

Méthodologie

Pour résoudre l'absence de concavité forte globale, les auteurs proposent un algorithme modifié, SAIL-RevKL, qui introduit une pénalité de divergence de Kullback-Leibler inverse (RevKL) dans la fonction d'objectif.

1. Formulation du problème

L'objectif standard de SAIL $J(\theta)$ est dérivé d'un problème bilatéral où la récompense est ajustée à partir de préférences générées par la politique actuelle $\pi_\theta$, et la politique est mise à jour pour maximiser la récompense attendue avec un terme de régularisation KL. La solution en forme fermée mène à un objectif de niveau unique :
$$J(\theta) = \mathbb{E}_{x, y_w, y_l} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{SFT}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{SFT}(y_l|x)} \right) \right]$$

2. Régularisation proposée

Les auteurs définissent un objectif régularisé $J_\gamma(\theta)$ :
$$J_\gamma(\theta) = J(\theta) - \gamma \mathbb{E}_x \left[ D_{KL}(\pi_{ref}(\cdot|x) \parallel \pi_\theta(\cdot|x)) \right]$$
où $\gamma > 0$ est un poids de régularisation et $\pi_{ref}$ est une politique de référence fixe (par exemple, la politique SFT initiale).

3. Algorithme d'optimisation

Les auteurs emploient un schéma de Ascension Stochastique du Gradient Projeté (Algorithme 1). Les paramètres sont contraints à un ensemble borné $\Theta = \{ \theta : \|\theta - \theta_0\|_2 \leq B_\theta \}$ pour garantir la validité des hypothèses théoriques. À chaque étape, l'algorithme calcule le gradient de la perte régularisée et projette les paramètres mis à jour sur l'ensemble admissible.

Contributions clés

1. Analyse géométrique de SAIL

L'article fournit une analyse rigoureuse de la Hessienne de l'objectif SAIL non régularisé. En décomposant la Hessienne négative $-\nabla^2 J(\theta)$ en quatre termes (Courbure du Score, Terme croisé, Fisher-Hessian et Courbure Sigmoïde), les auteurs prouvent que :

• L'objectif satisfait la condition de Polyak-Łojasiewicz (PL) (et est fortement concave) uniquement dans un voisinage local de l'initialisation $\theta_0$.
• Le rayon de cette région de sécurité est contraint par l'hyperparamètre $\beta$ et la norme des caractéristiques. En dehors de cette région, la contribution négative du terme Fisher-Hessian peut dominer, provoquant la perte de la concavité forte.

2. Garanties théoriques pour SAIL-RevKL

La contribution théorique centrale est la preuve que la régularisation RevKL restaure la concavité forte globale (et donc la condition PL) sur l'ensemble de l'ensemble borné $\Theta$.

• Mécanisme : La Hessienne de la pénalité RevKL est exactement la matrice d'information de Fisher. En ajoutant ce terme avec un poids $\gamma$ suffisamment élevé, les auteurs contrecarrent la courbure négative de l'objectif original, garantissant que $-\nabla^2 J_\gamma(\theta) \succeq \mu I$ pour tout $\theta \in \Theta$.
• Convergence : En exploitant la géométrie PL, l'article établit une convergence non asymptotique globale pour l'ascension stochastique du gradient projeté.
  • Complexité d'échantillonnage : L'algorithme atteint une complexité d'échantillonnage de $\tilde{O}(\epsilon^{-1} \log(\epsilon^{-1}))$ pour atteindre une précision $\epsilon$. Il s'agit d'une amélioration significative par rapport à la complexité $\tilde{O}(\epsilon^{-3})$ typique des cadres de RLHF bilatéraux généraux.

3. Analyse de la sous-optimalité de bout en bout

Les auteurs analysent le compromis introduit par la régularisation. Ils prouvent que la distance entre l'optimiseur de l'objectif régularisé ($\theta^*_\gamma$) et le véritable optimiseur de l'objectif original ($\theta^*$) est bornée. Cela démontre que la régularisation introduit un biais mathématiquement borné, ce qui est préférable à l'erreur structurelle non quantifiable consistant à restreindre l'optimisation à une petite région locale sans régularisation.

Résultats expérimentaux

L'article valide les affirmations théoriques par des évaluations empiriques sur des benchmarks de contrôle continu et des tâches d'alignement de LLM.

• Contrôle continu (MuJoCo) : Sur des tâches telles que Door Open, Walker Walk et Cheetah Run, SAIL-RevKL a démontré une stabilité d'apprentissage et une performance finale supérieures par rapport au SAIL non régularisé et à la base de référence PEBBLE. L'analyse de la taille d'effet (Cohen's $d$) a confirmé la signification pratique de ces améliorations.
• Alignement de LLM :
  • PKU-SafeRLHF & UltraFeedback : Les expériences sur les architectures Qwen (0.5B), Phi-3 (3.8B) et LLaMA-3 (8B) ont montré que SAIL-RevKL surpasse systématiquement DPO et le vanilla SAIL en termes de taux de victoire par paires et de différences de score GPT.
  • Expériences Last-Layer-Only (LLO) : Pour correspondre strictement à l'hypothèse de politique log-linéaire, les auteurs ont mené des expériences où seule la dernière couche linéaire était entraînée. Les résultats confirment que SAIL-RevKL améliore les taux de victoire par rapport au vanilla SAIL à travers différentes tailles de modèles et différents poids de régularisation ($\gamma$), fournissant une preuve empirique directe pour le régime théorique.

Signification et revendications

L'article affirme fournir les premières garanties de convergence formelles pour le substitut de niveau unique de l'algorithme SAIL. Sa signification réside dans :

1. Identification de la cause profonde : Identifier la courbure défavorable de la Hessienne comme l'obstacle à la convergence globale dans le SAIL en ligne.
2. Remède théorique : Démontrer qu'une simple pénalité de KL inverse transforme le problème en un problème d'optimisation du premier ordre bien conditionné satisfaisant la condition PL globalement.
3. Efficacité : Établir une complexité d'échantillonnage quasi-linéaire ($\tilde{O}(\epsilon^{-1} \log \epsilon^{-1})$), qui est théoriquement supérieure aux méthodes de RLHF bilatéral existantes.
4. Orientation pratique : Offrir une justification théorique concrète pour l'utilisation des poids de régularisation et fournir des preuves empiriques que ces avantages théoriques se traduisent par une meilleure stabilité et performance tant dans le contrôle continu que dans les tâches d'alignement de LLM.

Les auteurs concluent que SAIL-RevKL offre une approche robuste et théoriquement fondée pour l'alignement des LLM en ligne, qui atténue les problèmes de décalage de distribution tout en assurant des propriétés de convergence globale.