Résumé technique : Ancrage géométrique pour l'alignement robuste des préférences (GAPO)

1. Énoncé du problème

L'alignement des grands modèles de langage (LLM) via l'optimisation des préférences (par exemple, DPO, SimPO) repose généralement sur la maximisation de la marge entre les réponses préférées ($y_w$) et non préférées ($y_l$). Bien que efficace, la perte basée sur la marge standard traite toutes les paires de préférences de manière égale en fonction de leur taille de marge actuelle. Cette approche échoue à distinguer entre :

1. Exemples difficiles informatifs : Paires avec de faibles marges qui nécessitent véritablement un apprentissage.
2. Paires fragiles : Paires avec de faibles marges causées par des étiquettes bruitées, des biais de longueur ou des corrélations fallacieuses.

Les méthodes actuelles produisent souvent de grandes mises à jour pour les deux types, risquant de surajuster à une supervision corrompue ou d'induire une « dérive de récompense ». Le problème central est l'absence d'un diagnostic local pour tester si un signal de préférence est suffisamment stable pour mériter une mise à jour forte avant de l'appliquer.

2. Méthodologie : Optimisation des préférences par ancrage géométrique (GAPO)

GAPO introduit un objectif conscient de la géométrie qui effectue un test de stress local conditionné par le lot pour chaque paire de préférences. Au lieu de juger les paires uniquement sur leur marge actuelle, GAPO évalue leur stabilité sous une perturbation pessimiste partagée.

2.1 L'ancrage géométrique

Pour chaque mini-lot $B$, GAPO construit un « ancrage pessimiste » $\tilde{\theta}$ en perturbant la politique actuelle $\theta$ dans la direction qui diminue le plus rapidement la marge de préférence moyenne du lot.

• Soit $M_i(\theta)$ la marge de préférence pour l'instance $i$.
• La marge moyenne du lot est $\bar{M}_B(\theta) = \frac{1}{|B|} \sum_{j \in B} M_j(\theta)$.
• La direction de perturbation est le gradient négatif normalisé de la marge moyenne du lot :
  $$\epsilon^*_B = -\rho \frac{\nabla_\theta \bar{M}_B(\theta)}{\|\nabla_\theta \bar{M}_B(\theta)\|_2}$$
• L'ancrage est défini comme $\tilde{\theta} = \theta + \epsilon^*_B$, où $\rho$ est un petit rayon de perturbation. Crucialement, $\tilde{\theta}$ est traité comme une référence figée (stop-gradient) pour le calcul de la perte subséquent.

2.2 L'écart d'ancrage

GAPO définit l'Écart d'ancrage ($\Gamma_i$) comme la dégradation de la marge d'une paire spécifique sous cette perturbation adversaire partagée :
$$\Gamma_i(\theta) = M_i(\theta) - \text{sg}(M_i(\tilde{\theta}))$$
où $\text{sg}(\cdot)$ désigne l'opérateur stop-gradient.

• Grand $\Gamma_i$ : Indique que la marge de la paire s'effondre sous le test de stress conditionné par le lot, signalant une fragilité locale (probablement du bruit ou une corrélation fallacieuse).
• Petit $\Gamma_i$ : Indique que la paire reste stable, suggérant un signal de préférence robuste.

2.3 Fonction objectif et repondération

L'objectif GAPO est une perte logistique sur l'écart d'ancrage :
$$\mathcal{L}_{\text{GAPO}}(\theta) = -\frac{1}{N} \sum_{i=1}^N \log \sigma(\beta \Gamma_i(\theta) - \gamma)$$
où $\gamma$ est une marge cible.

Interprétation de l'optimisation :
La différenciation de cette perte révèle que GAPO préserve la direction standard du gradient de préférence ($\nabla_\theta M_i(\theta)$) mais la met à l'échelle par un poids spécifique à l'instance $w_i(\theta)$ :
$$\nabla_\theta \mathcal{L}_{\text{GAPO}} = -\mathbb{E} [ w_i(\theta) \cdot \nabla_\theta M_i(\theta) ]$$
où $w_i(\theta) = \beta \sigma(\gamma - \beta \Gamma_i(\theta))$.

• Les paires avec de grands écarts d'ancrage (fragiles) reçoivent des poids plus faibles.
• Les paires avec de petits écarts d'ancrage (stables) conservent des poids plus élevés.

GAPO ne filtre pas les données ni ne modélise explicitement le bruit ; il agit comme un mécanisme de repondération conscient du risque qui atténue les gradients fragiles tout en préservant la direction des gradients robustes.

3. Analyse théorique

L'article fournit une caractérisation théorique locale de l'écart d'ancrage sous des hypothèses de régularité. L'écart d'ancrage se décompose en trois composantes :

1. Magnitude du gradient : La norme du gradient de l'instance.
2. Alignement de direction du lot : L'alignement entre le gradient de l'instance et la direction partagée du gradient moyen du lot ($\alpha_{i,B}$).
3. Courbure directionnelle : La courbure du second ordre de la marge de l'instance le long de la direction du lot.

Cette décomposition prouve que GAPO n'est pas réductible à un simple repondération par norme de gradient. Le terme d'alignement de direction du lot garantit que la méthode cible spécifiquement les paires qui sont instables par rapport à la trajectoire d'optimisation du lot actuel.

4. Résultats expérimentaux

GAPO a été évalué sur quatre familles de modèles à poids ouverts (Mistral-7B, Llama-3-8B, Gemma-2-9B) sur des benchmarks de suivi d'instructions et de raisonnement.

4.1 Performance d'alignement et de raisonnement

• Suivi d'instructions : GAPO correspond systématiquement ou dépasse les bases solides (DPO, SimPO, ORPO, $\alpha$-DPO) sur AlpacaEval 2.0 et Arena-Hard. Par exemple, sur Mistral-7B, GAPO a atteint un taux de victoire de 38,7 % sur Arena-Hard, surpassant SimPO (34,8 %) et DPO (24,9 %).
• Préservation du raisonnement : Contrairement à certaines méthodes d'optimisation des préférences qui souffrent d'une « taxe d'alignement » (dégradation du raisonnement), GAPO maintient ou améliore les scores de raisonnement sur GSM8k et ARC-C tout en améliorant l'alignement.

4.2 Robustesse à une supervision bruitée

GAPO a été testé sous des inversions d'étiquettes aléatoires et un bruit structuré dépendant de la longueur (où les réponses plus courtes sont incorrectement préférées).

• Performance : GAPO a surpassé les bases dédiées à la robustesse au bruit (par exemple, Dr. DPO, r-DPO) à divers taux de bruit sans modéliser explicitement la distribution du bruit.
• Mécanisme : Dans des settings bruités contrôlés, les paires avec des étiquettes inversées ont développé des écarts d'ancrage significativement plus grands et ont été moins pondérées plus lourdement. À la fin de la première époque, les paires inversées ont reçu des poids environ 16,9 % plus faibles que les paires propres. Les 20 % inférieurs des poids (les plus atténués) contenaient un taux d'inversion de 30,1 %, contre 16,9 % dans les 20 % supérieurs.

4.3 Études d'ablation

• Norme de gradient vs Écart d'ancrage : Une base utilisant uniquement le repondération par norme de gradient (GradNorm-Reweight) s'est améliorée par rapport à SimPO mais n'a pas réussi à égaler GAPO, confirmant que l'alignement de direction du lot et la courbure sont des composantes essentielles.
• Comparaison avec SAM : La comparaison de GAPO à SimPO avec minimisation sensible à la netteté (SAM) a montré que le repondération spécifique à l'instance de GAPO offre des compromis alignement-raisonnement supérieurs par rapport à la recherche uniforme de platitude au niveau de l'optimiseur.
• Coût computationnel : GAPO entraîne une surcharge de temps réel d'environ 2x par étape due au calcul du gradient d'ancrage. Cependant, une comparaison appariée en temps réel a montré qu'une époque de GAPO surpassait deux époques de SimPO, indiquant que les gains ne sont pas simplement dus à une durée d'entraînement prolongée.

5. Signification et revendications

L'article revendique que la dégradation géométrique locale sert de signal utile pour l'optimisation robuste des préférences, offrant un terrain d'entente entre l'ancrage à référence fixe et la modélisation explicite du bruit.

Les contributions clés incluent :

1. Cadre GAPO : Une méthode novatrice construisant un ancrage pessimiste conditionné par le lot pour mesurer la dégradation locale de la marge.
2. Caractérisation théorique : Une preuve que l'écart d'ancrage agit comme une sonde d'instabilité directionnelle du lot, se décomposant en magnitude du gradient, alignement et courbure.
3. Robustesse empirique : Des preuves que GAPO améliore la robustesse au bruit de préférence aléatoire et structuré en atténuant de manière conservatrice les signaux fragiles, sans avoir besoin d'identifier ou de filtrer explicitement les données corrompues.

Les auteurs soulignent que GAPO est un mécanisme de repondération, et non un filtre de données. Il module continuellement la force des mises à jour en fonction de la stabilité locale, permettant au modèle d'apprendre à partir d'exemples difficiles mais stables tout en supprimant les mises à jour pilotées par du bruit ou des corrélations fallacieuses.