Robust Preference Alignment via Directional Neighborhood Consensus

1. Problématique : Le fossé de couverture des préférences

L'article identifie un défi fondamental dans l'alignement des grands modèles de langage (LLM) avec les préférences humaines : le fossé de couverture des préférences (preference coverage gap).

• Contexte : Les préférences humaines peuvent être modélisées comme des vecteurs dans un espace multidimensionnel (par exemple, un compromis entre l'utilité et la verbosité). L'espace des préférences potentielles est vaste et diversifié.
• Le problème : Les données d'entraînement sont souvent concentrées sur des préférences dominantes ou moyennes. Par conséquent, les modèles alignés (via RLHF, DPO, SFT, etc.) fonctionnent bien sur des requêtes courantes mais deviennent fragiles (brittle) face à des préférences individuelles, nuancées ou hors distribution (OOD - Out-of-Distribution).
• Conséquence : Lorsqu'un utilisateur demande un résultat correspondant à une préférence située en dehors de la région centrale des données d'entraînement, la performance du modèle se dégrade de manière imprévisible, compromettant la fiabilité du système. Les méthodes existantes pour combler ce fossé nécessitent souvent un réentraînement coûteux qui ne garantit pas une généralisation à l'ensemble du spectre des préférences.

2. Méthodologie : Sélection Robuste des Préférences (RPS)

Pour résoudre ce problème sans réentraînement, les auteurs proposent RPS (Robust Preference Selection), une méthode d'ajustement post-hoc (après l'entraînement) basée sur le consensus de voisinage directionnel.

Principes clés de l'algorithme :

Au lieu de forcer le modèle à générer une réponse directement à partir d'une direction de préférence cible spécifique (qui peut être hors distribution), RPS adopte une approche en trois phases :

1. Construction du Voisinage : Au lieu d'utiliser uniquement le vecteur de préférence cible $v_{target}$, l'algorithme échantillonne $k$ vecteurs de préférence candidats ($v_1, ..., v_k$) dans un voisinage local autour de $v_{target}$, défini par un seuil d'angle $\theta_{max}$. Ces directions sont supposées être plus proches de la distribution d'entraînement et donc mieux maîtrisées par le modèle.
2. Génération Multi-Directionnelle : Le modèle de langage génère une réponse distincte $y_i$ pour chacun des $k$ vecteurs de préférence du voisinage. Cela crée un portefeuille diversifié de réponses candidates, chacune optimisée pour une direction où le modèle est plus robuste.
3. Sélection par Consensus : Toutes les $k$ réponses candidates sont évaluées par rapport à la préférence originale de l'utilisateur ($v_{target}$) en utilisant un modèle de récompense. La réponse qui maximise le score projeté $v_{target}^T r(x, y)$ est sélectionnée comme réponse finale.

Fondement Théorique :

Les auteurs établissent un cadre théorique prouvant que cette stratégie est supérieure à une base forte (qui échantillonne $k$ fois directement depuis la direction cible).

• Hypothèse 1 (Dégradation OOD) : Pour une préférence hors distribution, la qualité attendue des réponses générées depuis des directions voisines (plus proches de la distribution d'entraînement) est supérieure à celle générée directement depuis la direction cible.
• Hypothèse 2 (Cohérence Locale) : Les scores de récompense changent de manière lisse pour de petits changements angulaires. Ainsi, une réponse générée pour un voisin $v_i$ reste de haute qualité lorsqu'elle est évaluée selon $v_{target}$.
• Théorème 1 : Sous ces hypothèses, l'espérance du meilleur score obtenu par RPS est strictement supérieure à celle d'une stratégie de base échantillonnant uniquement la direction cible. Le "gain de robustesse" augmente avec la taille du voisinage $k$ et l'écart de qualité entre les distributions.

3. Contributions Clés

1. Définition formelle du problème : Identification et formalisation du "fossé de couverture des préférences" comme un défi critique de généralisation hors distribution (OOD) pour les LLM alignés.
2. Proposition de RPS : Introduction d'une méthode d'alignement robuste, sans réentraînement (training-free), qui exploite le consensus de voisinage pour améliorer la fiabilité à l'inférence.
3. Justification théorique : Démonstration mathématique que la stratégie de génération de voisinage surpasse les méthodes de rééchantillonnage direct, sous des conditions de régularité locales.
4. Validation empirique extensive : Tests rigoureux sur trois paradigmes d'alignement distincts (DPA, DPO, SFT) et trois jeux de données (UltraFeedback, HelpSteer, HelpSteer2).

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles variés (Mistral-7B, Zephyr-7B) et des préférences allant de 10° à 45° par rapport à la distribution d'entraînement.

• Performance globale : RPS surpasse systématiquement la base forte (Single-Direction Baseline) avec des taux de victoire (win rates) allant de 52 % à 69 % selon le modèle et le jeu de données.
• Robustesse aux préférences OOD : L'avantage de RPS s'amplifie à mesure que la préférence cible s'éloigne de la distribution d'entraînement. Par exemple, sur le modèle DPA avec le jeu de données HelpSteer2, le taux de victoire atteint 69,1 % à 45°, contre une dégradation significative de la base.
• Impact selon le paradigme :
  • Les modèles SFT (Supervised Fine-Tuning) bénéficient le plus de RPS (jusqu'à +17,3 % d'amélioration), car ils manquent de conditionnement explicite aux préférences.
  • Les modèles DPO montrent des gains plus modestes mais constants, suggérant une robustesse intrinsèque plus élevée.
• Évaluation humaine et LLM : Les résultats sont corroborés par des évaluations humaines (Amazon Mechanical Turk) et un second juge LLM (Claude Sonnet 4.5), confirmant que RPS produit des réponses plus nuancées et mieux alignées.
• Efficacité computationnelle : RPS ne nécessite aucun réentraînement et n'ajoute qu'une surcharge négligeable à l'inférence (même budget de calcul que la base : génération de $k=5$ candidats). Les mesures de VRAM et de latence sont identiques entre RPS et la base.

5. Signification et Impact

Ce travail propose une solution pratique et théoriquement fondée pour améliorer la fiabilité des systèmes d'IA alignés.

• Changement de paradigme : Il déplace l'attention des interventions coûteuses à l'entraînement vers des stratégies d'inférence robustes basées sur le consensus.
• Accessibilité : En étant une méthode post-hoc et sans réentraînement, RPS est applicable à n'importe quel modèle aligné existant, offrant une voie rapide pour améliorer la gestion des cas limites et des préférences individuelles.
• Futur : L'article ouvre la voie à des recherches sur l'adaptation de la taille du voisinage en fonction de la dimensionnalité de l'espace des préférences pour des scénarios multi-attributs complexes.

En résumé, RPS démontre que l'on peut compenser les lacunes de couverture des données d'entraînement en exploitant la richesse des régions voisines de l'espace des préférences, rendant les LLM plus adaptables et dignes de confiance face à la diversité des besoins humains.