Résumé technique : Quand les gains en distribution échouent : Évaluation des modèles de récompense faibles-vers-forts sous décalage de préférence

1. Définition du problème

L'article comble une lacune critique dans la généralisation faibles-vers-forts (W2S) pour la surveillance évolutive. Alors que les cadres W2S visent à entraîner un modèle étudiant plus fort à l'aide d'étiquettes provenant d'un enseignant plus faible afin de faire émerger des capacités dépassant les performances propres de l'enseignant, les évaluations existantes reposent généralement sur des distributions d'entraînement et de test appariées.

Les auteurs soutiennent que cette configuration surestime la fiabilité de l'alignement dans le déploiement réel. Plus précisément, ils étudient l'apprentissage de préférence W2S sous décalage de distribution en zéro-shot. Le problème central est que les étudiants forts entraînés sur des étiquettes de préférence faibles issues d'un domaine source semblent souvent performants en distribution (ID), mais échouent à transférer leur comportement d'alignement appris vers des domaines cibles invisibles (hors distribution, OOD).

L'article identifie un mode d'échec spécifique : l'échec représentationnel. Le fine-tuning faiblement supervisé peut tirer les représentations internes du modèle fort vers des artefacts spécifiques au domaine source plutôt que de maintenir des représentations de préférence largement transférables. Par conséquent, le modèle s'adapte aux données sources mais perd sa généralisabilité.

2. Méthodologie : Ancrage représentationnel (ANCHOR)

Pour atténuer la dérive représentationnelle, les auteurs proposent l'Ancrage Représentationnel (ANCHOR), une technique de régularisation conçue pour contraindre le modèle étudiant pendant le fine-tuning faiblement supervisé.

Mécanisme central

ANCHOR enrichit l'objectif standard d'apprentissage de préférence faibles-vers-forts avec un régularisateur qui maintient les états cachés de l'étudiant proches de ceux d'un modèle de référence préentraîné figé (initialisé à partir du même point de contrôle que l'étudiant avant le fine-tuning).

L'objectif d'entraînement combine deux termes :

1. Perte de préférence faible ($L_{w2s}$) : La perte Bradley-Terry standard où l'étudiant fort apprend à correspondre aux probabilités de préférence douces ($q_i$) générées par l'enseignant faible.
2. Perte d'ancrage ($L_{anchor}$) : Une erreur quadratique moyenne (MSE) masquée entre les états cachés de l'étudiant entraînable et du modèle de référence figé. Cette perte est appliquée uniquement aux tokens de réponse, en excluant les tokens d'invite et de remplissage.

La perte totale pour un échantillon $i$ est :
$$L(i) = L_{w2s}(i) + \lambda L_{anchor}(i)$$
où $\lambda$ contrôle l'intensité de la préservation représentationnelle.

Variantes

Les auteurs évaluent deux variantes basées sur les couches ancrées :

• ANCHOR dernière couche (Par défaut) : Applique la perte à la dernière couche du transformeur. Cela est efficace sur le plan computationnel et régularise directement la représentation utilisée par la tête de récompense.
• ANCHOR couche intermédiaire : Applique la perte aux couches intermédiaires (par exemple, 50 % et 75 % des couches) pour préserver les caractéristiques générales tout en permettant plus de flexibilité aux couches finales.

3. Protocole d'évaluation et métriques

L'article introduit un protocole d'évaluation de décalage de domaine de préférence en zéro-shot. Au lieu de séparations de test standard retenues, les modèles sont entraînés sur un jeu de données (domaine source) et évalués sur :

• En distribution (ID) : Séparation de test retenue du même jeu de données source.
• Hors distribution (OOD) : Séparations de test issues de différents jeux de données au sein de la même catégorie large de préférence (par exemple, entraînement sur HelpSteer3, test sur Anthropic Helpful ou UltraFeedback).

Pour quantifier les performances, les auteurs proposent trois métriques conscientes du transfert :

1. Gain brut faibles-vers-forts (WRG) : Mesure l'amélioration ID par rapport à l'enseignant faible ($Acc_{student} - Acc_{teacher}$ sur la source).
2. Gain OOD absolu (AOG) : Mesure le transfert vers un domaine cible ($Acc_{student} - Acc_{teacher}$ sur la cible).
3. Score de transfert net (NTS) : Une métrique composite qui pénalise la régression dans le domaine source.
   $$NTS = AOG - \max(0, Acc_{teacher}^{ID} - Acc_{student}^{ID})$$
   Cela garantit que les gains dans les domaines OOD ne sont pas obtenus au détriment de la fiabilité dans le domaine source.

4. Résultats clés

Les expériences ont été menées sur deux catégories de préférence (Helpful et Harmless) et deux familles de modèles (Llama et Qwen), en utilisant des jeux de données tels que HelpSteer3, Anthropic Helpful/Harmless, UltraFeedback, PKU-SafeRLHF et RAIL.

• Le succès ID masque l'échec OOD : Les méthodes de base (W2S naïf et W2S basé sur la confiance) atteignent souvent de fortes performances ID (WRG élevé) mais présentent des baisses de performance significatives ou un transfert négatif dans des configurations OOD. Par exemple, un modèle naïf entraîné sur HelpSteer3 a montré une baisse de précision de 20 points lors de l'évaluation sur Anthropic Helpful.
• Compromis SEAM : La base SEAM a montré un compromis net, atteignant des gains OOD compétitifs mais souvent au prix d'une dégradation sévère de l'ID (WRG négatif).
• Performance ANCHOR : ANCHOR a systématiquement obtenu les résultats les plus équilibrés. Il a maintenu des performances ID compétitives tout en améliorant significativement le transfert OOD.
  • Dans le cadre Llama/Helpful, ANCHOR a amélioré l'AOG sur Anthropic Helpful de 0,60 (Naïf) à 4,41.
  • Il a obtenu les scores de transfert net les plus élevés dans la plupart des configurations, démontrant qu'il préserve efficacement la fiabilité du domaine source tout en permettant une généralisation inter-domaines.
• Résultats d'ablation :
  • Force d'ancrage ($\lambda$) : Une force d'ancrage modérée (par exemple, $\lambda = 10^{-4}$) a fourni le meilleur équilibre. Des contraintes plus fortes ont entravé l'adaptation au signal faible, tandis que des contraintes plus faibles n'ont pas réussi à empêcher la dérive.
  • Choix de la couche : L'ANCHOR dernière couche a généralement offert un meilleur équilibre global que l'ANCHOR couche intermédiaire, suggérant que la régularisation de la représentation finale est suffisante et plus efficace pour cette tâche.

5. Signification et revendications

L'article revendique trois contributions principales :

1. Protocole d'évaluation : Il établit un protocole rigoureux de décalage de domaine de préférence en zéro-shot, arguant que la précision ID seule est insuffisante pour évaluer les modèles de récompense W2S.
2. Preuve empirique : Il démontre que les méthodes W2S actuelles sont fragiles sous décalage de distribution, révélant que les gains en distribution peuvent surestimer la fiabilité de l'alignement.
3. Méthode robuste : Il introduit ANCHOR, une méthode de régularisation simple qui limite efficacement la dérive représentationnelle. Les auteurs affirment que cela offre une voie pratique vers un transfert de préférence plus robuste sans modifier l'architecture au moment de l'inférence.

Les auteurs concluent que l'alignement W2S robuste doit être évalué non seulement par la capacité des modèles forts à apprendre de la supervision faible, mais aussi par la fiabilité de la fonction de récompense apprise au-delà du domaine d'entraînement spécifique.

6. Limites

Les auteurs reconnaissent plusieurs limites :

• Métriques de proxy hors ligne : L'évaluation repose sur la précision appariée hors ligne, qui peut ne pas capturer pleinement les nuances du déploiement en aval (par exemple, sélection best-of-n, RLHF en ligne ou qualité de génération ouverte).
• Coût computationnel : Bien que l'inférence reste standard, l'entraînement nécessite un passage avant supplémentaire à travers le modèle de référence figé, augmentant les exigences en VRAM et en temps.
• Portée : Les expériences sont limitées à des domaines spécifiques d'aide et d'innocuité et à des échelles de modèles ; une évaluation plus large sur des domaines de tâches divers et des familles de modèles plus grandes est nécessaire.