🤖 machine learning

The Differences Between Direct Alignment Algorithms are a Blur

Ce papier démontre que l'objectif de classement (par paires ou ponctuel) est le déterminant principal de la qualité de l'alignement dans les algorithmes d'alignement direct, surpassant le score scalaire spécifique optimisé ou la configuration de la phase d'entraînement, lorsqu'ils sont évalués dans un cadre unifié qui standardise les phases de SFT et les hyperparamètres.

Auteurs originaux : Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daniil Gavrilov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent mais légèrement rebelle (un Modèle de Langage à Grande Échelle) comment être utile et suivre les instructions. Pendant longtemps, la méthode standard pour y parvenir ressemblait à une danse en trois étapes : d'abord, lui enseigner les bases ; ensuite, engager un juge humain pour noter ses réponses ; et enfin, utiliser un système de récompense complexe pour l'entraîner à obtenir des scores plus élevés.

Récemment, des chercheurs ont inventé les « Algorithmes d'Alignement Direct » (DAAs). Ce sont des raccourcis qui évitent le juge humain et le système de récompense complexe, tentant d'enseigner directement au robot en utilisant une seule formule mathématique. Le problème ? Tout le monde s'est mis à inventer sa propre formule unique, affirmant que la sienne était la « meilleure », mais personne ne pouvait s'accorder sur pourquoi l'une fonctionnait mieux que l'autre. C'était comme si tout le monde affirmait que sa marque spécifique de peinture était la meilleure, sans réaliser qu'ils peignaient tous sur des murs différents.

Cet article est comme une histoire de détective qui clarifie enfin la confusion. Voici ce que les auteurs ont découvert, expliqué simplement :

1. L'expérience de l'« Atelier Unifié »

Les auteurs ont réalisé que tous ces algorithmes différents étaient testés dans des « ateliers » (configurations d'entraînement) différents. Certains commençaient avec un robot qui avait déjà appris les bases (SFT), tandis que d'autres tentaient d'enseigner les bases et l'alignement en même temps.

Pour faire une comparaison équitable, ils ont construit un Atelier Unifié. Ils ont contraint chaque algorithme à :

D'abord, apprendre les bases dans une classe séparée (SFT).
Ensuite, suivre le cours d'alignement.
Utiliser un « bouton de température » commun (appelé $\beta$ ) pour contrôler la rigueur de l'entraînement.

Le Résultat : Une fois qu'ils ont placé tout le monde dans le même atelier, les différences entre les formules mathématiques spécifiques (les « scalaires ») ont majoritairement disparu. Il s'est avéré que l'astuce mathématique spécifique utilisée par un algorithme importait moins que la manière dont il comparait les réponses.

2. Le Vrai Héros : « Par Paires » vs « Par Point »

L'article a découvert que le facteur le plus important n'est pas la formule mathématique spécifique, mais la stratégie utilisée pour comparer les réponses. Ils ont identifié deux stratégies principales :

La Stratégie « Par Point » (Le Solo) : Imaginez un enseignant notant la copie d'un élève en la regardant seule. « Cette copie est-elle bonne ? Oui/Non. » Ensuite, il regarde une mauvaise copie. « Est-elle mauvaise ? Oui/Non. » Il les note indépendamment.
La Stratégie « Par Paires » (Le Débat) : Imaginez un enseignant regardant une bonne copie et une mauvaise copie côte à côte. « D'accord, étant donné ces deux-là, laquelle est meilleure ? » Il se concentre entièrement sur la différence entre les deux.

La Découverte : La stratégie Par Paires (le débat) a constamment gagné. C'était comme un entraîneur qui se concentre sur la comparaison des joueurs entre eux plutôt que sur leur jugement isolé. La stratégie « Par Point » s'est souvent perdue dans les particularités spécifiques des questions (prompts), gaspillant de l'énergie à essayer de réparer des choses qui n'avaient pas besoin de l'être.

3. Pourquoi cela arrive-t-il ? L'analogie du « Biais »

Les auteurs expliquent cela par une analogie ingénieuse concernant le biais et l'énergie mentale.

Imaginez que le robot dispose d'une quantité limitée d'« énergie mentale » (capacité) pour apprendre.

Le Problème du « Par Point » : Lorsque le robot regarde une seule réponse isolément, il essaie de tout réparer. Si une question a un biais étrange (comme une question piège), le robot dépense toute son énergie à essayer de « désapprendre » ce piège. Il est si occupé à réparer le piège qu'il oublie d'apprendre comment résoudre réellement les problèmes difficiles.
L'Avantage du « Par Paires » : Lorsque le robot compare deux réponses côte à côte, il ignore les pièges étranges de la question. Il se soucie uniquement de ceci : « La réponse A est-elle meilleure que la réponse B ? » Il ne gaspille pas d'énergie à essayer de corriger le biais de la question ; il se concentre simplement sur le classement.

Le Point Doux :

Tâches Faciles : Si la tâche est super facile, le robot a beaucoup d'énergie. Les deux stratégies fonctionnent bien.
Tâches Difficiles : Si la tâche est super difficile, le robot est si submergé qu'aucune stratégie ne fonctionne bien.
Difficulté Moyenne : C'est là que la magie opère. Le robot a assez d'énergie pour apprendre, mais pas assez pour corriger chaque biais individuel. La stratégie Par Paires gagne ici car elle économise son énergie pour les parties difficiles, tandis que la stratégie « Par Point » gaspille son énergie sur les biais.

4. La Surprise de l'« Efficacité des Données »

Une autre découverte intéressante est que vous n'avez pas besoin d'une immense bibliothèque de données pour enseigner à ces robots. Les auteurs ont découvert que l'utilisation de seulement 5 % à 10 % des données d'entraînement habituelles suffisait pour que les robots atteignent 95 % de leur performance potentielle. C'est comme réaliser que vous n'avez pas besoin de lire toute l'encyclopédie pour apprendre à écrire une bonne histoire ; quelques chapitres clés suffisent.

Résumé

L'article conclut que le « meilleur » algorithme n'est pas une marque spécifique de formule mathématique. Au contraire, le gagnant est l'approche Par Paires (comparer les réponses côte à côte) car elle est plus intelligente dans la façon dont elle utilise le cerveau limité du robot. Elle évite de se laisser distraire par les particularités des questions individuelles, lui permettant de se concentrer sur ce qui compte vraiment : savoir quelle réponse est meilleure que l'autre.

Les auteurs mettent en garde contre le fait que les affirmations précédentes selon lesquelles un algorithme était « supérieur » étaient souvent dues au simple fait qu'ils étaient testés dans des conditions différentes ou sur des tâches où la différence n'avait pas d'importance. Une fois que vous égalisez les conditions de jeu, la stratégie Par Paires est le champion clair.

Résumé technique : Les différences entre les algorithmes d'alignement direct sont floues

Énoncé du problème

Les algorithmes d'alignement direct (DAAs) sont apparus comme une alternative rationalisée à l'apprentissage par renforcement à partir de retours humains (RLHF), contournant la modélisation explicite des récompenses et les étapes d'apprentissage par renforcement pour optimiser directement les politiques des modèles de langage. Malgré une prolifération de méthodes — allant du paradigme en deux étapes de l'optimisation directe des préférences (DPO) aux approches en une étape basées sur le rapport de cotes, comme l'optimisation des préférences par rapport de cotes (ORPO) et l'ajustement fin supervisé aligné (ASFT) — la littérature reste fragmentée.

Le problème central abordé est la difficulté à isoler quelles décisions de conception spécifiques entraînent réellement des améliorations de la qualité de l'alignement. Les comparaisons existantes sont souvent faussées par des protocoles d'entraînement différents (par exemple, pipelines en une étape versus deux étapes), la présence ou l'absence d'une politique de référence, et des espaces d'hyperparamètres variables (spécifiquement le paramètre $\beta$ ). Par conséquent, les affirmations de supériorité algorithmique sont souvent fondées sur des différences marginales qui peuvent provenir d'artefacts de configuration plutôt que d'avantages algorithmiques fondamentaux.

Méthodologie

Pour démêler ces facteurs, les auteurs proposent un cadre d'entraînement unifié qui place tous les DAAs sur un pied d'égalité. Ce cadre implique deux modifications critiques des méthodes existantes :

Normalisation vers un pipeline en deux étapes : Les auteurs convertissent les méthodes originellement en une étape (ORPO, ASFT) en un pipeline en deux étapes. Cela implique une phase explicite d'ajustement fin supervisé (SFT) pour obtenir une politique ( $\pi_{SFT}$ ), suivie d'une phase d'optimisation des préférences hors ligne. Cela isole la perte d'alignement de la perte SFT, permettant une comparaison contrôlée des objectifs d'alignement eux-mêmes.
Introduction du paramètre $\beta$ : Les auteurs introduisent un paramètre de température/échelle $\beta$ dans les méthodes en une étape basées sur le rapport de cotes (ORPO, ASFT), qui en sont traditionnellement dépourvues. Cela place toutes les méthodes (y compris DPO, IPO, SimPO, etc.) dans un espace d'hyperparamètres commun, permettant une analyse systématique de la sensibilité.

Dans ce cadre unifié, les auteurs analysent les DAAs selon deux axes principaux :

Famille de scores scalaires : Le choix de la fonction de score sous-jacente, spécifiquement le rapport politique-référence ( $r^{ref}_\theta$ ) utilisé dans DPO par rapport au rapport de cotes ( $r^{odds}_\theta$ ) utilisé dans ORPO/ASFT.
Objectif de classement : La formulation structurelle de la perte, distinguant les objectifs par paires (qui optimisent l'écart relatif entre les réponses choisies et rejetées, par exemple DPO, IPO, SimPO, ORPO) et les objectifs ponctuels (qui optimisent la vraisemblance absolue des réponses choisies et rejetées indépendamment, par exemple ASFT, NCA, Cal-DPO, APO-Zero).

L'évaluation couvre des tâches de suivi d'instructions (AlpacaEval 2, ArenaHard) et des benchmarks de raisonnement mathématique (GSM8K, MATH500, etc.) à travers plusieurs échelles de modèles (Llama 3.2 3B, Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B/14B).

Contributions clés

Protocole unifié pour les DAAs : L'article établit que la conversion des méthodes en une étape en un pipeline en deux étapes avec une phase SFT explicite et l'introduction du paramètre $\beta$ sont essentielles pour maximiser les performances, même pour les objectifs basés sur le rapport de cotes.
L'objectif de classement comme moteur principal : Sous le protocole unifié, les auteurs constatent que les avantages précédemment signalés de DAAs spécifiques disparaissent largement après le réglage des hyperparamètres. Le déterminant principal de la qualité de l'alignement est le type de classement (par paires versus ponctuel), et non le choix de la paramétrisation du score (rapport politique-référence versus rapport de cotes). Les méthodes par paires surpassent constamment les méthodes ponctuelles, en particulier aux difficultés de tâches intermédiaires et aux échelles de modèles intermédiaires.
Mécanisme des écarts de performance : L'article fournit des preuves que les écarts de performance résultent de l'interaction entre la fonction objectif et les biais spécifiques aux prompts.
- Les objectifs par paires sont structurellement invariants aux décalages uniformes des scores pour un prompt donné ; ils se concentrent uniquement sur le classement relatif.
- Les objectifs ponctuels génèrent des signaux de gradient qui incitent le modèle à ajuster les niveaux de scores absolus (le score marginalisé) pour chaque prompt. Dans des régimes à capacité limitée, ce « désapprentissage » du biais spécifique au prompt entre en concurrence avec la tâche principale de classement, conduisant à des performances sous-optimales sur les tâches plus difficiles.
Efficacité des données : L'étude démontre que la plupart des DAAs sont très efficaces en termes de données, nécessitant seulement 5 à 10 % de l'ensemble de données SFT pour atteindre $\ge$ 95 % de leurs performances avec des données complètes.

Résultats

Convergence des performances : Comparés sous le protocole unifié, la plupart des DAAs performe de manière similaire ou inférieure au DPO standard. Les avantages distincts revendiqués dans la littérature antérieure pour des algorithmes spécifiques disparaissent souvent.
Supériorité des méthodes par paires : Sur les benchmarks de suivi d'instructions et de raisonnement mathématique, les méthodes par paires (DPO, IPO, SimPO, ORPO) atteignent constamment des scores de pointe plus élevés que les méthodes ponctuelles (ASFT, NCA, Cal-DPO, APO-Zero). Cette tendance est la plus marquée à l'échelle du modèle 8B sur l'ensemble de données UltraFeedback et dans les tâches de raisonnement mathématique avec Qwen 2.5.
Irrelevance du score scalaire : Le choix entre les rapports politique-référence et les rapports de cotes produit des résultats comparables lorsque l'objectif de classement et le protocole d'entraînement sont contrôlés.
Sensibilité à la difficulté : L'écart de performance entre les méthodes par paires et ponctuelles est négligeable pour les tâches très faciles (où la capacité est suffisante pour gérer à la fois le classement et la suppression des biais) et les tâches très difficiles (où la capacité est insuffisante pour l'un ou l'autre). L'écart émerge principalement à une difficulté intermédiaire, où les méthodes ponctuelles peinent à équilibrer la suppression des biais avec le raffinement du classement.
Impact de $\beta$ : L'introduction du paramètre $\beta$ dans ORPO et ASFT améliore considérablement leur qualité d'alignement, confirmant son rôle en tant que mécanisme d'atténuation efficace.

Importance et affirmations

L'article soutient que le domaine de la recherche sur les DAAs a été entravé par des protocoles d'évaluation fragmentés qui obscurcissent les véritables moteurs de la performance. En unifiant la configuration d'entraînement, les auteurs démontrent que le choix de l'objectif de classement (par paires versus ponctuel) est le facteur structurel dominant influençant la qualité de l'alignement, tandis que les paramétrisations spécifiques des scores jouent un rôle secondaire.

Les auteurs affirment que les affirmations précédentes concernant le « meilleur » DAA reposent souvent sur des détails sous-explorés de la configuration et des biais de données plutôt que sur une supériorité algorithmique fondamentale. Leurs résultats soulignent la nécessité d'évaluations nuancées et contrôlées pour éviter des affirmations simplistes. De plus, l'identification de l'interaction entre les objectifs et les biais spécifiques aux prompts offre une explication mécaniste des différences de performance observées, suggérant que les objectifs par paires sont plus robustes dans les scénarios où la capacité du modèle est contrainte par rapport à la difficulté de la tâche.

L'article conclut que si les DAAs basés sur le rapport de cotes (comme ORPO) peuvent être efficaces, ils bénéficient considérablement des mêmes ajustements structurels (séparation SFT et réglage de $\beta$ ) que les autres méthodes, et leurs performances sont finalement régies par les mêmes dynamiques par paires versus ponctuelles.