🤖 AI

Autoregressive Direct Preference Optimization

Cet article propose l'Autoregressive Direct Preference Optimization (ADPO), une nouvelle variante qui reformule l'objectif DPO en appliquant explicitement des hypothèses autorégressives avant le modèle de Bradley-Terry, ce qui entraîne une fonction de perte décalée et l'identification de mesures distinctes de la longueur des jetons et du feedback pour une optimisation des préférences améliorée.

Auteurs originaux : Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Apprendre à un robot à mieux écrire

Imaginez que vous enseignez à un robot à écrire des histoires. Vous avez un livre « Standard d'Or » (le modèle de référence) et un robot « Étudiant » (le modèle apprenant). Vous voulez que l'Étudiant écrive des histoires que les humains préfèrent par rapport aux histoires du Standard d'Or.

Pendant longtemps, la meilleure façon de faire cela était le DPO (Direct Preference Optimization). Considérez le DPO comme un professeur qui lit l'histoire entière écrite par l'étudiant, la compare à l'histoire du Standard d'Or, et donne une seule note : « Bon » ou « Mauvais ».

Le Problème :
L'article soutient que ce système de notation « tout ou rien » est un peu inefficace. Les grands modèles de langage (LLM) n'écrivent pas des histoires en un seul bond géant ; ils écrivent mot par mot (ou jeton par jeton), comme une personne qui tape une phrase. Cependant, l'ancienne méthode DPO attend la toute fin pour donner un retour. C'est comme un entraîneur qui attendrait la fin d'un marathon pour dire à un coureur : « Tu as bien couru », sans jamais corriger sa forme pendant qu'il courait.

La Solution : L'ADPO (DPO Autorégressif)

Les auteurs proposent une nouvelle méthode appelée ADPO. Au lieu d'attendre que l'histoire soit terminée pour donner une note, l'ADPO donne un retour étape par étape pendant que l'histoire est en train d'être écrite.

L'analogie du « Film vs la Photo »

Ancien DPO (La Photo) : Imaginez prendre une photo d'une peinture terminée. Vous regardez l'image entière et vous dites : « Ceci est meilleur que cela. » Vous ne savez pas quels coups de pinceau l'ont rendu meilleur.
Nouvel ADPO (Le Film) : Imaginez regarder l'artiste peindre le tableau en temps réel. L'ADPO regarde le premier coup de pinceau, puis le deuxième, puis le troisième. Il demande : « Ce coup de pinceau spécifique était-il bon ? Le suivant était-il meilleur ? » Il apprend à préférer le processus d'écriture, et pas seulement le résultat final.

Les deux règles de « Longueur »

L'une des découvertes les plus intéressantes de l'article est qu'il existe en réalité deux façons différentes de mesurer la longueur lorsque l'on enseigne à ces modèles, et l'ancienne méthode les confondait.

Longueur en jetons (Le nombre de mots) : C'est le nombre de mots que le modèle tape réellement. (ex : « Le chat est assis » = 4 mots).
Longueur de feedback (Les unités de notation) : C'est le nombre de blocs que l'enseignant décide de noter à la fois.

L'Ancienne Façon : Le professeur notait toujours l'histoire entière comme un seul bloc (Longueur de Feedback = 1), quel que soit le nombre de mots présents.
La Nouvelle Façon (ADPO) : Le professeur peut choisir de noter l'histoire en blocs. Il peut noter chaque mot (Longueur de Feedback = Nombre de mots), ou chaque 10 mots, ou chaque paragraphe.

L'article montre qu'en découpant l'histoire en plus petits blocs (en faisant correspondre la « Longueur de Feedback » à la « Longueur de Jetons »), le modèle apprend plus vite et écrit mieux.

Comment ça marche (Les « Maths » simplifiées)

Dans l'ancienne méthode, les maths ressemblaient à ceci :

Prendre toute l'histoire, calculer la différence, puis appliquer une « sigmoïde » (une fonction de lissage) pour obtenir un score.

Dans la nouvelle méthode ADPO, les maths inversent l'ordre :

Calculer la différence pour chaque étape, appliquer la « sigmoïde » à chaque étape, et ensuite les additionner toutes.

L'Analogie :

Ancienne Façon : Vous mélangez tous les ingrédients pour un gâteau, vous le faites cuire, vous goûtez le gâteau entier, et ensuite vous décidez si vous avez besoin de plus de sucre. (Trop tard pour corriger la pâte).
Nouvelle Façon : Vous goûtez la pâte après avoir ajouté la farine, puis après avoir ajouté les œufs, puis après avoir ajouté le sucre. Vous ajustez la recette au fur et à mesure.

Les Résultats : Est-ce que ça marche ?

Les auteurs ont testé cette nouvelle méthode sur deux types de tâches :

Problèmes de Mathématiques : Ils ont demandé aux modèles de résoudre des problèmes mathématiques complexes.
Conversations : Ils ont demandé aux modèles de discuter avec des humains.

Les Constats :

Meilleures Notes : Dans presque tous les tests, les modèles entraînés avec ADPO ont obtenu des scores plus élevés que ceux entraînés avec l'ancienne méthode DPO.
Plus c'est fin, mieux c'est : Les modèles ont obtenu les meilleures performances lorsque la « Longueur de Feedback » était très petite (en vérifiant chaque mot). Cela prouve que les modèles bénéficient d'un feedback constant et granulaire.
Pas de coût supplémentaire : Même si vérifier chaque mot semble demander plus de temps, les auteurs ont constaté que le temps supplémentaire requis était négligeable (moins de 6 % plus lent).

Résumé

L'article présente l'ADPO, une manière plus intelligente d'entraîner les modèles d'IA. Au lieu d'attendre que l'IA termine une tâche pour lui donner une note, l'ADPO donne un retour à chaque étape du processus. En traitant l'écriture de l'IA comme une séquence de petites étapes plutôt que comme un seul gros bloc, les modèles apprennent à faire de meilleurs choix tout au long du processus de génération, ce qui se traduit par un raisonnement mathématique plus performant et de meilleures conversations.

Résumé Technique : Optimisation Directe des Préférences Autorégressive (ADPO)

Énoncé du Problème

L'Optimisation Directe des Préférences (DPO) est devenue une méthode standard pour aligner les Grands Modèles de Langage (LLM) avec les préférences humaines en dérivant analytiquement la politique optimale à partir du modèle de Bradley-Terry (BT), éliminant ainsi le besoin d'une modélisation explicite de la récompense. Cependant, les auteurs identifient une limite théorique dans la formulation standard de DPO : bien que les LLM soient intrinsèquement autoregressifs (générant des jetons séquentiellement), l'objectif standard de DPO applique le modèle BT au niveau des réponses complètes après avoir supposé la nature autoregressive de la politique.

Plus précisément, la DPO standard dérive la fonction d'objectif en utilisant le modèle BT sur l'espace de sortie $\mathcal{Y}$ , et ne développe ensuite les log-probabilités en une somme de termes au niveau des jetons que par la suite. Cela résulte en une fonction de perte où la sommation des log-rapports de jetons se produit à l'intérieur de la fonction log-sigmoïde. Les auteurs soutiennent que cet ordonnancement ne parvient pas à exploiter pleinement l'hypothèse autoregressive lors de la dérivation du modèle de préférence, ce qui pourrait limiter la granularité et la cohérence théorique de l'optimisation.

Méthodologie : Optimisation Directe des Préférences Autoregressive (ADPO)

Le papier propose l'ADPO (Autoregressive DPO), une nouvelle variante qui incorpore explicitement l'hypothèse autoregressive avant d'appliquer le modèle de Bradley-Terry.

Formulation Théorique

Clôture de Préfixe et Fonctions d'Énergie : L'ADPO étend le domaine de la fonction de récompense de l'espace de sortie complet $\mathcal{Y}$ à sa clôture de préfixe $\mathcal{Y}^*$ (l'ensemble de toutes les réponses incomplètes). Il définit des fonctions d'énergie "par préfixe" $E^*_1$ et $E^*_2$ sur ces préfixes.
Modèle de Bradley-Terry par Préfixe : Au lieu de modéliser les préférences sur des séquences complètes, l'ADPO définit un modèle BT par préfixe. La probabilité d'une séquence préférée $y_w$ sur une séquence moins préférée $y_l$ est formulée comme le produit des probabilités de préférence à chaque étape de préfixe $i$ .
Dérivation de la Perte : En appliant l'hypothèse autoregressive au modèle de référence $\pi_{ref}$ $π_{r e f}$ et au modèle apprenable $\pi_\theta$ $π_{θ}$ au sein du cadre BT par préfixe, les auteurs dérivent une nouvelle fonction de perte.
- Différence Structurelle Clé : Dans la DPO standard, la perte est $-\log \sigma(\sum_i \Delta_i)$ . Dans l'ADPO, la sommation est déplacée à l'extérieur de la fonction log-sigmoïde :
  $\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$
- Cette formulation traite l'optimisation des préférences comme une série de décisions au niveau du jeton (ou du niveau de sous-séquence) plutôt que comme une décision unique au niveau de la séquence.

Analyse Théorique : Mesures de Longueur

Le papier introduit une distinction théorique entre deux mesures de longueur, qui clarifie la relation entre DPO et ADPO :

Longueur de Jetons ( $\mu$ ) : Le nombre de jetons dans une séquence, inhérent à la nature autoregressive du LLM.
Longueur de Feedback ( $\mu'$ ) : La granularité à laquelle le feedback humain est appliqué.
- La DPO standard correspond au cas spécial où $\mu'(y) = 1$ pour toutes les séquences (le feedback est donné uniquement sur la réponse complète).
- L'ADPO permet à $\mu'$ d'être indépendant de $\mu$ , permettant un entraînement à des granularités arbitraires (par exemple, au niveau du jeton, du niveau de la phrase ou de niveaux à fenêtres fixes).

Les auteurs prouvent que toute fonction de récompense cohérente avec le modèle BT par préfixe peut être reparamétrée par un modèle autoregressif, garantissant que l'ADPO reste théoriquement cohérent avec le problème de maximisation de la récompense sous contrainte de KL.

Contributions Clés

Formulation ADPO : L'introduction de l'ADPO, qui dérive l'objectif d'optimisation des préférences en étendant le domaine d'énergie à la clôture de préfixe $\mathcal{Y}^*$ , intégrant ainsi explicitement l'hypothèse autoregressive dans le modèle BT.
Innovation de la Fonction de Perte : Dérivation d'une fonction de perte où la sommation des log-ratios de jetons est déplacée à l'extérieur de la fonction log-sigmoïde, fournissant un moyen théoriquement cohérent de faciliter un entraînement à plus grande granularité.
Aperçu Théorique sur la Granularité : Identification et distinction entre la mesure de longueur de jetons ( $\mu$ ) et la mesure de longueur de feedback ( $\mu'$ ). Le papier démontre que la DPO est un cas particulier de l'ADPO où $\mu' \equiv 1$ , et que la variation de $\mu'$ permet une famille d'algorithmes allant de l'optimisation de la réponse complète à celle au niveau du jeton.
Complétude de la Reparamétrisation : Preuve que, sous des hypothèses légères, toute fonction de récompense peut être reparamétrée par un modèle autoregressif dans le cadre par préfixe.

Résultats Expérimentaux

Les auteurs ont évalué l'ADPO sur des tâches de raisonnement mathématique et conversationnel à travers plusieurs architectures de LLM (Llama-3, Qwen, Gemma, DeepSeek-Math).

Raisonnement Mathématique (GSM8K, MATH500) :
- Les variantes ADPO ont systématiquement surpassé la DPO standard et la méthode contrastive au niveau du jeton cDPO sur tous les modèles.
- Les meilleurs résultats ont été obtenus avec cADPO (ADPO combiné à l'identification des jetons critiques), avec Qwen-3-8B atteignant 91,74 % de précision sur GSM8K.
- Analyse de la Granularité : Les expériences avec les familles "Statique" (taille de fenêtre fixe $k$ ) et "Adaptative" (nombre fixe de segments $m$ ) ont montré que la granularité fine améliore généralement les performances. Plus précisément, le niveau du jeton ( $k=1$ ) et les réglages adaptatifs à segments élevés ( $m \ge 128$ ) ont donné des résultats supérieurs à la DPO de réponse complète.
Tâches Conversationnelles (AlpacaEval 2, Arena-Hard, MT-Bench) :
- L'ADPO a surpassé la DPO et a obtenu des performances comparables ou supérieures à SimPO sur tous les benchmarks.
- La famille adaptative avec $m=256$ a atteint le taux de victoire contrôlé par la longueur le plus élevé (45,8 %) sur AlpacaEval 2.
Dynamique d'Entraînement : L'analyse des log-probabilités a montré que l'ADPO amplifie plus efficacement la distinction entre les séquences préférées et les séquences moins préférées, particulièrement à mesure que la granularité augmente.
Efficacité : Les calculations supplémentaires par préfixe introduites par l'ADPO ont entraîné un surcoût de calcul négligeable (environ 5,7 % d'augmentation du temps de calcul réel).

Signification et Revendications

Le papier affirme que l'ADPO fournit une extension théoriquement cohérente de la DPO qui s'aligne mieux sur la nature autoregressive des LLM. En déplaçant la sommation à l'extérieur de la fonction log-sigmoïde, l'ADPO permet l'optimisation à des granularités arbitraires sans violer les principes fondamentaux de l'optimisation des préférences.

Les auteurs soulignent que leur travail est le premier à distinguer explicitement entre la mesure de longueur de jetons et la mesure de longueur de feedback, offrant un cadre unifié qui englobe à la fois la DPO (réponse complète) et les approches au niveau du jeton. Les résultats empiriques suggèrent que l'exploitation de cette granularité plus fine conduit à un alignement plus robuste, particulièrement dans les tâches de raisonnement complexes, sans coût de calcul significatif. Le papier conclut en notant que bien que l'ADPO repose sur le cadre original de la contrainte KL, les travaux futurs pourraient explorer la généralisation des métriques de divergence ou l'adaptation des définitions d'énergie pour les modèles non-autoregressifs.