💬 NLP

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

Ce papier présente l'optimisation des préférences de Bregman au niveau des jetons (TBPO), une méthode novatrice qui dérive un modèle de préférence de Bradley-Terry au niveau des jetons à partir de comparaisons standard au niveau des séquences afin d'améliorer la qualité de l'alignement, la stabilité de l'entraînement et la diversité des sorties tout en préservant la simplicité de l'optimisation des préférences directes (DPO).

Auteurs originaux : Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot à écrire une histoire. Vous lui montrez deux versions de la même histoire : l'une est une « gagnante » (bonne, utile, sûre) et l'autre une « perdante » (mauvaise, inutile ou dangereuse). Votre objectif est d'ajuster le robot afin qu'il apprenne à écrire la version « gagnante ».

Pendant longtemps, la méthode standard pour y parvenir (appelée DPO) consistait à noter l'intégralité de l'histoire d'un seul coup. Vous disiez : « Cette histoire entière est excellente, cette autre histoire entière est mauvaise. » Le robot tentait alors d'ajuster son cerveau pour améliorer l'histoire dans son ensemble.

Le Problème :
L'article soutient que c'est un peu comme juger un coureur de marathon uniquement sur son temps d'arrivée, sans examiner sa foulée. Les modèles de langage n'écrivent pas des histoires entières d'un seul coup ; ils écrivent un mot à la fois. Chaque mot qu'ils choisissent est une décision minuscule basée sur ce qui l'a précédé. Si le robot fait une petite erreur sur le tout premier mot, toute l'histoire peut dérailler, même si la note « histoire entière » finit par s'améliorer.

Les méthodes « au niveau des jetons » (token-level) existantes ont tenté de résoudre ce problème en décomposant l'histoire, mais elles se contentaient essentiellement de répartir la note « histoire entière » sur les mots, plutôt que d'enseigner au robot comment faire le bon choix à chaque étape individuelle.

La Solution : TokenRatio (TBPO)
Les auteurs proposent une nouvelle méthode appelée Token-level Bregman Preference Optimization (TBPO). Voici comment ils l'expliquent à l'aide d'analogies simples :

1. L'analogie du « GPS Tour par Tour »

Imaginez que vous conduisez de New York à Los Angeles.

Ancienne méthode (au niveau de la séquence) : Vous regardez la destination finale. Si vous arrivez à Los Angeles, vous obtenez une étoile dorée. Si vous finissez au Canada, vous obtenez un feu rouge. Vous essayez d'ajuster votre conduite pour obtenir cette étoile dorée, mais vous ne savez pas exactement quel virage constituait l'erreur.
Méthode TBPO (au niveau du jeton) : Cette méthode agit comme un GPS qui vous donne un score tour par tour. À chaque intersection (chaque mot), elle demande : « Avez-vous pris la route qui mène à la bonne histoire, ou à la mauvaise ? » Elle enseigne au robot de faire le choix parfait à chaque étape individuelle, et non pas simplement d'espérer que le résultat final soit bon.

2. Le problème des « Deux Routes Différentes »

Voici la partie délicate que l'article résout. Lorsqu'on compare une histoire « gagnante » et une histoire « perdante », elles ont souvent des apparences très différentes très tôt.

Le Scénario : Imaginez que l'histoire gagnante commence par « Le chat s'assit... » et que l'histoire perdante commence par « Le chien courut... ».
Le Problème : Si vous comparez simplement le mot suivant, vous ne comparez pas seulement le mot ; vous comparez deux points de départ complètement différents. C'est comme comparer un coureur qui a commencé au sommet d'une colline à un autre qui a commencé au bas. Celui qui est en haut a un avantage injuste.
La Correction : L'article introduit un « facteur de correction » (appelé baseline).
- TBPO-Q : Cette version construit un petit « calculateur » léger qui estime à quel point le point de départ (le préfixe) était « bon ». Il soustrait cet avantage afin que vous ne jugiez que le mot suivant, et non toute l'histoire.
- TBPO-A : Cette version effectue le même calcul mais utilise une astuce différente (appelée « normalisation de l'avantage ») pour annuler les différences de point de départ sans avoir besoin d'un calculateur séparé.

3. La Magie du « Ratio de Densité »

L'article utilise un concept mathématique sophistiqué appelé Appariement des Ratios de Densité (utilisant spécifiquement une divergence appelée Divergence de Bregman).

Analogie Simple : Imaginez que vous avez un sac de billes rouges (mots bons) et de billes bleues (mauvais mots). Vous voulez enseigner au robot à choisir les billes rouges.
Au lieu de simplement les compter, la méthode de l'article examine le ratio de billes rouges par rapport aux billes bleues dans les histoires « bonnes » par rapport aux histoires « mauvaises ». Elle tente de faire en sorte que le ratio interne du robot corresponde parfaitement au ratio « bon ».
En procédant ainsi au niveau du mot, le robot apprend une « politique » (un ensemble de règles) qui est optimale à chaque instant, et non pas seulement pour le résultat final.

Que Ont-ils Découvert ?

Les auteurs ont testé cette nouvelle méthode sur deux modèles d'IA populaires (Mistral et Llama 3) à travers de nombreuses tâches différentes :

Raisonnement Plus Intelligent : Les modèles se sont améliorés en mathématiques et en énigmes logiques (comme GSM8K et MMLU).
Meilleure Alignement : Ils sont devenus plus utiles et moins susceptibles de dire des choses nuisibles.
Plus de Variété : Un problème courant dans l'entraînement des IA est que les modèles deviennent ennuyeux et répétitifs (comme un disque rayé). TBPO a maintenu la diversité et la créativité des modèles, tandis que d'autres méthodes les rendaient plus robotiques.
Efficacité : Ils ont obtenu ces résultats sans avoir besoin de boucles complexes et coûteuses d'apprentissage par renforcement. C'était une amélioration « plug-and-play » par rapport aux méthodes standard.

En Résumé :
L'article dit : « Arrêtez de noter tout le devoir d'un seul coup. Enseignez à l'IA à faire le bon choix pour chaque mot, tout en corrigeant le fait que certaines histoires commencent avec un avantage. » Le résultat est une IA plus intelligente, plus utile et moins répétitive.

Résumé Technique : TokenRatio (TBPO)

1. Énoncé du Problème

L'Optimisation de Préférence Directe (DPO) est devenue une norme pour aligner les Modèles de Langage à Grande Échelle (LLM) sur les préférences humaines, en évitant la complexité de l'Apprentissage par Renforcement (RL). Cependant, un décalage fondamental existe : les LLM génèrent du texte de manière autoregressive (prenant des décisions par token conditionnées à un préfixe), tandis que la DPO et ses variantes modélisent généralement les préférences sur des séquences entières comme des objets indivisibles.

Les extensions « au niveau du token » existantes (par exemple, TDPO, TIS-DPO) tentent de résoudre ce problème en décomposant un objectif de Bradley–Terry au niveau de la séquence sur les pas de temps. L'article soutient que ces méthodes optimisent fondamentalement un modèle au niveau de la séquence, laissant l'optimalité par préfixe (au niveau de l'état) implicite. Cela conduit à une attribution de crédit sous-optimale, où de petites erreurs sur les premiers tokens peuvent s'accumuler, et le modèle n'est pas explicitement entraîné à faire des compromis optimaux locaux à chaque étape de génération. Le problème central réside dans la manière de retrouver l'optimalité de préférence au niveau du token en utilisant uniquement des données de comparaison par paires au niveau de la séquence standards, sans sacrifier la simplicité et l'efficacité qui rendent la DPO attrayante.

2. Méthodologie : Optimisation de Préférence Bregman au Niveau du Token (TBPO)

Les auteurs proposent l'Optimisation de Préférence Bregman au Niveau du Token (TBPO), un cadre qui modélise explicitement les préférences au niveau du token via l'appariement des rapports de densité, tout en s'appuyant exclusivement sur des données au niveau de la séquence.

2.1. Modèle de Bradley–Terry au Niveau du Token

Au lieu de traiter une réponse complète comme une unité unique, le TBPO postule un modèle de Bradley–Terry au niveau du token. Pour une paire de préférences $(y_w, y_l)$ et un pas de temps $t$ spécifique, le modèle compare le token suivant $y^w_t$ issu du préfixe gagnant $s^w_t = [x, y^w_{<t}]$ avec le token suivant $y^l_t$ issu du préfixe perdant $s^l_t = [x, y^l_{<t}]$ .

La probabilité de préférence est définie comme suit :
$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$
où $S(s, a)$ est une fonction de score au niveau du token et $\sigma$ est la fonction sigmoïde.

2.2. Deux Instantiations

Le cadre produit deux variantes basées sur le choix de la fonction de score $S$ :

TBPO-Q : Utilise la fonction de valeur état-action de la politique de référence $Q^{\pi_{ref}}$ comme score. Cela traite l'étiquette de préférence comme une comparaison bruitée des utilités de regard à un pas.
TBPO-A : Utilise la fonction d'avantage de la politique de référence $A^{\pi_{ref}}$ comme score. Cela encourage la politique à augmenter l'écart d'avantage entre les extensions gagnantes et perdantes à chaque état.

2.3. Appariement des Rapports de Densité et Poids par État

Une insight théorique critique est que la comparaison d'actions à travers différents préfixes (états) nécessite un terme de correction. Les auteurs dérivent une égalité reliant la politique optimale $\pi^*_\theta$ à la politique de référence $\pi_{ref}$ , qui inclut un poids par état $w_t$ :
$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$

Dans TBPO-Q, $w_t$ est le rapport des fonctions de partition (valeurs douces) des deux préfixes.
Dans TBPO-A, $w_t$ est la différence des lignes de base de divergence KL entre les deux préfixes.

Pour rendre cela traitable, les auteurs proposent des estimateurs pratiques :

TBPO-Q : Apprend une tête de ligne de base MLP légère pour prédire la fonction de log-partition, en bloquant les gradients vers l'épine dorsale principale du LLM.
TBPO-A : Estime la différence de divergence KL en utilisant un estimateur de Monte Carlo sans biais (estimateur K3) basé sur la politique actuelle et la politique de référence.

2.4. Objectif d'Optimisation

Le cadre formule l'optimisation de préférence comme un problème d'appariement de rapports de densité par divergence Bregman. En minimisant la divergence Bregman entre le rapport de données empirique et le rapport du modèle au niveau du token, la méthode dérive une fonction de perte traitable. Cela généralise la perte logistique/DPO tout en préservant la politique optimale induite par le modèle au niveau du token. La fonction de perte est moyennée sur les pas de temps de la séquence plus courte d'une paire.

3. Contributions Clés

Cadre : Introduction du TBPO, le premier cadre à modéliser explicitement les préférences au niveau du token via l'appariement des rapports de densité en utilisant uniquement des données de comparaison au niveau de la séquence.
Théorie : Une dérivation rigoureuse montrant que la minimisation de l'objectif TBPO retrouve une politique optimale au niveau du token sous une capacité de modèle suffisante. Les auteurs prouvent que le minimiseur correspond à la politique optimale désirée définie par le modèle de Bradley–Terry au niveau du token.
Variantes : La proposition de deux instantiations spécifiques (TBPO-Q et TBPO-A) qui traitent différemment les termes de correction dépendants de l'état (via des lignes de base apprises vs normalisation d'avantage).
Flexibilité : La formulation permet une famille de pertes de préférence par paires « plug-and-play » en variant la fonction génératrice de Bregman (par exemple, en utilisant la divergence de puissance de Basu mise à l'échelle pour une flexibilité de réglage).

4. Résultats Empiriques

Les auteurs ont évalué le TBPO sur Mistral 7B v0.1 et Llama 3 8B à travers plusieurs benchmarks :

Capacités Générales : Sur le Open LLM Leaderboard (ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K), les variantes TBPO ont systématiquement surpassé des bases solides (SFT, DPO, TDPO, TIS-DPO, BPO).
- TBPO-Q a obtenu le score moyen le plus élevé sur Mistral 7B (60,95) et TBPO-A sur Llama 3 8B (70,50).
- Des gains notables ont été observés dans les tâches axées sur le raisonnement (par exemple, GSM8K, MMLU).
Qualité de Génération (MT-Bench) : TBPO a obtenu des taux de victoire par paires plus élevés contre les bases antérieures avec de faibles taux de perte, tel qu'évalué par des juges LLM (Llama 3 70B et Mixtral-8x22B).
Utilité et Innocuité : Sur le jeu de données Anthropic HH-RLHF, les variantes TBPO ont obtenu les taux de victoire les plus élevés contrôlés par la longueur (LC) tout en produisant des réponses plus courtes que les concurrents. Cela suggère que les améliorations ne sont pas motivées par la verbosité mais par un véritable alignement de qualité.
Diversité : Contrairement à certaines méthodes au niveau du token qui réduisent la diversité (Self-BLEU élevé, entropie faible), TBPO a atteint un meilleur compromis, maintenant une entropie prédictive élevée et des scores Distinct-1 tout en gardant le Self-BLEU faible.

5. Signification et Revendications

L'article revendique que le TBPO comble le fossé entre la nature autoregressive de la génération de langage et l'optimisation de préférence au niveau de la séquence. En imposant explicitement l'optimalité au niveau du token, TBPO évite les problèmes d'attribution de crédit indirects des méthodes au niveau de la séquence.

Les auteurs soulignent que leur approche :

Retrouve l'Optimalité au Niveau du Token : Elle fournit une garantie théorique que la politique apprise est optimale à chaque état (préfixe), et non pas seulement en moyenne sur les séquences.
Maintient la Simplicité : Elle conserve la simplicité « de type DPO » ne nécessitant pas de modèle de récompense explicite ou de RL sur la politique, tout en n'ajoutant qu'un composant d'estimation de ligne de base léger.
Améliore la Stabilité et la Diversité : Les résultats empiriques suggèrent que TBPO offre une meilleure stabilité d'entraînement et préserve mieux la diversité des sorties que les bases existantes au niveau du token.

Ce travail est présenté comme une contribution méthodologique à la conception de systèmes d'apprentissage automatique plus fiables et mieux compris pour l'alignement, sans revendiquer de déploiement immédiat dans des domaines à haut risque spécifiques.