💬 NLP

Self-Distilled Trajectory-Aware Boltzmann Modeling: Bridging the Training-Inference Discrepancy in Diffusion Language Models

Ce papier présente TABOM, un cadre d'entraînement postérieur auto-distillé et conscient des trajectoires qui comble l'écart entre l'entraînement et l'inférence dans les modèles de langage de diffusion en modélisant les préférences de démasquage lors de l'inférence comme une distribution de Boltzmann pour dériver un objectif de classement par paires, améliorant ainsi l'acquisition de connaissances et atténuant l'oubli catastrophique par rapport au fine-tuning standard.

Auteurs originaux : Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kecheng Chen, Ziru Liu, Xijia Tao, Hui Liu, Yibing Liu, Xinyu Fu, Shi Wu, Suiyun Zhang, Dandan Tu, Lingpeng Kong, Rui Liu, Haoliang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le Problème de « l'Artiste Confus »

Imaginez que vous enseigniez à un artiste talentueux (un Modèle de Langage par Diffusion) comment peindre un chef-d'œuvre.

L'Ancienne Méthode (Modèles Autoregressifs) : L'artiste peint une touche de pinceau à la fois, de gauche à droite. Il ne regarde jamais en arrière.
La Nouvelle Méthode (Modèles par Diffusion) : L'artiste commence avec une toile blanche couverte de bruit statique. Il retire lentement le bruit, révélant l'image étape par étape. C'est excellent car il peut observer l'ensemble de l'image d'un coup (conscience globale) et peindre de nombreuses parties simultanément.

Le Problème :
Lorsque nous essayons d'enseigner à cet artiste une nouvelle compétence (comme le codage ou les mathématiques) en utilisant des méthodes standard, nous créons un décalage entre la pratique et la performance.

Pratique (Entraînement) : Nous disons à l'artiste : « Voici une toile en désordre. Choisis n'importe quels trois endroits au hasard et corrige-les tous en même temps. » Nous faisons cela au hasard, sans nous soucier de savoir quels endroits sont faciles ou difficiles.
Performance (Inférence) : Lorsque l'artiste peint réellement une image, il ne travaille pas au hasard. Il suit un chemin intelligent : il corrige d'abord les endroits faciles (où il est sûr à 100 %), et ne s'attaque aux endroits difficiles (où il est incertain) qu'à la toute fin.

Le Résultat : L'artiste se confond. Il a pratiqué la correction d'endroits au hasard, mais il doit performer en corrigeant d'abord les endroits faciles. Cela conduit à une situation où l'artiste oublie soit ses anciennes compétences (Oubli Catastrophique), soit ne s'améliore guère dans la nouvelle compétence.

La Tentative Échouée : « Montre-moi simplement la Réponse »

Les chercheurs ont essayé une correction appelée Auto-distillation. Au lieu d'utiliser une pratique aléatoire, ils ont laissé l'artiste regarder lui-même peindre une image parfaite (une « trajectoire ») et ont essayé de la copier.

L'Analogie : C'est comme montrer à l'artiste une vidéo de sa propre peinture parfaite et dire : « Copie cela. »
Le Problème : Même si l'artiste regarde une vidéo parfaite, s'il est toujours enseigné selon les anciennes règles de « correction d'endroits au hasard », il n'apprend pas la stratégie expliquant pourquoi les endroits faciles ont été corrigés en premier. Il mémorise simplement les pixels. Il s'améliore légèrement, mais il ne comprend toujours pas le rythme « facile-vers-difficile ».

La Solution : TABOM (Le « Coach Intelligent »)

Les auteurs proposent une nouvelle méthode appelée TABOM. Imaginez TABOM comme un coach qui ne se contente pas de montrer la vidéo, mais explique le rythme du processus de peinture.

1. L'Insight « Boltzmann » (La Carte Thermique de la Confiance)

Le papier soutient que la décision de l'artiste concernant quel endroit corriger ensuite n'est pas aléatoire ; elle suit une « carte thermique » spécifique de confiance.

Les endroits faciles (faible incertitude) sont comme des zones fraîches et sûres.
Les endroits difficiles (forte incertitude) sont comme des zones chaudes et dangereuses.
L'artiste gravite naturellement vers les zones fraîches et sûres en premier.

TABOM modélise ce comportement mathématiquement (en utilisant ce qu'on appelle une distribution de Boltzmann). Il traite le « coût » d'une erreur comme de la chaleur. L'objectif est d'enseigner au modèle que les faibles chaleurs (tokens faciles) doivent être choisies en premier.

2. L'Astuce du « Classement par Paires » (Le Jeu « A contre B »)

Calculer la « carte thermique » parfaite pour chaque peinture possible est trop difficile (computationalement impossible). Ainsi, TABOM utilise un raccourci astucieux : le Classement par Paires.

L'Analogie : Au lieu de demander à l'artiste de classer 100 endroits du plus facile au plus difficile, le coach choisit deux endroits : l'endroit A (facile) et l'endroit B (difficile).
La Règle : Le coach dit : « Tu dois être plus certain de l'endroit A que de l'endroit B. »
L'Entraînement : Si l'artiste dit : « Je suis également incertain des deux », le coach inflige une pénalité. Si l'artiste dit : « L'endroit A est facile, l'endroit B est difficile », il reçoit une récompense.

En faisant cela des milliers de fois avec des paires de tokens, l'artiste apprend l'ordre relatif de difficulté sans avoir besoin de calculer les mathématiques globales impossibles. Il apprend le rythme « facile-vers-difficile » naturellement.

Ce qui s'est Passé lors des Expériences

Les chercheurs ont testé cela sur deux tâches difficiles : les Mathématiques et le Codage.

L'Ancienne Méthode (Entraînement Standard) : L'artiste s'est amélioré en Mathématiques/Codage mais a oublié comment écrire de la poésie ou suivre des instructions (Oubli Catastrophique).
La Méthode « Regarde simplement » (Auto-distillation sans TABOM) : L'artiste s'est souvenu de ses anciennes compétences mais ne s'est guère amélioré dans les nouvelles.
La Méthode TABOM : L'artiste s'est nettement amélioré en Mathématiques et en Codage ET a conservé sa capacité à accomplir d'autres tâches. Il n'a rien oublié.

Le « Score de Discrimination de Trajectoire » (TDS) :
Le papier a créé un test pour voir si l'artiste apprenait réellement le rythme.

Les anciens modèles : Lorsqu'on leur demandait de peindre, ils traitaient chaque endroit comme également confus.
Les modèles TABOM : Ils savaient clairement quels endroits étaient faciles et lesquels étaient difficiles, correspondant parfaitement au rythme « facile-vers-difficile ».

Résumé en Une Phrase

TABOM enseigne aux Modèles de Langage par Diffusion d'apprendre de leurs propres tentatives réussies non pas en copiant aveuglément le résultat, mais en leur enseignant le rythme de la confiance : résoudre toujours les parties faciles en premier et réserver les parties difficiles pour la fin, garantissant ainsi qu'ils deviennent plus intelligents sans oublier qui ils sont.

Résumé Technique : Modélisation Boltzmannienne Consciente de la Trajectoire Auto-distillée (TABOM)

1. Énoncé du Problème

Les Modèles de Langage par Diffusion (DLM) offrent des avantages par rapport aux modèles autoregressifs, tels qu'une conscience globale supérieure et une génération de tokens hautement parallèle. Cependant, le post-entraînement des DLM via le Fine-Tuning Supervisé (SFT) standard fait face à une discrepancy critique entre entraînement et inférence :

Entraînement : Le SFT standard utilise un objectif de borne inférieure négative de vraisemblance (NELBO) avec un masquage aléatoire uniforme, exigeant que le modèle reconstruise tous les tokens masqués simultanément en une seule étape. Cela instaure un « biais inductif uniforme », traitant tous les tokens comme également difficiles, indépendamment de leur prédictibilité inhérente.
Inférence : L'inférence DLM suit une trajectoire « facile-dur » guidée par la confiance, en plusieurs étapes. Les tokens sont démasqués de manière itérative, en commençant par ceux ayant la plus faible entropie prédictive (certitude la plus élevée) et en progressant vers les tokens plus incertains.

Le Dilemme :
Les tentatives récentes de combler cet écart en utilisant des trajectoires auto-distillées (où le modèle apprend de ses propres traces de décodage) ont produit des résultats limités.

SFT standard sur Vérité Terrain (SFT-GT) : Améliore les performances en domaine mais provoque un oubli catastrophique sévère des capacités hors distribution (OOD).
SFT standard sur Données Auto-distillées (SFT-SD) : Préserve les capacités OOD (évitant l'oubli) mais ne produit que des gains marginaux en domaine.
L'article postule que, bien que les trajectoires auto-distillées offrent une barrière d'optimisation plus faible, l'application naïve d'objectifs NELBO standards à celles-ci échoue à exploiter l'information structurée « facile-dur » intégrée dans les trajectoires, conduisant à des performances sous-optimales.

2. Méthodologie : TABOM

Les auteurs proposent l'Optimisation Alignée sur la Trajectoire via Modélisation Boltzmannienne (TABOM), un cadre de post-entraînement qui aligne l'objectif d'entraînement avec la dynamique de décodage au moment de l'inférence.

2.1 Fondement Théorique : Distribution Démasquée de Boltzmann

Les auteurs démontrent théoriquement que la distribution démasquée en inférence sous un calendrier de décodage « facile-dur » peut être modélisée comme une distribution de Boltzmann sur l'entropie prédictive idéale des tokens.

Proposition : La probabilité d'un ensemble démasqué $U$ est proportionnelle à $\exp(-\beta \sum_{r \in U} H_{ideal}(x_r))$ , où $H_{ideal}$ est l'entropie prédictive.
Implication : Cette formulation capture explicitement le biais inductif selon lequel le modèle préfère démasquer d'abord les tokens « faciles » (faible entropie). L'objectif est de minimiser la divergence de Kullback-Leibler (KL) entre la distribution prédite par le modèle et cette distribution cible de Boltzmann.

2.2 Surrogé Traitable : Classement par Paires

L'optimisation directe de la divergence KL est intraitable en raison de la nécessité d'un échantillonnage global et du calcul d'une fonction de partition sur tous les états démasqués possibles. TABOM introduit un objectif surrogé traitable basé sur le Classement par Paires :

Mécanisme : Au lieu de maximiser la vraisemblance globalement, la méthode impose des classements relatifs entre des paires d'états démasqués. Si le token $r$ est décodé avant le token $s$ dans une trajectoire (impliquant que $r$ est « plus facile »), l'entropie prédite par le modèle pour $r$ doit être inférieure à celle de $s$ .
Fonction de Perte : Une perte de charnière (hinge loss) par paire est appliquée sur des fenêtres de décodage locales. Pour un ensemble de tokens nouvellement démasqués $\Delta$ , la perte pénalise les cas où l'entropie d'un token « plus facile » n'est pas suffisamment inférieure à celle d'un token « plus difficile » :
$L_{rank} = \max(0, h_\theta(r) - h_\theta(s) + \gamma)$
Fenêtre Locale : Pour éviter le bruit provenant de la comparaison de tokens ayant des difficultés radicalement différentes (par exemple, première étape contre dernière étape), le classement est appliqué strictement dans une taille de fenêtre locale fixe $W$ (par exemple, $W=32$ ).

2.3 Objectif Final

La perte totale TABOM combine :

Reconstruction Consciente de la Trajectoire : Une perte d'entropie croisée standard où le modèle prédit les tokens nouvellement démasqués $\Delta$ étant donné le contexte des tokens précédemment démasqués (remplaçant le masquage uniforme).
Régularisation par Classement par Paires : La perte de charnière décrite ci-dessus pour aligner le paysage d'entropie avec la trajectoire « facile-dur ».

$L_{TABOM} = L_{reconstruction} + \lambda L_{rank}$

3. Contributions Clés

Insight Théorique : L'article définit formellement la distribution démasquée en inférence comme une distribution de Boltzmann sur les entropies prédictives, identifiant le « biais inductif uniforme » du NELBO standard comme la cause racine du décalage entraînement-inférence.
Innovation Méthodologique : TABOM introduit un objectif de classement par paires qui aligne l'ordre de certitude du modèle avec les trajectoires de décodage observées, sans nécessiter de calculs de fonction de partition intraitables.
Résolution Empirique : Le cadre résout le dilemme « oubli vs gains marginaux ». Il réalise des améliorations substantielles des performances en domaine tout en préservant les capacités hors distribution, atténuant efficacement l'oubli catastrophique.
Métrique Diagnostique : Les auteurs introduisent le Score de Discrimination de Trajectoire (TDS) pour quantifier si un modèle préserve les différences d'incertitude au niveau des tokens le long de la trajectoire de décodage.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux DLM (Dream-7B et LLaDA-8B) dans les domaines de la Génération de Code (HumanEval, MBPP) et du Raisonnement Mathématique (GSM8K, MATH500).

Gains de Performance : TABOM a systématiquement surpassé les lignes de base (SFT-GT, SFT-SD, dInfer, T3D).
- Sur Dream-7B (Code), TABOM a réalisé un gain de +7,70 sur HumanEval et +2,60 sur MBPP, comparé à des gains marginaux pour SFT-SD (+1,00, +1,20).
- Crucialement, TABOM a maintenu les performances OOD (par exemple, GSM8K est resté élevé à 81,73 contre une chute à 52,33 observée avec SFT-GT).
Robustesse : Sous un décodage parallèle de 2 tokens, TABOM a maintenu des performances élevées, tandis que SFT-GT a subi une dégradation sévère, soulignant l'alignement de TABOM avec la distribution d'inférence naturelle du modèle.
Études d'Ablation :
- Le retrait de la perte de classement a entraîné des gains limités, confirmant sa nécessité pour aligner le paysage d'entropie.
- L'application du classement globalement (sans fenêtres locales) a introduit du bruit et dégradé les performances, validant le besoin de contraintes de fenêtre locale.
Discrimination de Trajectoire : L'analyse TDS a montré que TABOM a considérablement augmenté la variance de l'entropie prédictive à travers les étapes de décodage (par exemple, le TDS HumanEval est passé de 0,035 avec SFT-SD à 0,711 avec TABOM), prouvant que le modèle a appris avec succès à distinguer les tokens faciles des tokens difficiles, contrairement au SFT standard qui les traite uniformément.

5. Signification et Revendications

L'article revendique que TABOM représente un changement fondamental dans la manière dont les trajectoires auto-distillées sont utilisées pour les DLM :

Au-delà de l'Efficacité : Alors que les méthodes précédentes basées sur les trajectoires se concentraient sur la compression des étapes d'échantillonnage (accélération), TABOM utilise ces trajectoires pour l'acquisition réelle de connaissances et l'amélioration des performances.
Alignement plutôt que Raccourci : En modélisant le comportement d'inférence comme une distribution de Boltzmann et en imposant un classement basé sur l'entropie, TABOM aligne le paysage d'optimisation du modèle avec sa dynamique de génération réelle.
Atténuation de l'Oubli Catastrophique : La méthode étend avec succès la frontière de connaissances effective des DLM vers de nouveaux domaines sans sacrifier les capacités pré-entraînées, un mode de défaillance courant du SFT standard.

Les auteurs concluent que TABOM fournit une solution robuste au décalage entraînement-inférence dans les Modèles de Langage par Diffusion, offrant une voie vers des stratégies de post-entraînement plus efficaces et efficientes qui respectent la structure inhérente « facile-dur » des processus génératifs.