Résumé technique : Le guidage n'est pas un hyperparamètre : apprentissage d'un contrôle dynamique dans les modèles de langage par diffusion

Énoncé du problème

Le guidage sans classifieur (CFG) est le mécanisme standard pour contrôler les modèles génératifs basés sur la diffusion, pourtant son échelle de guidage ($\gamma$) est généralement traitée comme un hyperparamètre fixe tout au long du processus de génération. Cette conception statique crée un compromis sous-optimal entre la contrôlabilité (respect des conditions) et la qualité de génération (fluidité). Les auteurs soutiennent que le degré optimal de guidage varie selon les tâches et, de manière cruciale, selon les différentes étapes du processus de diffusion. Dans le domaine du traitement automatique du langage naturel (TALN), où les modèles de langage par diffusion discrets (dLLMs) émergent, l'application d'une échelle unique et globalement fixe introduit un décalage structurel entre les exigences étape par étape de la génération et le mécanisme de contrôle.

Les tentatives existantes pour résoudre ce problème ont reposé sur des calendriers heuristiques prédéfinis (par exemple, courbes exponentielles, distributions bêta) indépendants de l'état de génération en évolution ou des objectifs au niveau de la tâche. Ces méthodes manquent d'un mécanisme systématique pour intégrer des retours d'information au niveau de la tâche pendant la génération, en supposant qu'un seul calendrier conçu à la main peut se généraliser à des entrées diverses et à des exigences de contrôlabilité variées.

Méthodologie

L'article propose de reformuler la sélection de l'échelle CFG comme un problème de prise de décision séquentielle résolu par apprentissage par renforcement (RL). Au lieu de régler manuellement un calendrier, les auteurs apprennent une politique qui sélectionne dynamiquement l'échelle de guidage à chaque étape de génération en fonction de l'état de diffusion actuel.

Cadre central

1. Formulation de la politique : La sélection du guidage est modélisée comme un processus de décision de Markov (MDP). Une politique $\pi_\phi(a|s)$ mappe l'état d'échantillonnage actuel $s$ (incluant le ratio d'étape, le ratio de masquage, la progression spécifique à la tâche et l'action précédente) vers une action de guidage $a$ (l'échelle CFG).
2. Récompenses terminales éparses : Étant donné que les objectifs de tâches en aval (par exemple, inclusion de mots-clés, précision du sentiment) ne sont observables qu'à la fin et sont non différentiables, les auteurs adoptent une conception de récompense éparses. Les récompenses sont attribuées uniquement à la dernière étape de diffusion ($k=0$), définies comme une combinaison pondérée de métriques de contrôlabilité et de qualité de génération (mesurée via la perplexité).
3. Répétition d'actions et abstraction temporelle : Pour atténuer la forte variance associée aux récompenses éparses sur de longues horizons, la politique sélectionne une seule action de guidage qui est maintenue constante pendant $n$ étapes de diffusion consécutives. Cela réduit l'horizon de décision effectif et encourage des trajectoires lisses.
4. Espace d'actions discret : Pour assurer la faisabilité et la stabilité, l'espace d'actions est restreint à un ensemble discret de 13 échelles CFG allant de 0 à 3,0.
5. Optimisation : La politique est optimisée à l'aide de l'optimisation de politique proximale (PPO), bien adaptée aux dynamiques stochastiques et aux récompenses différées. Le modèle génératif sous-jacent est un modèle de langage par diffusion discret (spécifiquement LLaDA), qui reste figé ; seul le réseau de politique RL léger est entraîné.

Agrégation des trajectoires

Après l'entraînement, la politique induit une distribution sur les trajectoires de guidage plutôt qu'un calendrier déterministe unique. Pour déduire une stratégie généralisée à la tâche pour l'inférence, les auteurs proposent d'agréger les trajectoires échantillonnées. Ils comparent une trajectoire moyenne simple à une agrégation pondérée par la fréquence, qui met l'accent sur les motifs de guidage sélectionnés de manière cohérente par la politique, filtrant ainsi le bruit exploratoire.

Contributions clés

• Reformulation du guidage : L'article fait passer le paradigme du CFG d'un hyperparamètre statique à un processus de contrôle dynamique et apprenable.
• Contrôle adaptatif basé sur le RL : Il introduit un cadre principiel utilisant PPO pour apprendre des trajectoires de guidage spécifiques à la tâche qui s'adaptent à l'état de génération en évolution sans modifier les paramètres du modèle pré-entraîné.
• Insights dépendants de la tâche : L'étude révèle que les comportements de guidage optimaux sont fondamentalement dépendants de la tâche. Pour les contraintes structurelles (mots-clés, longueur), la politique apprise adopte une trajectoire en forme de « bosse » (augmentation puis diminution), tandis que pour le contrôle stylistique (sentiment), elle apprend une trajectoire décroissante de manière monotone.
• Validation empirique : L'approche est validée sur trois tâches TALN distinctes : génération conditionnée par mots-clés, réécriture contrôlée par la longueur et transfert de style de sentiment.

Résultats expérimentaux

Les expériences ont été menées sur des modèles de langage par diffusion discrets (LLaDA) utilisant 30 et 60 étapes d'échantillonnage par diffusion. La méthode proposée (RL-Mean et RL-Freq) a été comparée à un CFG fixe et à divers calendriers heuristiques (linéaire, cosinus, Bêta).

• Gains de performance : Les calendriers appris par RL ont systématiquement surpassé les CFG fixes et les bases heuristiques sur toutes les tâches.
  • Génération de mots-clés : A atteint une couverture de mots-clés plus élevée (74,6 % contre 71,4 % pour le CFG fixe) avec une perplexité significativement plus faible (56,2 contre 61,3).
  • Contrôle de la longueur : A démontré une amélioration de Pareto, atteignant une précision de 92,8 % (contre 76,0 % pour le CFG fixe) et la perplexité la plus faible (205,6 contre 301,9).
  • Transfert de sentiment : A amélioré la précision dans la direction difficile du négatif vers le positif (40,6 % contre 32,8 %) tout en maintenant une haute préservation du contenu et une perplexité plus faible.
• Briser le compromis : Alors que les calendriers heuristiques présentaient un compromis clair (par exemple, les calendriers croissants amélioraient la contrôlabilité mais dégradaient la fluidité), l'approche RL a simultanément amélioré les deux métriques en apprenant quand appliquer un guidage fort ou faible.
• Analyse qualitative : Les études de cas ont montré que le guidage adaptatif produisait des phrases plus cohérentes avec moins de répétitions et une meilleure préservation sémantique par rapport aux calendriers statiques ou heuristiques.

Importance et affirmations

L'article affirme que traiter le guidage comme un processus de contrôle dynamique plutôt que comme un choix de conception statique est essentiel pour optimiser le compromis contrôlabilité–qualité dans les modèles de langage par diffusion. Les trajectoires apprises fournissent des insights interprétables sur la façon dont le guidage devrait évoluer : les tâches structurelles bénéficient d'un guidage fort pendant la phase de formation grossière de la structure, tandis que les tâches stylistiques nécessitent un guidage fort précoce pour établir la polarité, suivi d'une réduction pour assurer la fluidité.

Les auteurs adoptent une position modeste concernant les limites. Ils reconnaissent que, bien que la planification adaptative améliore considérablement les performances dans le paradigme de diffusion discret, un écart subsiste par rapport aux grands modèles de langage autoregressifs en raison des priors de modélisation du langage plus forts de ces derniers. Le mécanisme de guidage peut atténuer mais ne peut pas compenser entièrement les limitations inhérentes des modèles de diffusion actuels, telles que la répétition de tokens sous un conditionnement fort. Le travail ne prétend pas résoudre tous les problèmes de génération contrôlable, mais offre un cadre flexible et adaptatif à la tâche qui surpasse les stratégies statiques et heuristiques actuelles.