Résumé Technique : L'Étalonnage Probabiliste est une Capacité Apprenable dans les Modèles de Langage

Énoncé du Problème

Les modèles de langage (LM) sont de plus en plus déployés dans des scénarios nécessitant un hasard spécifié par l'utilisateur, tels que la génération de sorties diversifiées, l'équilibrage des probabilités de choix ou l'échantillonnage à partir de distributions mathématiques spécifiques. Cependant, les LM autorégressifs standards sont de mauvais générateurs stochastiques natifs. Leurs distributions de sortie induites s'effondrent souvent sur des sous-ensembles étroits, violent les contraintes de support et ne parviennent pas à s'aligner sur les distributions cibles demandées. Les contournements existants par amorçage (par exemple, l'injection de raisonnement ou de graines) peuvent atténuer partiellement ces problèmes, mais introduisent des coûts au moment de l'inférence, une sensibilité aux amorces et une surcharge computationnelle sans modifier fondamentalement le comportement d'échantillonnage du modèle.

La question centrale abordée est de savoir si l'étalonnage probabiliste – la capacité d'un LM à générer des échantillons reflétant une distribution cible connue – peut être appris directement par affinage, plutôt que de dépendre d'heuristiques au moment de l'inférence.

Méthodologie : Affinage par Étalonnage

Les auteurs proposent un cadre pour entraîner les LM à agir comme des échantillonneurs probabilistes étalonnés en utilisant des amorces synthétiques demandant explicitement un échantillonnage à partir de distributions mathématiques (par exemple, « Générez exactement UN nombre aléatoire issu d'une distribution [distribution] avec les paramètres [params] »).

Deux stratégies d'affinage distinctes sont comparées, toutes deux utilisant l'Adaptation à Faible Rang (LoRA) sur des modèles de base figés :

1. Affinage à Cible Douce :

   • Mécanisme : La distribution cible est discrétisée en un espace de sortie canonique fini. Un arbre préfixe (trie) est construit à partir de toutes les sorties numériques valides, où chaque nœud représente un préfixe de token.
   • Supervision : Pour tout préfixe donné, la méthode calcule une distribution de prochain token cible en normalisant la masse de probabilité restante de toutes les continuations valides dans l'arbre préfixe.
   • Objectif : Le modèle minimise la divergence de Kullback-Leibler (KL) entre sa distribution de prochain token prédite et la distribution cible dérivée de l'arbre préfixe à chaque préfixe visité. Cela fournit une supervision dense au niveau du préfixe.

2. Affinage à Cible Dure :

   • Mécanisme : Le modèle est entraîné sur des complétions échantillonnées directement à partir de la distribution cible.
   • Supervision : Pour chaque amorce, une réponse numérique est échantillonnée à partir de la distribution cible, tokenisée, et utilisée comme complétion de vérité terrain.
   • Objectif : Le modèle minimise l'entropie croisée masquée autorégressive standard sur la complétion échantillonnée. Cela fournit une supervision sparse au niveau du chemin, nécessitant plus d'étapes d'entraînement (plus d'échantillons par amorce) pour atteindre une couverture comparable.

Configuration Expérimentale :

• Modèles : 12 modèles répartis sur quatre familles (Qwen3, Gemma-3, Llama-3.2, GPT-OSS) allant de 0,6 Md à 27 Md de paramètres.
• Données : 30 familles de distributions (24 vues pour l'entraînement, 6 retenues pour les tests hors distribution (OOD)).
• Évaluation :
  • Échantillonnage Structuré : Mesuré via la distance de Wasserstein-1 (W1) et la divergence KL au niveau des logits par rapport aux distributions cibles.
  • Benchmarks de Transfert : Génération aléatoire ouverte (support de diversité), équilibrage des positions de réponse dans les QCM, et NoveltyBench (diversité sémantique).
  • Rétention : Conservation des capacités sur TinyBenchmarks (MMLU, GSM8K, etc.) et ajustement du modèle de langage sur PALOMA.

Contributions Clés

1. Apprenabilité de l'Étalonnage : L'article démontre que l'étalonnage probabiliste est une capacité apprenable. L'affinage à cible douce et à cible dure améliore tous deux considérablement la fidélité de l'échantillonnage structuré sur les familles de distributions retenues et les paramètres non vus.
2. Analyse Comparative des Stratégies :
   • Cible Dure : Atteint généralement des performances supérieures sur le benchmark d'échantillonnage numérique structuré en domaine, en particulier pour les paramètres non vus. Elle excelle dans la fidélité numérique exacte.
   • Cible Douce : Bien que compétitive sur les tâches numériques, elle démontre une meilleure transfert vers des contextes plus larges de génération stochastique. Elle élargit systématiquement le support stochastique dans la génération ouverte, améliore l'équilibrage des positions de réponse dans les QCM et produit une utilité plus élevée sur NoveltyBench.
3. Compromis et Coûts : L'étude met en évidence que les gains en étalonnage s'accompagnent souvent de compromis. Spécifiquement, le raisonnement arithmétique (GSM8K) a tendance à régresser, avec des coûts variant selon la taille du modèle et la variante d'affinage. Cependant, l'ajustement du modèle de langage (perplexité PALOMA) est souvent préservé ou amélioré, suggérant que les modèles ne font pas simplement aplatir les probabilités de tokens mais apprennent des comportements stochastiques spécifiques.

Résultats

• Échantillonnage Structuré : Les deux méthodes réduisent significativement le W1 normalisé et le KL des logits par rapport aux points de contrôle de base. L'affinage à cible dure est généralement le meilleur performant sur les benchmarks numériques, réduisant les erreurs d'un ordre de grandeur dans de nombreux cas.
• Génération Ouverte : L'affinage à cible douce augmente systématiquement la taille du support top-90 % (le nombre de tokens requis pour couvrir 90 % de la masse de probabilité) sur tous les modèles, souvent d'un à deux ordres de grandeur. Cela conduit à des sorties plus diversifiées et moins concentrées dans des catégories telles que les villes, les animaux et les noms.
• QCM et Nouveauté : Les configurations à cible douce produisent généralement un meilleur équilibre des positions de réponse dans la génération de QCM et des scores d'utilité plus élevés sur NoveltyBench, indiquant que le comportement stochastique appris se transfère aux contraintes implicites du langage naturel.
• Rétention : L'impact sur les capacités générales est mitigé. Alors que certains modèles de taille moyenne à grande maintiennent ou améliorent leurs scores agrégés sur TinyBenchmarks, les plus petits modèles et certaines tâches spécifiques (notamment GSM8K) montrent une dégradation. Cela suggère que l'objectif d'entraînement (complétions courtes et directes sans traces de raisonnement) peut entrer en conflit avec les tâches riches en raisonnement.

Importance et Revendications

L'article revendique que l'étalonnage probabiliste n'est pas une limitation inhérente des modèles de langage, mais une capacité qui peut être explicitement entraînée. En présentant le problème comme l'apprentissage à la fois de l'espace de sortie valide et de l'allocation de la masse de probabilité à travers celui-ci, les auteurs montrent que les LM peuvent être transformés en échantillonneurs probabilistes contrôlés.

L'importance réside dans le dépassement de l'amorçage au moment de l'inférence pour atteindre des solutions au moment de l'entraînement qui modifient fondamentalement le comportement distributionnel du modèle. Les auteurs notent que si les gains sont sélectifs et n'améliorent pas universellement toutes les tâches en aval (le raisonnement arithmétique étant une exception notable), la capacité d'ajuster les modèles pour des comportements stochastiques spécifiques ouvre de nouvelles voies pour des applications nécessitant diversité, équité ou adhésion stricte à des contraintes statistiques. Le travail suggère que les recherches futures devraient se concentrer sur les mécanismes appris par ces objectifs et sur le développement de variantes soucieuses de la rétention pour atténuer la dégradation des capacités.