Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes

1. Problématique

Les générateurs de langage probabilistes sont théoriquement modélisés comme des processus stochastiques discrets. Cependant, les stratégies de décodage standard (comme Top-k et Top-p) imposent des règles de troncature statiques (un nombre fixe de tokens $k$ ou une masse de probabilité cumulative fixe $p$).

Le papier identifie une inadéquation fondamentale : la densité d'information du langage naturel est dynamique et non stationnaire.

• En états de faible entropie (ex: raisonnement logique, arithmétique) : La distribution de probabilité est très pointue. Une troncature statique (comme $p=0.9$) est trop permissive, laissant entrer une « queue » de tokens de faible probabilité qui agissent comme des distracteurs, augmentant les risques d'erreurs logiques ou d'hallucinations.
• En états de haute entropie (ex: création littéraire) : La distribution est plate. Une troncature statique peut être trop restrictive, coupant arbitrairement des options créatives valides.

L'objectif est de trouver une stratégie de décodage capable de s'adapter dynamiquement à l'incertitude instantanée du modèle pour équilibrer fidélité et diversité.

2. Méthodologie : Top-b (Adaptive Relative Band Sampling)

Les auteurs formalisent le processus de génération comme une trajectoire sur une variété de probabilités relatives et introduisent Top-b, une stratégie de décodage qui régule l'ensemble des candidats via une bande de probabilité relative dynamique.

Concepts Clés :

• Mode de la distribution ($p_{max}$) : La probabilité du token le plus probable à l'étape $t$.
• Entropie de Shannon ($H$) : Mesure de l'incertitude du modèle à l'étape $t$.
• Coefficient de bande dynamique ($bandwidth_t$) : Contrairement aux seuils fixes, ce coefficient est couplé strictement à l'entropie instantanée.

Algorithme Top-b :

1. Définition du seuil dynamique : Un token $y$ est inclus dans l'ensemble de support si sa probabilité $p_t(y)$ satisfait :
   $$p_t(y) \ge (1 - bandwidth_t) \cdot p_{max}$$
   Ici, $(1 - bandwidth_t)$ agit comme un seuil relatif par rapport au mode.

2. Adaptation par l'entropie : La bande passante est calculée comme suit :
   $$bandwidth_t = \text{base\_bandwidth} \times \left(1 + \frac{H(p)}{H_{max}}\right)$$
   Où $H_{max} = \log(|V|)$ est l'entropie maximale possible.

Comportement Asymptotique :

• Faible Entropie ($H \to 0$) : La bande se contracte vers la valeur de base. Le seuil se rapproche de $p_{max}$, éliminant la queue de distribution et forçant un comportement quasi-déterministe (similaire à la recherche gloutonne).
• Haute Entropie ($H \to H_{max}$) : La bande s'étend (jusqu'à $2 \times$ base_bandwidth). Le seuil baisse, permettant d'inclure plus de tokens pour préserver la diversité créative.

3. Contributions Clés

1. Décodage régulé par l'entropie : Introduction de Top-b, qui définit le support d'échantillonnage via une bande relative ancrée au mode et mise à l'échelle dynamiquement par l'entropie normalisée.
2. Interprétation comme opérateur de minimisation de variance : Le papier démontre théoriquement que Top-b agit comme un opérateur minimisant la variance sur la distribution de la queue. Cela stabilise la trajectoire de génération, en particulier dans les régimes de raisonnement à faible entropie.
3. Validation empirique : Démonstration que Top-b réduit significativement l'entropie de génération et la variance inter-décodage tout en maintenant une précision compétitive, surpassant les méthodes statiques et d'autres baselines sensibles à l'entropie.

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle google/gemma-3-4b-it avec deux benchmarks de raisonnement : GPQA (raisonnement de niveau graduate) et GSM8K (raisonnement arithmétique).

Sur GPQA :

• Précision : Top-b atteint une précision compétitive (0.2285), comparable aux meilleures méthodes (Top-k : 0.2333, Epsilon : 0.2389).
• Entropie Moyenne : Top-b obtient l'entropie moyenne la plus faible (0.1579), indiquant une réduction de la stochasticité et de la confusion du modèle.
• Stabilité : Top-b présente la variance la plus faible sur plusieurs graines aléatoires, démontrant une robustesse supérieure aux perturbations de probabilité par rapport à Top-p.
• Dynamique : Contrairement à Top-p qui maintient une entropie élevée en fin de séquence, Top-b induit une réduction monotone de l'entropie, élaguant les branches divergentes.

Sur GSM8K :

• Précision : Top-b obtient la précision la plus élevée (0.2680).
• Variance : La variance est réduite d'un ordre de grandeur par rapport à Top-p ($1.136 \times 10^{-4}$ contre $1.1207 \times 10^{-3}$), confirmant la capacité de Top-b à filtrer les distracteurs arithmétiques et à maintenir la cohérence logique.

5. Signification et Conclusion

Ce travail propose un changement de paradigme dans le décodage des LLM : passer de seuils statiques à une régulation par l'incertitude intrinsèque.

• Théorique : Top-b comble le fossé entre la précision de la recherche gloutonne et l'exploration des marches aléatoires, en adaptant la « bande de viabilité » à l'imprévisibilité instantanée du processus stochastique.
• Pratique : Il offre une méthode auto-régulée qui améliore la fiabilité des chaînes de raisonnement (Chain-of-Thought) en minimisant l'accumulation d'erreurs sur de longs contextes, sans nécessiter de réglage manuel complexe des hyperparamètres pour chaque tâche.
• Efficacité : Le surcoût computationnel (calcul de l'entropie) est négligeable par rapport à la complexité du mécanisme d'attention.

En résumé, Top-b se positionne non pas comme une simple heuristique, mais comme une méthode théoriquement fondée pour améliorer la robustesse et la précision des modèles de langage génératifs, en particulier pour les tâches exigeant un raisonnement logique rigoureux.