Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

1. Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus mis à l'échelle au moment du test en échantillonnant plusieurs réponses candidates ($N$ trajectoires) et en sélectionnant la meilleure (par exemple, la sélection "Best-of-N"). Les méthodes de sélection actuelles font face à deux défis principaux :

• Modèles de Récompense Externes : S'appuyer sur des modèles de récompense externes nécessite l'entraînement d'un modèle distinct de haute qualité et introduit une surcharge computationnelle significative.
• Signaux Intrinsèques Bruyants : Les signaux intrinsèques existants (par exemple, la confiance au niveau des tokens, l'entropie ou la divergence KL) sont souvent trop bruyants pour être fiables. Les métriques au niveau des tokens échouent à capturer la structure temporelle du raisonnement ; par exemple, un modèle peut afficher une forte confiance sur des tokens de calcul même s'il est fondamentalement incertain quant à l'étape de raisonnement globale. De plus, une agrégation simple (comme la moyenne) ignore la dynamique temporelle de l'exploration par rapport à l'exploitation.

Le papier cherche un signal de récompense intrinsèque robuste, dérivé exclusivement du processus de génération du modèle, capable de sélectionner efficacement des trajectoires de haute qualité sur des tâches diverses (mathématiques, code, logique, agents) sans supervision externe.

2. Méthodologie

Les auteurs proposent un cadre novateur basé sur l'observation que les tokens à haute entropie (indiquant l'incertitude) ont tendance à se regrouper en séquences consécutives lors de l'inférence, plutôt que d'apparaître de manière aléatoire.

A. Phase à Haute Entropie (HEP)

Pour dépasser les signaux bruyants au niveau des tokens, les auteurs définissent une Phase à Haute Entropie (HEP) comme l'unité de base de l'incertitude.

• Définition : Une HEP est un segment de longueur variable de la trajectoire.
• Déclencheur : Elle commence lorsqu'un token dépasse un seuil d'entropie élevé ($\theta_{high}$).
• Terminaison : Elle ne se termine que lorsque $k$ tokens consécutifs tombent en dessous d'un seuil bas ($\theta_{low}$).
• Signification : Cela regroupe les tokens incertains consécutifs en une "phase" cohérente, filtrant le bruit isolé et capturant l'état d'exploration ou de confusion du modèle comme une unité globale.

B. Centroïde d'Entropie

Inspiré par le concept physique de centre de masse, les auteurs définissent le Centroïde d'Entropie pour encoder la position temporelle de ces phases d'incertitude.

• Masse ($m_n$) : Le nombre de tokens dans la $n$-ième HEP.
• Position ($p_n$) : Le point médian de la $n$-ième HEP au sein de la trajectoire totale.
• Calcul : Le centroïde $C$ est la position moyenne pondérée de toutes les HEP le long de la trajectoire, normalisée par la longueur totale de la séquence $L$ :
  $$C = \frac{\sum_{n=1}^{N} m_n \cdot p_n}{L \cdot \sum_{n=1}^{N} m_n}$$
• Interprétation :
  • Centroïde Faible : Indique que l'incertitude (exploration) s'est produite tôt dans le processus de raisonnement, suivie d'une génération confiante (faible entropie). Cela corréle avec un raisonnement de haute qualité (explorer tôt, converger plus tard).
  • Centroïde Élevé : Indique que l'incertitude a persisté ou est apparue tardivement dans la trajectoire, suggérant que le modèle a eu du mal à résoudre le problème ou s'est confus vers la fin.

C. Stratégie de Sélection du Centroïde le Plus Faible

La méthode de sélection proposée, Centroïde le Plus Faible, sélectionne simplement la trajectoire ayant la valeur de centroïde d'entropie la plus basse parmi les $N$ candidats échantillonnés.

• Prétraitement : Une étape de filtrage des valeurs aberrantes élimine les trajectoires avec une terminaison anormale ou du charabia avant la sélection.
• Avantage : Elle ne nécessite aucun entraînement, aucune étiquette externe et fonctionne pour tout type de tâche (y compris le codage ouvert et les tâches d'agents où le vote majoritaire échoue).

3. Contributions Clés

1. Modélisation Temporelle de l'Incertitude : Le papier identifie que le motif temporel de l'incertitude est plus informatif que l'ampleur de l'incertitude sur les tokens individuels. Il formalise cela via la Phase à Haute Entropie (HEP).
2. Métrique du Centroïde d'Entropie : Introduit une métrique inspirée de la physique (Centroïde) qui agrège les HEP en un signal de récompense scalaire unique représentant le "moment" de l'incertitude du modèle.
3. Récompense Intrinsèque Polyvalente : Démontre que ce signal intrinsèque est efficace sur une large gamme d'échelles de modèles (de 14B à 480B) et de domaines (Mathématiques, Code, Logique, Agents), surpassant les bases existantes sans nécessiter de modèles de récompense externes.
4. Robustesse : La méthode s'avère robuste face aux choix d'hyperparamètres (seuils pour la détection HEP) et stable à mesure que la taille du modèle augmente.

4. Résultats Expérimentaux

Les auteurs ont évalué la méthode sur quatre benchmarks : AIME 2025/Minerva (Mathématiques), Synlogic (Logique), BigCodeBench/LiveCodeBench (Code) et $\tau^2$-Bench (Agents).

• Gains de Performance : La méthode Centroïde le Plus Faible a constamment surpassé les bases (Pass@1, Décodage Glouton, Self-Certainty, Confiance de Queue, Fenêtre Inférieure) sur toutes les 30 combinaisons modèle-jeu de données.
  • Amélioration Moyenne : +5,3 % par rapport au Pass@1.
  • Tâches d'Agents : +6,8 % d'amélioration moyenne (par exemple, GPT-OSS-120B a enregistré un gain de +10,1 %).
  • Mathématiques/Logique : Gains significatifs, par exemple +11,0 % sur AIME 2025 pour GPT-OSS-120B.
• Comparaison avec les Bases :
  • Contrairement à "Self-Certainty" ou "Confiance de Queue", qui ont montré des performances instables (dégradant parfois les résultats), le Centroïde le Plus Faible a fourni des gains fiables dans chaque configuration.
  • Il a surpassé le Vote Majoritaire sur les tâches à réponse courte et, crucialement, est applicable aux tâches à réponse longue (codage, agents) où le Vote Majoritaire est inapplicable.
• Comportement de Mise à l'Échelle : La méthode présente une mise à l'échelle persistante sans saturation précoce. À mesure que le nombre de trajectoires échantillonnées ($N$) augmente, la précision continue de croître régulièrement, tandis que d'autres méthodes plafonnent souvent ou fluctuent.
• Échelle du Modèle : La méthode fonctionne efficacement de 14B à 480B de paramètres, prouvant sa généralité.

5. Signification et Conclusion

Ce travail fournit une approche légère, sans annotation et généralisable pour la mise à l'échelle au moment du test. En déplaçant l'attention du bruit au niveau des tokens vers la structure temporelle de l'incertitude (via les HEP et les Centroïdes), les auteurs offrent une solution pratique pour sélectionner des chemins de raisonnement de haute qualité.

• Impact Pratique : Il élimine le besoin de modèles de récompense externes coûteux, rendant la mise à l'échelle au moment du test plus accessible et efficace.
• Insight Théorique : Il valide l'hypothèse selon laquelle un raisonnement de haute qualité suit un motif temporel spécifique : une exploration précoce (haute entropie) suivie d'une convergence confiante (faible entropie).
• Potentiel Futur : Le Centroïde d'Entropie peut servir non seulement de métrique de sélection, mais aussi de signal de récompense intrinsèque pour l'entraînement (par exemple, dans l'Apprentissage par Renforcement) ou pour le diagnostic du comportement du modèle dans la génération à réponse longue.

En résumé, le papier démontre avec succès que l'analyse du moment de l'incertitude du modèle est un signal intrinsèque puissant pour améliorer les performances des LLM au moment du test.