Résumé Technique : TRE : Encourager l'Exploration dans la Région de Confiance

Problématique

Bien que la régularisation par l'entropie soit une technique standard en apprentissage par renforcement (RL) pour prévenir la convergence prématurée et encourager l'exploration, l'article identifie que son application directe aux grands modèles de langage (LLM) produit souvent des bénéfices négligeables ou dégrade activement les performances. Les auteurs attribuent cet échec au risque de queue cumulatif inhérent aux LLM, caractérisé par des vocabulaires massifs et de longs horizons de génération.

Dans les environnements de RL classiques (ex. : robotique), les actions valides sont denses et l'exploration aléatoire reste souvent dans un espace d'états valides. À l'inverse, dans la génération de LLM, les jetons (tokens) valides constituent une variété (manifold) infiniment parcelle au sein d'un vaste vocabulaire (environ 150 000 jetons). La maximisation de l'entropie globale standard aplatit indistinctement la distribution de probabilité, déplaçant la masse des candidats plausibles vers les « queues lourdes » de jetons syntaxiquement ou logiquement invalides. Si le bruit introduit à une étape unique est négligeable, il s'accumule exponentiellement sur de longues séquences de génération. Cette accumulation perturbe la cohérence du raisonnement par chaîne de pensée (Chain-of-Thought - CoT), rendant le maintien d'un chemin de raisonnement valide statistiquement impossible à mesure que l'horizon de génération s'étend.

Méthodologie : Entropie de la Région de Confiance (TRE)

Pour remédier au décalage de dimensionnalité entre la maximisation de l'entropie globale et la nature parcellaire de la génération de langage, les auteurs proposent l'Entropie de la Région de Confiance (TRE). Cette méthode restreint l'exploration strictement à une « région de confiance » — le sous-ensemble de jetons que le modèle pré-entraîné considère déjà comme plausibles.

Mécanisme Central

Au lieu de maximiser l'entropie sur l'ensemble du vocabulaire $A$, la TRE maximise l'entropie localement au sein d'une région de confiance $\mathcal{A}_{TR}(s_t) \subset A$. Cela garantit que l'exploration se produit uniquement parmi les candidats à haute confiance, empêchant la fuite de probabilité vers les jetons invalides.

La région de confiance est définie via deux stratégies principales :

1. TRE-K (Basée sur la taille) : La région de confiance consiste en les $K$ jetons ayant les valeurs de logit les plus élevées à l'étape $t$. Cela impose une taille de région constante.
2. TRE-P (Basée sur le noyau/nucleus) : La région de confiance est le plus petit ensemble de jetons dont la masse de probabilité cumulée atteint un seuil $P$ (ex. : 0,99). Cela crée une taille de région dynamique qui s'adapte à la confiance du modèle.

Formulation de la Perte

La perte $L_{TRE,t}$ est calculée par :

1. L'extraction des logits pour les jetons dans la région de confiance.
2. Le calcul de la distribution de probabilité locale $\pi_{local}$ via un softmax appliqué uniquement à ces jetons.
3. Le calcul de l'entropie locale $H(\pi_{local})$.
4. L'application d'un facteur d'échelle $\gamma = \frac{\log |A|}{\log |\mathcal{A}_{TR}|}$ pour aligner l'ampleur de la régularisation avec l'échelle d'entropie du vocabulaire complet.

L'objectif d'entraînement final combine la perte de substitution standard (ex. : PPO) avec la perte TRE mise à l'échelle :
$$L_{total,t}(\theta) = L_{surr,t}(\theta) + \alpha L_{TRE,t}(\theta)$$

Principales Contributions

1. Analyse Empirique des Modes de Défaillance : L'article fournit une analyse détaillée démontrant que la régularisation d'entropie standard est préjudiciable pour la génération à long horizon. Les expériences montrent que si une régularisation légère peut aider dans des contextes courts, elle provoque un effondrement des performances à mesure que le budget de génération s'étend, en raison de l'accumulation du risque de queue.
2. Proposition de l'Entropie de la Région de Confiance (TRE) : Un nouveau cadre de régularisation qui encourage l'exploration exclusivement au sein d'une région de confiance de haute confiance, préservant ainsi la cohérence du raisonnement tout en maintenant la diversité.
3. Évaluation Complète : Des expériences approfondies sur des tâches de raisonnement mathématique (MATH), de recherche combinatoire (Countdown) et d'alignement de préférences (HH) démontrent que la TRE surpasse systématiquement le PPO classique, la régularisation d'entropie standard et d'autres bases d'exploration de pointe (ex. : Forking-Tokens, KL-Cov).

Résultats Expérimentaux

Les auteurs ont évalué la TRE en utilisant les modèles Qwen2.5-1.5B-Instruct et Qwen2.5-7B-Instruct.

• Gains de Performance : La TRE (spécifiquement la variante TRE-P) a obtenu les meilleurs résultats dans 5 des 6 catégories d'évaluation.
  • MATH (1.5B) : La TRE-P a atteint 58,28 % de Pass@1, surpassant le PPO Vanilla (57,04 %) et la base solide KL-Cov (58,23 %).
  • Countdown (1.5B) : La TRE-P a atteint 66,96 % de Pass@1, soit une amélioration de +2,84 % par rapport au Vanilla, surpassant nettement KL-Cov (+2,38 %).
  • HH (1.5B) : La TRE-P a montré un gain de récompense de +0,6364, ce qui est environ 4,1 fois supérieur au gain obtenu par KL-Cov (+0,1531).
• Scalabilité : Les améliorations ont été constantes à l'échelle du modèle 7B, la TRE-P montrant des gains 2 à 3 fois plus importants que KL-Cov dans les tâches d'alignement et de recherche.
• Dynamique de la Politique : L'analyse de la Probabilité de Pic Moyenne ($\bar{P}_{max}$) a révélé que le PPO standard sature rapidement (devient trop confiant), tandis que la TRE maintient un niveau de confiance plus bas et plus diversifié. Cela empêche l'« effondrement » vers des chemins déterministes, particulièrement dans les tâches de raisonnement.
• Sensibilité aux Hyperparamètres :
  • TRE-K : Une performance optimale a été observée à $K=2$. Des valeurs de $K$ plus grandes réintroduisent du bruit, dégradant les performances.
  • TRE-P : Le seuil $P=0,99$ était optimal. $P=0,9$ était trop restrictif, tandis que $P=0,999$ incluait des jetons de queue invalides, réduisant les scores.

Signification et Revendications

L'article soutient que l'échec de la régularisation d'entropie standard dans les LLM n'est pas un défaut du concept d'exploration, mais un décalage dans l' étendue de cette exploration. En confinant l'exploration à une région de confiance de jetons plausibles, la TRE atténue efficacement le risque de queue cumulatif qui perturbe le raisonnement à long horizon.

Les auteurs positionnent la TRE comme une solution robuste et évolutive pour l'alignement des LLM, particulièrement pour les tâches nécessitant un raisonnement complexe et une génération de contexte long. Ils notent que bien que la TRE passe efficacement à l'échelle jusqu'à 7 milliards de paramètres, son comportement sur des modèles massifs et des horizons ultra-longs (ex. : 128k+ jetons) reste un domaine de recherche future. Le travail suggère qu'une exploration structurée et locale est supérieure à l'uniformité globale pour maintenir l'intégrité des chaînes de raisonnement génératives.