Résumé technique : Pourquoi l'entropie sémantique échoue : incertitude géométrique et calibrée pour l'optimisation de politique

Énoncé du problème

L'entraînement postérieur des grands modèles de langage (LLM) est devenu central pour améliorer le raisonnement et l'alignement, en particulier grâce à des méthodes sans critique et basées sur des groupes, comme l'optimisation de politique relative de groupe (GRPO). Dans ces paradigmes, plusieurs réponses sont échantillonnées pour une seule entrée, et l'optimisation est pilotée par des récompenses relatives. Cependant, une limitation critique existe : les approches actuelles traitent toutes les requêtes de manière uniforme, échouant à distinguer entre les signaux d'apprentissage informatifs et les variations bruitées.

Bien que des travaux récents tentent de réguler l'optimisation en utilisant des signaux d'incertitude au niveau de la réponse (par exemple, l'entropie sémantique), leur succès empirique est instable. L'article soutient que les estimateurs basés sur l'entropie existants souffrent de deux lacunes fondamentales lorsqu'ils sont examinés à travers le prisme de la variance du gradient et de la qualité du signal d'apprentissage :

1. Le gap anisotrope : Les mesures d'entropie capturent la dispersion des probabilités (la probabilité relative des différents clusters sémantiques) mais ignorent l'ampleur géométrique du désaccord. Dans les tâches de raisonnement, une erreur de « presque juste » et un chemin « fondamentalement incorrect » peuvent avoir une entropie similaire mais induire des directions de gradient radicalement différentes. L'entropie traite ces erreurs comme également graves, échouant à capturer la véritable structure anisotrope de l'espace d'erreur.
2. Le gap de calibration : L'entropie est découplée de l'informativité de la récompense. Une forte incertitude n'implique pas nécessairement un signal d'apprentissage fort ; elle peut simplement refléter du bruit. Inversement, les échantillons à forte variance contiennent souvent des informations riches et différenciées par la récompense. En supprimant les échantillons à haute entropie sans tenir compte de la dispersion des récompenses, les méthodes existantes suppriment involontairement les échantillons mêmes qui fournissent les signaux d'apprentissage correctifs les plus forts, conduisant à une optimisation biaisée et à un effondrement de la variance du gradient.

Méthodologie : Optimisation de politique calibrée et consciente de la géométrie (GCPO)

Pour combler ces lacunes, les auteurs proposent GCPO, un cadre qui réinterprète l'incertitude non pas comme un proxy heuristique de la dispersion, mais comme un mécanisme pour caractériser et calibrer la variance du gradient. GCPO intègre deux composants principaux :

1. Mesures conscientes de la géométrie (résolution du gap anisotrope)

Au lieu de s'appuyer uniquement sur la masse de probabilité, GCPO introduit des mesures qui capturent la distance géométrique entre les représentations sémantiques dans l'espace d'incorporation :

• Dispersion cosinus (CD) : Mesure le désaccord géométrique par paires directement dans l'espace d'incorporation. Elle calcule la somme pondérée des distances cosinus entre tous les vecteurs d'incorporation des réponses. La CD est efficace pour capturer des variations sémantiques continues et fines.
• Transport barycentrique (BoT) : Inspiré du transport optimal, cette mesure capture la dispersion structurée à travers des clusters sémantiques distincts. Elle regroupe les réponses en clusters sémantiques, calcule une direction de barycentre de consensus, et mesure le coût de transport (déviation cosinus) de chaque centroïde de cluster par rapport à ce consensus. Le BoT est robuste à la redondance paraphrasique au sein des clusters tout en restant sensible à la divergence sémantique réelle entre les modes.

Ces mesures génèrent un poids de fiabilité, $\omega_{geo}$, qui pénalise les grandes déviations sémantiques tout en tolérant les variations mineures.

2. Dispersion des récompenses (résolution du gap de calibration)

Pour aligner l'incertitude avec la force du signal d'apprentissage, GCPO introduit la Dispersion des récompenses (RD). Ce module quantifie l'informativité d'un groupe de déployements basée sur la variabilité des récompenses au sein de ce groupe.

• Si un groupe de réponses produit des récompenses hautement diversifiées (forte dispersion), cela indique des signaux de préférence forts et des opportunités d'apprentissage informatives.
• Si les récompenses sont uniformes (faible dispersion), le groupe offre un signal d'apprentissage limité.
• La RD génère un poids d'amplification, $\omega_{RD}$, qui amplifie les mises à jour pour les groupes à forte informativité de récompense.

Modulation unifiée

La mise à jour finale de la politique pour une requête $q$ est modulée par le produit de ces poids :
$$\tilde{A}_i = A_i \cdot \omega_{geo}(q) \cdot \omega_{RD}(q)$$
Cette formulation garantit que les mises à jour de gradient sont renforcées lorsque les réponses présentent une structure sémantique alignée avec un contraste de récompense informatif, et atténuées lorsque la variance est dominée par du bruit ou une incohérence sémantique.

Contributions clés

1. Formulation principielle : L'article fournit la première analyse formulant explicitement les signaux d'incertitude comme des mécanismes de régulation de la variance du gradient et de la qualité du signal d'apprentissage. Il identifie et caractérise théoriquement le gap anisotrope et le gap de calibration comme les causes racines de l'échec des méthodes basées sur l'entropie.
2. Cadre GCPO : La proposition d'un cadre d'optimisation novateur qui combine la structure sémantique consciente de la géométrie (CD/BoT) avec une calibration basée sur la récompense (RD) pour supprimer sélectivement la variance bruyante tout en préservant les gradients informatifs.
3. Validation empirique : Des expériences extensives démontrent que les mesures conscientes de la géométrie s'alignent plus fidèlement avec la variance du gradient au niveau de l'échantillon que les mesures basées sur l'entropie. La méthode proposée améliore systématiquement les performances d'entraînement postérieur sur plusieurs benchmarks.

Résultats expérimentaux

Les auteurs ont évalué GCPO sur divers benchmarks incluant des QA en texte libre (NarrativeQA, Qasper), des QA axés sur les faits (HotpotQA) et du raisonnement mathématique (MATH500, AIME24, OlympiadBench) en utilisant le modèle Qwen2.5-1.5B-Instruct.

• Gains de performance : GCPO surpasse systématiquement le GRPO brut et les bases de référence basées sur l'entropie (par exemple, Seed-GRPO, EMPO).
  • Sur NarrativeQA, GCPO (avec BoT) a atteint une amélioration de 11,38 % en précision et de 10,15 % en F1 par rapport au GRPO brut.
  • Sur Qasper, les améliorations étaient d'environ 20 % en précision et 18,82 % en F1.
  • Sur HotpotQA, GCPO a montré des gains de 21,56 % en F1.
• Alignement des gradients : L'analyse statistique a révélé que les mesures conscientes de la géométrie (CD, BoT) présentent une corrélation significativement plus forte avec la variance du gradient au niveau de l'échantillon par rapport aux mesures basées sur l'entropie. Cela confirme l'affirmation théorique selon laquelle ces mesures suivent mieux la dynamique réelle d'optimisation.
• Stabilité : GCPO a réduit l'écart-type des exécutions d'entraînement, indiquant une stabilité améliorée sans sacrifier les performances.
• Nuance du raisonnement mathématique : Bien que GCPO ait amélioré les performances sur MATH500, les gains étaient moins prononcés sur AIME24 et OlympiadBench. Les auteurs attribuent cela à la nature de ces tâches, où plusieurs chemins de solution valides peuvent exister avec des récompenses similaires, affaiblissant l'alignement entre l'incertitude sémantique et la variance informative du gradient.

Importance et affirmations

L'article affirme que l'incertitude ne doit pas être traitée comme un proxy générique de la dispersion, mais comme un signal structuré lié à la dynamique d'apprentissage. L'importance de ce travail réside dans :

• Recadrage de l'incertitude : Le passage de la perspective « l'incertitude comme bruit à supprimer » à « l'incertitude comme signal calibré pour la régulation du gradient ».
• Entraînement postérieur robuste : Fournir une ligne directrice principielle pour concevoir des signaux d'incertitude qui préservent les gradients informatifs tout en évitant l'effondrement des signaux d'apprentissage, ce qui est crucial pour l'entraînement postérieur stable des LLM.
• Conception consciente de la tâche : Souligner que l'efficacité de l'estimation de l'incertitude dépend de l'alignement entre la variation sémantique et les signaux d'optimisation, suggérant que les méthodes futures doivent être adaptées aux caractéristiques spécifiques des tâches (par exemple, raisonnement vs génération).

Les auteurs concluent qu'en intégrant une structure consciente de la géométrie avec une calibration des récompenses, GCPO atteint un alignement plus fiable avec la dynamique d'optimisation, offrant une voie robuste pour améliorer le raisonnement et l'alignement dans les LLM.