Résumé Technique : Apprentissage par Renforcement Piloté par l'Énergie Libre avec Façonnage Adaptatif de l'Avantage (FREIA)

Énoncé du Problème

L'apprentissage par renforcement (RL) non supervisé est devenu un paradigme critique pour permettre l'auto-amélioration des grands modèles de langage (LLM) sans dépendre d'une supervision coûteuse par vérité terrain. Cependant, les méthodes existantes de RL non supervisé souffrent d'un désalignement fondamental avec la dynamique d'apprentissage évolutive du modèle.

Les approches actuelles se divisent généralement en deux catégories, qui toutes deux échouent à s'adapter aux capacités changeantes du modèle durant l'entraînement :

1. Méthodes Intrinsèques aux Trajectoires : Elles dérivent des récompenses de mesures intrinsèques telles que l'incertitude du modèle ou l'auto-information. Elles risquent de renforcer des réponses incorrectes mais à haute confiance, en particulier lorsque la capacité de raisonnement du modèle est limitée, conduisant à un décalage entre la confiance et la justesse.
2. Méthodes Basées sur la Population : Elles reposent sur un consensus collectif (par exemple, le vote majoritaire) pour déterminer la justesse. Bien qu'elles exploitent l'accord du groupe, elles rejettent souvent des chemins de raisonnement minoritaires précieux. Cela crée un biais où des majorités incorrectes reçoivent des récompenses maximales, et des minorités correctes sont pénalisées, en particulier aux stades précoces de l'entraînement ou lors des phases de « consensus faible ».

De plus, les méthodes existantes appliquent un façonnage statique de l'avantage indépendamment de l'évolution de la distribution des récompenses. À mesure que l'entraînement progresse d'une phase de « Consensus Faible » (récompenses élevées rares) vers une phase de « Consensus Fort » (majorité dominante), la normalisation statique soit pénalise excessivement des réponses correctes rares, soit récompense excessivement des outliers stochastiques, conduisant à une convergence prématurée ou à un surapprentissage à des signaux trompeurs.

Méthodologie : FREIA

Pour remédier à ces limitations, les auteurs proposent FREIA (Apprentissage par Renforcement Piloté par l'Énergie Libre avec Façonnage Adaptatif de l'Avantage), un algorithme novateur qui intègre deux innovations clés pour aligner l'optimisation de la politique avec la dynamique d'apprentissage interne du modèle.

1. Récompense Pilotée par l'Énergie Libre (FER)

Fondée sur le Principe de l'Énergie Libre (FEP), la FER reformule l'auto-amélioration comme un processus de minimisation de l'énergie libre. Elle décompose l'objectif de récompense en deux composantes adaptatives :

• Alignement du Consensus : Encourage le modèle à s'aligner sur la solution la plus probable (le mode de la distribution échantillonnée).
• Exploration : Incite à la découverte de chemins de raisonnement diversifiés lorsque le modèle présente une forte incertitude.

Le mécanisme opère en trois étapes :

1. Affinement des Croyances : Les réponses uniques sont traitées comme des hypothèses. Un mécanisme d'affinement non linéaire (contrôlé par le paramètre $\alpha$) convertit les fréquences de réponses en poids de croyance, distinguant le consensus robuste du bruit stochastique.
2. Confiance du Groupe ($C_G$) : Une métrique dérivée de l'entropie de Shannon de la distribution de croyance quantifie le degré de consensus du groupe. $C_G \to 1$ indique une haute certitude, tandis que $C_G \to 0$ indique une forte incertitude.
3. Formulation Adaptative de la Récompense : La récompense finale $R_i$ pour un chemin de raisonnement est un compromis dynamique :
   $$R_i = C_G \cdot r_{cons}(y_i) + (1 - C_G) \cdot r_{explore}(y_i)$$
   Dans les états de haute confiance, le modèle privilégie le consensus. Dans les états de faible confiance, le modèle est incité à explorer des chemins diversifiés, atténuant efficacement la convergence prématurée vers des solutions sous-optimales.

2. Façonnage Adaptatif de l'Avantage (AAS)

Reconnaissant que les distributions de récompenses évoluent continuellement durant l'entraînement, l'AAS ajuste dynamiquement les signaux d'avantage utilisés pour les mises à jour de la politique en fonction de l'asymétrie (skewness) de la distribution des récompenses.

• Asymétrie Positive (Récompenses Élevées Rares) : Se produit lorsque les réponses à haute récompense sont rares. Une normalisation standard attribuerait des avantages excessivement grands à ces outliers. L'AAS atténue ces avantages positifs pour empêcher le modèle de surapprendre à des signaux stochastiques potentiellement trompeurs.
• Asymétrie Négative (Récompenses Élevées Prévalentes) : Se produit lorsque la majorité des réponses sont à haute récompense. Une normalisation standard attribuerait de lourdes pénalités à des déviations occasionnelles à faible récompense. L'AAS atténue ces avantages négatifs pour empêcher le modèle de se corriger excessivement sur la base de variations rares, potentiellement inoffensives.

L'avantage final $\hat{A}_i$ est modulé par des poids adaptatifs dérivés de l'asymétrie $S$, assurant des mises à jour de politique stables à travers différentes phases d'entraînement.

Contributions Clés

1. Identification du Désalignement : L'article identifie que les méthodes existantes de RL non supervisé échouent à s'adapter aux capacités de raisonnement évolutives et ignorent les distributions de récompenses changeantes, conduisant à une optimisation de politique sous-optimale.
2. Algorithme FREIA : L'introduction d'un cadre unifié comprenant :
   • FER : Un mécanisme de récompense qui équilibre consensus et exploration basé sur le Principe de l'Énergie Libre, ajustant dynamiquement les poids via la Confiance du Groupe.
   • AAS : Une technique de façonnage de l'avantage qui module les signaux d'apprentissage en fonction de l'asymétrie statistique de la distribution des récompenses.
3. Validation Empirique : Évaluation complète démontrant que FREIA surpasse les bases de RL non supervisé existantes sur plusieurs tâches de raisonnement.

Résultats Expérimentaux

Les auteurs ont évalué FREIA sur neuf jeux de données couvrant trois tâches de raisonnement : raisonnement mathématique, génération SQL et raisonnement multimodal.

• Raisonnement Mathématique : En utilisant le modèle DeepSeek-R1-Distill-Qwen-1.5B, FREIA a surpassé les autres méthodes non supervisées d'une moyenne de 0,5 à 3,5 points en Pass@1 sur des benchmarks tels que MATH500, AIME24 et AIME25. Notamment, FREIA a atteint des performances comparables ou supérieures au GRPO supervisé (Apprentissage par Renforcement avec Récompenses Vérifiables) sur plusieurs métriques, malgré l'absence d'étiquettes de vérité terrain.
• Généralisation : FREIA a démontré une forte transférabilité vers la génération SQL (Spider, BIRD) et le raisonnement multimodal (Geometry3K), surpassant des bases de référence telles que TTRL, Entropy et Intuitor.
• Dynamique d'Entraînement : L'analyse des courbes d'entraînement a montré que FREIA équilibre efficacement exploration et consensus. Le score de Confiance du Groupe ($C_G$) a augmenté au fil du temps, indiquant une réduction de l'incertitude, tandis que le composant d'exploration est resté suffisamment actif pour empêcher l'effondrement de mode.
• Études d'Ablation : La suppression soit du composant Consensus, soit du composant Exploration de la FER, ou du module AAS, a entraîné une dégradation significative des performances, confirmant la nécessité à la fois d'une formulation adaptative de la récompense et d'un façonnage dynamique de l'avantage.

Importance et Revendications

L'article revendique que FREIA fournit un nouveau paradigme pour l'alignement dans les scénarios où les données étiquetées sont indisponibles. En intégrant le Principe de l'Énergie Libre avec une analyse statistique adaptative, FREIA permet aux LLM d'atteindre une auto-amélioration efficace sans supervision externe.

Les auteurs soulignent que leur approche :

• Atténue le « Biais Majoritaire » : Contrairement aux méthodes de vote statiques, FREIA peut identifier et récompenser des chemins minoritaires corrects lorsque le consensus est faible ou incorrect.
• Assure la Stabilité : L'AAS prévient l'instabilité causée par les récompenses outliers en début d'entraînement et les pénalités excessives en fin d'entraînement.
• Évolutivité : Bien que les expériences actuelles soient limitées à des modèles jusqu'à 3 milliards de paramètres en raison de contraintes de ressources, les auteurs postulent que les principes sous-jacents de FREIA sont conçus pour évoluer vers des modèles de base plus grands.

L'ouvrage conclut que la minimisation de l'énergie libre par le biais d'un consensus adaptatif et d'un développement de l'exploration produit des capacités de raisonnement plus robustes que la supervision basée uniquement sur les résultats, offrant une solution fondée sur des principes pour le raisonnement non supervisé dans les LLM.