🤖 machine learning

Power Distribution Bridges Sampling, Self-Reward RL, and Self-Distillation

Cet article établit que la distribution de puissance constitue un cadre théorique unificateur reliant l'échantillonnage, l'apprentissage par renforcement à auto-récompense et la distillation automatique, conduisant au développement de la distillation automatique par puissance, une méthode hors ligne rentable qui égale ou dépasse les performances de l'échantillonnage par puissance sur les tâches de raisonnement.

Auteurs originaux : Akiyoshi Tomihari, Issei Sato

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akiyoshi Tomihari, Issei Sato

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Trois Façons de Devenir Plus Intelligent

Imaginez que vous avez un étudiant très talentueux (un Modèle de Langage de Grande Taille) qui est doué pour résoudre des problèmes de mathématiques, mais qui commet parfois de petites erreurs ou se perd dans des boucles. Le document pose la question suivante : Comment rendre cet étudiant encore meilleur ?

Actuellement, les chercheurs utilisent trois méthodes principales pour améliorer ces étudiants :

L'Échantillonnage (La Méthode « Réessayer ») : Demandez à l'étudiant de générer 10 réponses différentes, puis choisissez la meilleure.
L'Apprentissage par Renforcement (La Méthode « Coach ») : Faites pratiquer l'étudiant, obtenez un score, et ajustez son cerveau pour obtenir de meilleurs scores la prochaine fois.
La Distillation (La Méthode « Copieur ») : Faites en sorte qu'un professeur ultra-intelligent écrive les réponses parfaites, et faites mémoriser ces réponses à l'étudiant.

Le grand mystère était : Ces trois méthodes font-elles réellement la même chose au fond, ou sont-elles totalement différentes ?

Ce document affirme : Ce sont toutes la même chose. Elles tentent toutes d'atteindre le même « point idéal » d'intelligence, que les auteurs appellent la Distribution de Puissance.

Le Concept Central : La « Distribution de Puissance »

Imaginez le cerveau de l'étudiant comme une carte de toutes les réponses possibles.

Les réponses normales sont comme un paysage plat ; l'étudiant erre au hasard.
La Distribution de Puissance est comme un sommet de montagne. Elle représente les réponses « parfaites » où l'étudiant est le plus confiant et le plus susceptible d'être correct.

Le document soutient que les trois méthodes (Échantillonnage, Apprentissage par Renforcement et Distillation) ne sont que des façons différentes d'essayer de gravir ce sommet de montagne.

1. Échantillonnage : La Randonnée Coûteuse

L'Affirmation du Document : Pour trouver la réponse parfaite (le sommet), vous ne pouvez pas simplement regarder l'étape suivante. Vous devez examiner tout le chemin.

L'Analogie : Imaginez que vous faites une randonnée. Un guide local bon marché (approximation au niveau du token) regarde l'étape suivante et dit : « Va à gauche, ça a l'air joli. » Mais le vrai meilleur chemin (la Distribution de Puissance) exige de savoir que si vous allez à gauche, le sentier se termine par une falaise trois miles plus loin.
Le Résultat : Le document prouve que vous ne pouvez pas simuler cette vision « du chemin entier » avec des astuces locales et bon marché. Pour obtenir la meilleure réponse, vous devez effectuer le travail coûteux de simuler tout le trajet d'abord.

2. Apprentissage par Renforcement : L'Auto-Coach

L'Affirmation du Document : Si vous dites à l'étudiant : « Ta récompense est la confiance que tu as en ta propre réponse », l'étudiant évolue naturellement pour devenir l'escaladeur parfait.

L'Analogie : Imaginez un coach qui dit : « Ne t'inquiète pas d'avoir raison ou tort. Essaie simplement de dire des choses qui te paraissent les plus naturelles. »
Le Résultat : Le document montre mathématiquement que si un étudiant optimise cette « auto-confiance », il finit par gravir exactement le même sommet de montagne (la Distribution de Puissance) que les randonneurs coûteux tentaient d'atteindre.

3. Distillation : Le Raccourci Bon Marché

L'Affirmation du Document : Puisque nous savons que l'« Auto-Coach » mène au sommet parfait, nous pouvons simplement faire mémoriser à l'étudiant les réponses générées par l'« Auto-Coach », sans avoir besoin de faire la randonnée coûteuse à chaque fois.

L'Analogie : Au lieu de faire grimper l'étudiant la montagne 1 000 fois pour trouver le sommet (ce qui prend une éternité et coûte beaucoup d'énergie), le professeur grimpe une fois, note l'itinéraire parfait, et donne une carte à l'étudiant. L'étudiant étudie ensuite la carte.
Le Résultat : Cela s'appelle la Auto-Distillation de Puissance. Cela permet à l'étudiant d'apprendre le comportement « parfait » hors ligne, afin que plus tard, lorsqu'on lui pose une question, il puisse donner la bonne réponse instantanément sans avoir besoin de faire l'échantillonnage coûteux « réessayer ».

Le Problème : Quand Cela Aide-t-il Vraiment ?

Le document ajoute un avertissement très important.

Le fait que l'étudiant apprenne à être plus « confiant » (distribution plus pointue) ne signifie pas qu'il sera plus « correct ».

L'Analogie : Imaginez un étudiant très confiant mais qui a tort. S'il mémorise les « parfaites » mauvaises réponses, il sera simplement confiant à tort.
La Règle : L'étudiant ne s'améliore que sur le vrai test (Récompense Vraie) si sa « confiance » (Récompense Soi-même) est réellement alignée avec le fait d'être « correct ».
- Si la confiance de l'étudiant correspond à la vérité, il devient plus intelligent.
- Si la confiance de l'étudiant n'est qu'une façon sophistiquée d'avoir tort, il ne s'améliorera pas sur le vrai test.

Résumé des Résultats

Les auteurs ont testé cela sur des problèmes de mathématiques :

L'Échantillonnage fonctionne : Utiliser la méthode coûteuse « réessayer » rend le modèle plus confiant et souvent plus correct.
Le Raccourci fonctionne : La méthode « Auto-Distillation de Puissance » (mémoriser les réponses parfaites) permet au modèle de performer aussi bien que la méthode d'échantillonnage coûteuse, mais elle est beaucoup plus rapide et moins chère à utiliser par la suite.
La Limite : L'amélioration ne se produit que si la confiance interne du modèle est réellement un bon guide pour la réponse correcte.

En bref : Le document a découvert que « essayer plusieurs fois », « se coacher soi-même » et « mémoriser un professeur » sont tous mathématiquement connectés. Ils visent tous la même « Distribution de Puissance ». En comprenant cela, nous pouvons remplacer le « essayer plusieurs fois » coûteux et lent par une étape de « mémorisation » rapide et bon marché qui nous donne les mêmes résultats intelligents.

Résumé technique : Échantillonnage des ponts de distribution de puissance, RL à auto-récompense et auto-distillation

1. Énoncé du problème

Des analyses empiriques récentes ont remis en question le fait que l'apprentissage par renforcement (RL) soit le moteur principal des capacités de raisonnement émergentes dans les grands modèles de langage (LLM). Des études suggèrent que les modèles post-RL échouent souvent à surpasser leurs homologues pré-RL lorsqu'ils sont évalués avec de grands budgets d'échantillonnage, ce qui implique que les gains du RL pourraient provenir d'un « affinement de la distribution » plutôt que de la création de nouveaux chemins de raisonnement. Parallèlement, des techniques d'inférence comme l'échantillonnage par puissance (échantillonnage à partir d'une distribution de puissance $\pi^\alpha$ ) et l'auto-distillation ont montré des promesses pour améliorer le raisonnement sans récompenses externes.

Cependant, la relation théorique entre ces trois paradigmes — échantillonnage, RL et auto-distillation — reste floue. Plus précisément, il est inconnu si le succès de l'échantillonnage par puissance reflète un mécanisme distinct du RL et de la distillation, ou s'ils sont connectés par un objectif structurel commun. De plus, il est incertain si le coût de calcul coûteux à l'inférence requis pour l'échantillonnage par puissance peut être amorti dans un entraînement hors ligne.

2. Méthodologie et cadre théorique

Les auteurs proposent que la distribution de puissance serve de pont théorique unificateur reliant ces méthodes. Pour une politique de base $\pi$ et un exposant $\alpha > 1$ , la distribution de puissance est définie comme suit :
$\pi_\alpha(y | x) \propto \pi(y | x)^\alpha$

2.1 La perspective de l'échantillonnage : Limites de l'approximation locale

L'article examine d'abord si la distribution de puissance peut être approximée à bas coût au moment de l'inférence en utilisant des opérations locales (au niveau du token).

Mise à l'échelle de la température token par token : Les auteurs démontrent que l'application d'une transformation de puissance token par token (mise à l'échelle de la température) échoue à reproduire la distribution de puissance au niveau de la séquence. Ils prouvent (Proposition 1) que l'écart entre la température token par token et la puissance au niveau de la séquence est régi par l'entropie de Rényi de la distribution du suffixe. Plus précisément, la puissance au niveau de la séquence favorise les continuations avec une entropie de suffixe plus faible (suffixes plus pointus), une propriété que les approximations locales ne peuvent capturer sans informations globales sur la séquence.
Échantillonnage d'importance séquentiel (SIS) : Les auteurs analysent la proposition optimale en une étape pour le SIS ciblant $\pi_\alpha$ . Ils montrent (Proposition 2) que la proposition minimisant la variance nécessite la connaissance des totalités de préfixe (sommes des masses de puissance sur tous les suffixes possibles). Par conséquent, des propositions locales peu coûteuses ne peuvent pas correspondre à la distribution cible, ce qui explique pourquoi les travaux antérieurs nécessitent des procédures d'inférence coûteuses en calcul (par exemple, Metropolis-Hastings) pour approximer l'échantillonnage par puissance.

2.2 La perspective du RL : Optimalité sous forme fermée

Les auteurs relient l'échantillonnage par puissance au RL régularisé par KL. Ils considèrent un objectif de RL où la récompense est la log-probabilité au niveau de la séquence du modèle lui-même (auto-récompense, $r_{self}(x, y) = \log \pi(y|x)$ ).

Corollaire 1 : Ils prouvent que la distribution de puissance $\pi_\alpha$ est l'optimiseur sous forme fermée de l'objectif de RL régularisé par KL lorsque la récompense est l'auto-récompense et $\alpha = 1 + \beta^{-1}$ . Cela identifie l'échantillonnage par puissance non pas comme une heuristique, mais comme la solution exacte d'un problème spécifique de RL d'auto-amélioration.

2.3 La perspective de la distillation : Auto-distillation par puissance

En tirant parti de la connexion avec le RL, les auteurs dérivent l'auto-distillation par puissance.

Dérivation : En réécrivant l'objectif de RL, ils montrent que la minimisation de la divergence KL inverse (RL standard) est équivalente à la minimisation de la divergence KL directe de la distribution enseignante $\pi_\alpha$ vers la politique étudiante.
Algorithme : Cela permet d'amortir le coût d'inférence coûteux de l'échantillonnage à partir de $\pi_\alpha$ $π_{α}$ dans un entraînement hors ligne. Le processus implique :
1. Échantillonner un ensemble de données $D = \{(x_i, y_i)\}$ où $y_i \sim \pi_\alpha(\cdot|x_i)$ en utilisant un échantillonneur approximatif (par exemple, Metropolis-Hastings).
2. Entraîner un modèle étudiant par ajustement fin supervisé (SFT) sur $D$ pour maximiser la vraisemblance de ces complétions « échantillonnées par puissance ».
Garanties d'affinement : Les auteurs fournissent une borne théorique (Proposition 3) montrant que lorsque le nombre d'échantillons $n \to \infty$ et $\alpha \to \infty$ , le modèle distillé atteint un affinement $(\epsilon, \delta)$ , concentrant la masse de probabilité sur les maximisateurs d'auto-récompense.

2.4 Alignement avec la vraie récompense

L'article aborde la question de savoir si l'affinement de l'auto-récompense améliore une « vraie » récompense externe $r^*$ (par exemple, la correction).

Proposition 4 : Le taux de changement de la récompense vraie attendue par rapport à $\alpha$ est déterminé par la covariance entre la vraie récompense et l'auto-récompense sous la distribution de puissance : $\partial_\alpha \mathbb{E}_{\pi_\alpha}[r^*] = \text{Cov}_{\pi_\alpha}(r^*, r_{self})$ .
Implication : L'amélioration de la vraie récompense n'est garantie que si l'auto-récompense (log-probabilité) est positivement corrélée avec la vraie récompense sous la distribution de puissance. Si elles sont non corrélées ou négativement corrélées, l'affinement peut ne pas améliorer (et pourrait dégrader) la vraie performance.

3. Contributions clés

Unification théorique : L'article établit que l'échantillonnage par puissance, le RL régularisé par KL à auto-récompense et l'auto-distillation sont naturellement connectés par la distribution de puissance, qui agit comme la cible d'échantillonnage, l'optimum du RL et la distribution enseignante.
Difficulté de l'échantillonnage : Il prouve que les approximations token par niveau peu coûteuses (mise à l'échelle de la température, SIS simple) ne peuvent pas reproduire l'échantillonnage par puissance au niveau de la séquence sans accès à des informations au niveau du suffixe, expliquant la nécessité d'un calcul d'inférence coûteux dans les travaux antérieurs.
Auto-distillation par puissance : Il introduit un algorithme de distillation hors ligne qui amortit le coût de l'échantillonnage par puissance dans un entraînement supervisé, atteignant des gains de performance similaires sans nécessiter d'échantillonnage par puissance au moment de l'inférence.
Condition de covariance : Il caractérise les conditions dans lesquelles l'auto-amélioration (affinement) se traduit par une amélioration de la vraie récompense, reliant le gain à la covariance entre l'auto-récompense et la vraie récompense.

4. Résultats expérimentaux

Les auteurs ont évalué leur cadre sur des tâches de raisonnement (MATH, HumanEval, MBPP, GPQA) en utilisant des modèles tels que Qwen2.5-Math-7B et Phi-3.5-mini-instruct.

RQ1 (Augmentation de l'auto-récompense) : L'échantillonnage par puissance a systématiquement augmenté l'auto-récompense ( $r_{self}$ ) par rapport à l'échantillonnage standard et à la mise à l'échelle de la température token par token.
RQ2 (Alignement de la vraie récompense) : Des améliorations de la vraie récompense ( $r^*$ ) ont été observées lorsque $r^*$ était alignée avec $r_{self}$ . Par exemple, sur MATH, l'échantillonnage par puissance a amélioré la précision. Cependant, sur un modèle initialisé aléatoirement (RandW) où $r_{self}$ ne corrélait pas avec la correction, aucun gain de vraie récompense n'a été observé, validant la condition de covariance.
RQ3 (Performance de la distillation) : L'auto-distillation par puissance a permis une auto-amélioration. Le modèle distillé, en utilisant un décodage autorégressif standard (avec température), a égalé ou dépassé les performances du modèle de base utilisant un échantillonnage par puissance coûteux.
- Analyse qualitative : Sur un problème de géométrie, le modèle de base avec mise à l'échelle de la température a produit des formules hallucinées. L'échantillonnage par puissance a produit une logique correcte mais incluait du code non exécuté. Le modèle distillé par puissance, utilisant un décodage standard, a produit un raisonnement robuste, étape par étape, avec la bonne réponse.
Efficacité : Le modèle distillé a éliminé le besoin d'échantillonnage coûteux à l'inférence (Metropolis-Hastings) lors du déploiement, déplaçant le coût de calcul vers l'entraînement hors ligne.

5. Importance et affirmations

L'article prétend clarifier le mécanisme derrière les récents gains de « raisonnement » dans les LLM. Il postule que :

Le succès de l'échantillonnage par puissance n'est pas un phénomène distinct du RL, mais constitue la solution sous forme fermée d'un objectif de RL à auto-récompense.
Les améliorations de « raisonnement » apparentes du RL peuvent être largement le résultat d'un affinement de la distribution (concentration de la masse sur des chemins à haute probabilité et haute récompense) plutôt que de l'émergence de nouvelles capacités.
L'auto-distillation par puissance offre une voie pratique pour réaliser ces bénéfices d'affinement à un coût d'inférence inférieur, rendant les capacités de raisonnement avancées plus accessibles en convertissant la recherche coûteuse à l'inférence en un entraînement hors ligne.

Les auteurs restent modestes, notant que l'auto-amélioration est limitée par les capacités du modèle de base ; si le modèle de base manque des chemins de raisonnement nécessaires, l'affinement ne peut pas les créer. L'analyse est spécifique aux modèles autorégressifs sur des horizons finis.