🤖 AI

Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

Cet article présente la projection de Boltzmann échantillonnée par référence (BOLT), une méthode qui dérive un objectif unique d'apprentissage supervisé par fine-tuning (SFT) pondéré et normalisé par l'invite pour correspondre exactement à la politique cible de RLVR régularisée par KL, éliminant ainsi les goulots d'étranglement du déploiement en ligne tout en fournissant une analyse en un seul coup finie qui clarifie les limites de l'entraînement statique et les avantages de l'échantillonnage rafraîchi.

Auteurs originaux : Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant (un modèle d'IA) comment résoudre des problèmes mathématiques difficiles. Vous avez un enseignant très strict (un « vérificateur ») qui peut vérifier instantanément si une réponse est juste ou fausse, mais cet enseignant n'explique pas pourquoi elle est juste ; il se contente de donner un score.

Ce papier aborde un problème spécifique : Comment enseigner à l'étudiant en utilisant ces scores sans avoir à générer de nouveaux problèmes d'exercice à chaque fois que nous mettons à jour le cerveau de l'étudiant ?

Voici la décomposition des idées du papier à l'aide d'analogies simples :

1. L'Ancienne Méthode : La Boucle de Formation « En Direct »

Actuellement, la plupart des formations d'IA avancées fonctionnent comme une compétition de cuisine en direct.

Le chef (l'IA) prépare un plat (génère une réponse).
Le juge (le vérificateur) le goûte et donne un score.
Le chef ajuste immédiatement sa recette en fonction de ce score.
Ensuite, le chef prépare un nouveau plat, le juge le goûte à nouveau, et le cycle se répète.

Le Problème : C'est incroyablement coûteux et lent. Chaque fois que le chef apprend quelque chose, il doit retourner en cuisine, acheter des ingrédients frais et cuisiner à nouveau juste pour obtenir la leçon suivante. La « cuisine » (la puissance de calcul) est le goulot d'étranglement.

2. Le Raccourci Proposé : Le « Menu Gelé »

Le papier suggère une approche différente : Prendre une photo de la cuisine.

Au lieu de cuisiner en direct, nous demandons au chef de préparer 100 plats une seule fois en utilisant sa recette actuelle.
Nous demandons au juge de noter les 100 plats.
Nous figeons cette liste de plats et de scores.
Maintenant, nous pouvons entraîner le chef sur cette liste statique autant de fois que nous le souhaitons sans retourner en cuisine.

La Contrainte : Si vous entraînez simplement sur cette liste, vous devez décider combien d'attention accorder à chaque plat.

Mauvaise approche : « Ce plat a obtenu un score de 10, donc étudions-le 10 fois plus que celui qui a obtenu un score de 1. »
L'Insight du Papier : Cette simple mathématique ne fonctionne pas. La liste de plats a été créée par la vieille recette du chef. Si l'ancienne recette produisait rarement des plats « parfaits », votre liste n'en aura pas, peu importe combien vous les étudiez.

3. La Découverte Centrale : La « Recette Parfaite » (Projection de Boltzmann)

Les auteurs ont découvert la formule mathématique exacte pour pondérer ces plats figés afin que l'étudiant apprenne la même chose que s'il avait participé à la compétition coûteuse « en direct ».

Ils appellent cela BOLT (Boltzmann-Targeted SFT).

Pensez-y ainsi :

Imaginez que la « Recette Parfaite » est une carte indiquant où les meilleurs plats devraient se trouver.
Le « Menu Gelé » est une carte indiquant où les plats sont réellement.
Le papier prouve que pour faire en sorte que le Menu Gelé enseigne la Recette Parfaite, vous ne pouvez pas vous fier uniquement au score. Vous devez calculer un poids spécial pour chaque plat.
Ce poids est basé sur : À quel point ce plat est meilleur que la moyenne, ajusté selon sa rareté initiale.

Si le chef prépare rarement un plat parfait, mais que le juge lui a donné un score élevé, cette formule dit : « Ce plat est un joyau rare ! Nous devons l'étudier intensivement. » Si le chef a préparé un plat parfait très facilement, la formule dit : « Nous avons déjà vu cela ; étudiez-le normalement. »

4. La Limite « One-Shot » : Les Ingrédients Manquants

Le papier explique également une limite stricte.

L'Analogie : Imaginez que vous essayez d'enseigner au chef à préparer un « Gâteau Dragon d'Or ».
Si l'ancienne recette du chef n'a jamais produit de Gâteau Dragon d'Or (même un mauvais), et que vous n'avez qu'un menu gelé de 1 000 gâteaux ordinaires, vous ne pouvez pas lui apprendre à faire le Gâteau Dragon.
Aucune quantité d'étude du menu gelé ne créera un Gâteau Dragon si les ingrédients (les données) ne sont pas là.
La Leçon : Vous ne pouvez pas corriger un ingrédient manquant en étudiant plus dur. Vous devez retourner en cuisine et essayer de préparer le Gâteau Dragon d'abord (cela s'appelle « rafraîchir l'échantillonneur »).

5. La Stratégie de « Rafraîchissement » : Apprentissage Itératif

Et si le chef presque réussit à faire le Gâteau Dragon ?

Le papier suggère une stratégie appelée BOLT Itératif.
Étape 1 : Entraînez-vous sur le menu gelé. Le chef s'améliore légèrement.
Étape 2 : Prenez le nouveau chef et demandez-lui de préparer un nouveau lot de plats.
Étape 3 : Figez ce nouveau lot et entraînez-vous à nouveau.
Pourquoi cela fonctionne : Parce que le chef est maintenant meilleur, il est plus susceptible de faire accidentellement un « Gâteau Dragon d'Or » dans le nouveau lot. En répétant cette boucle, le chef apprend progressivement à faire le plat impossible, étape par étape.

6. Les Résultats : Plus Rapide et Plus Intelligent

Les auteurs ont testé cela sur des problèmes de mathématiques et de codage (comme GSM8K et HumanEval).

Vitesse : Parce qu'ils ont déplacé la « cuisson » (génération de réponses) et le « scoring » hors de la boucle principale d'entraînement, ils ont économisé d'énormes quantités de temps et de mémoire informatique (jusqu'à 85 % plus rapide dans certains tests).
Précision : En utilisant leurs poids spéciaux « BOLT » au lieu de simples scores bruts, l'IA a mieux appris que les méthodes utilisant uniquement des scores bruts.
Le Point de « Saturation » : Ils ont montré que si vous continuez simplement à vous entraîner sur la même liste gelée, l'IA finit par arrêter de s'améliorer (elle atteint un mur). Mais si vous « rafraîchissez » la liste (retournez en cuisine pour un nouveau lot), l'IA saute à un nouveau niveau de performance.

Résumé

Ce papier fournit un plan pour un entraînement d'IA efficace. Il dit :

N'entraînez pas seulement sur de « bonnes » réponses ; entraînez-vous sur des réponses pondérées par une formule spécifique qui tient compte de la difficulté de les trouver.
Vous ne pouvez pas apprendre ce que vous n'avez pas échantillonné ; si vos données ne contiennent pas la réponse, aucune quantité d'entraînement ne la créera.
Pour apprendre des choses difficiles, vous devez périodiquement retourner en arrière et générer de nouvelles données basées sur vos compétences actuelles, puis ré-entraîner.

Cela transforme une boucle de rétroaction lente, coûteuse et en direct en un processus rapide et efficace en deux étapes : Générer une fois, pondérer correctement, et apprendre en profondeur.

Énoncé du Problème

L'apprentissage par renforcement en ligne avec récompenses vérifiables (RLVR) transforme des résultats vérifiables (par exemple, des preuves mathématiques, des tests unitaires de code) en signaux d'entraînement évolutifs. Cependant, les méthodes en ligne standard (comme PPO ou GRPO) maintiennent la génération de défilements, le score du vérificateur et les évaluations de la politique de référence sur le chemin critique d'optimisation, entraînant des coûts computationnels élevés et une utilisation importante de la mémoire.

Une alternative naturelle consiste à découpler la génération de l'optimisation : échantillonner une fois des défilements vérifiés, attribuer des poids et entraîner via un Fine-Tuning Supervisé (SFT) statique. Cependant, le papier identifie une ambiguïté fondamentale dans cette approche : le SFT pondéré n'est pas un objectif unique. La politique induite par le SFT pondéré dépend conjointement de l'échantillonneur qui a produit les défilements et des poids qui leur sont attribués. Simplement attacher des poids à des données précalculées ne garantit pas que la politique résultante corresponde à l'optimiseur de l'objectif RLVR original régularisé par KL en ligne. Sans une condition spécifique de correspondance de cible, le SFT pondéré statique peut ajuster une politique différente de la solution RLVR visée, même avec des données infinies et une optimisation exacte.

Méthodologie : Théorie de la Projection Boltzmannienne

Le papier développe un cadre théorique pour identifier la correspondance exacte au niveau de la politique entre le SFT pondéré statique et le RLVR régularisé par KL à référence fixe.

1. La Politique Cible (Cible Boltzmannienne à Référence Fixe)
Le papier établit que l'optimiseur de l'objectif RLVR régularisé par KL (maximisant la récompense moins la divergence KL par rapport à une politique de référence $\pi_{ref}$ ) est une politique conditionnelle spécifique, la cible Boltzmannienne $\pi^*$ :
$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$
où $r(x, y)$ est la récompense du vérificateur et $\beta$ est la température. Cette cible est une inclinaison exponentielle de la politique de référence.

2. L'Identité Cible-Induite
En utilisant la Proposition 1, les auteurs montrent que tout objectif de SFT pondéré induit une politique cible $\tilde{\pi}_w$ proportionnelle au produit de l'échantillonneur $q$ et du poids $w$ : $\tilde{\pi}_w \propto q(y|x)w(x,y)$ .
Pour remplacer fidèlement le RLVR en ligne, la politique induite $\tilde{\pi}_w$ doit être égale à la cible Boltzmannienne $\pi^*$ .

3. La Loi de Correspondance de Cible
Le papier dérive la condition nécessaire pour cette correspondance (Théorème 4). Pour un échantillonneur $q$ fixe, les poids doivent être proportionnels au rapport de densité $\pi^*/q$ .
Crucialement, dans la sous-classe échantillonnée par référence où les défilements sont générés à partir de la politique de référence ( $q = \pi_{ref}$ ), la condition se simplifie de manière unique en le poids Boltzmannien normalisé par le prompt :
$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$
où $Z(x)$ est la fonction de partition (normalisateur). Ce poids est exactement la dérivée de Radon–Nikodym convertissant les défilements de référence en défilements cibles.

4. L'Algorithme BOLT
Sur la base de cette théorie, les auteurs proposent BOLT (SFT Ciblé Boltzmannien). Il opère en deux phases :

Phase 1 (Précalcul) : Échantillonner des défilements à partir de la politique de référence, les évaluer avec un vérificateur, et calculer les poids empiriques Boltzmanniens normalisés par le prompt en utilisant une estimation de Monte Carlo de $Z(x)$ .
Phase 2 (Optimisation) : Entraîner le modèle en utilisant un SFT multi-époches standard sur cet ensemble de données pondéré fixe.
Comme le travail lourd (échantillonnage, notation, normalisation) est précalculé, la phase d'optimisation ne nécessite aucun passage avant du modèle de référence, réduisant considérablement les coûts de mémoire et de calcul par rapport au RLVR en ligne.

Analyse One-Shot Finie et Limites

Le papier fournit une analyse rigoureuse à échantillon fini (Sections 5 et 6) qui décompose l'erreur de remplacement statique en composantes distinctes :

Écart Restreint au Support : Si la politique de référence $\pi_{ref}$ n'échantillonne jamais une complétion à haute récompense, aucune quantité de pondération ou d'optimisation ne peut la récupérer. Le papier prouve une borne inférieure exacte sur la perte de valeur : $\beta \log(1/\pi^*(S_N | x))$ , où $S_N$ est le support stocké. Cela explique pourquoi des époques SFT supplémentaires ne peuvent pas réparer une couverture manquante.
Frontière Température–Couverture–Variance : Il existe un compromis où la baisse de $\beta$ (affûtant la cible) augmente le coût de la taille d'échantillon effective (ESS) et la variance du normalisateur, rendant l'estimation plus difficile si la probabilité de passage de référence est faible.
Rafraîchissement Itératif comme Descente de Miroir de Politique KL : Lorsque la couverture est faible mais non nulle, le papier montre que le BOLT itératif (où la politique mise à jour devient la nouvelle référence pour le tour suivant) est mathématiquement équivalent à la Descente de Miroir de Politique KL (KL-PMD). Ce processus accumule les inclinaisons de récompense et améliore la couverture des défilements futurs, ce que la réutilisation statique one-shot ne peut pas faire.

Résultats Clés et Preuves Empiriques

Les auteurs valident leur théorie en utilisant des modèles Qwen sur les benchmarks GSM8K (mathématiques) et HumanEval (code). Les expériences sont conçues pour isoler des mécanismes théoriques spécifiques plutôt que de revendiquer une domination des classements.

Correspondance de Cible : La comparaison de BOLT (poids Boltzmanniens) avec « Refit » (poids de récompense bruts) sur les mêmes défilements de référence montre que BOLT atteint une précision significativement plus élevée (par exemple, +1,44 sur GSM8K, +3,60 sur MATH). Cela confirme que le poids spécifique du rapport de densité, et non seulement la source de données, détermine la cible induite.
Efficacité : BOLT atteint une précision comparable ou légèrement supérieure à GRPO en ligne tout en réduisant le temps d'entraînement d'environ 75–85 % et la mémoire de pointe d'environ 18–31 %, car il supprime la boucle en ligne.
Saturation One-Shot vs Rafraîchissement : Les expériences montrent que le BOLT one-shot sature souvent après quelques époques si le support de référence est limité. Cependant, le BOLT itératif (rafraîchissant l'échantillonneur) continue d'améliorer les performances, validant l'interprétation KL-PMD.
Rétention : Les méthodes utilisant des défilements de référence (BOLT, Refit) montrent moins d'oubli catastrophique sur les benchmarks généraux (PIQA, HellaSwag) par rapport au SFT uniquement sur démonstration, suggérant que les défilements de référence aident à ancrer la distribution.

Signification et Revendications

Le papier revendique fournir une compréhension au niveau du mécanisme du remplacement statique RLVR, allant au-delà des comparaisons heuristiques des pertes d'entraînement. Ses contributions principales sont :

Identification de la Cible : Il établit que le SFT pondéré statique n'est un remplacement fidèle du RLVR à référence fixe que si le produit échantillonneur-poids induit la cible Boltzmannienne spécifique. Il identifie le rapport de densité Boltzmannien normalisé par le prompt comme le poids unique pour les données échantillonnées par référence.
Décomposition de l'Écart Fini : Il sépare le « prix du support » irréductible (couverture manquante) des erreurs d'estimation finies (variance du normalisateur, dérive d'optimisation). Cela clarifie que les méthodes statiques ne peuvent pas corriger les écarts de couverture que la politique de référence n'a pas réussi à échantillonner.
Interprétation Itérative : Il reformule l'échantillonnage et la pondération itératifs non pas simplement comme « plus d'optimisation », mais comme une forme de Descente de Miroir de Politique KL qui améliore activement la couverture.
Efficacité Pratique : Il démontre que le précalcul des quantités définissant la cible (poids) permet une procédure de SFT statique qui correspond à la cible théorique du RLVR en ligne avec une surcharge computationnelle considérablement réduite.

Les auteurs restent modestes, notant que leurs résultats sont basés sur des expériences à exécution unique et des tailles de modèles spécifiques. Ils soulignent que la théorie identifie quand le remplacement statique est valide (régimes couverts) et pourquoi il échoue (écarts de support), plutôt que de revendiquer une supériorité universelle sur toutes les méthodes en ligne. Ce travail sert de pont théorique entre la géométrie du RL régularisé par KL et l'implémentation pratique de l'apprentissage supervisé statique et pondéré.