🤖 machine learning

How Fast Should a Model Commit to Supervision? Training Reasoning Models on the Tsallis Loss Continuum

Ce papier introduit un continuum de perte de Tsallis qui interpole entre l'apprentissage par renforcement et l'estimation de densité pour résoudre l'arrêt au démarrage froid dans les modèles de raisonnement, en proposant deux estimateurs pratiques (GARL et PAFT) qui surpassent nettement les méthodes standard comme GRPO sur des benchmarks de raisonnement complexes en équilibrant la vitesse d'échappement des faibles probabilités de succès avec la stabilité de l'entraînement.

Auteurs originaux : Chu-Cheng Lin, Eugene Ie

Publié 2026-04-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chu-Cheng Lin, Eugene Ie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant très intelligent, mais actuellement très confus, comment résoudre des énigmes complexes. L'étudiant possède un cahier où il peut griffonner ses pensées (une « chaîne de pensée ») avant d'écrire la réponse finale.

L'article que vous avez partagé aborde un problème spécifique : Comment enseigner à cet étudiant lorsqu'il part de zéro ?

Le Problème : L'« Enlisement du Démarrage à Froid »

Lorsque l'étudiant est tout nouveau, il ne trouve presque jamais la bonne réponse immédiatement.

L'Ancienne Méthode (RLVR/GRPO) : Cette méthode ressemble à un enseignant strict qui ne donne qu'un « Bien joué ! » ou « Réessaie » basé sur la réponse finale. Si l'étudiant se trompe 99 fois de suite, il ne reçoit aucun signal de « Bien joué ! ». L'enseignant continue d'attendre un miracle, mais l'étudiant reste coincé dans une boucle d'échec. L'article appelle cela un « enlisement du démarrage à froid ».
Le Piège : Si vous essayez de forcer l'étudiant à apprendre de manière trop agressive à partir des rares fois où il a vraiment raison, il pourrait commencer à mémoriser les erreurs de l'enseignant ou les particularités spécifiques des questions de test (ce qu'on appelle la « mémorisation du bruit »).

La Solution : Un Cadran de « Engagement »

Les auteurs introduisent une nouvelle famille de méthodes d'enseignement basée sur un concept mathématique appelé la Perte de Tsallis. Imaginez cela comme un cadran étiqueté « Engagement » (représenté par la lettre q).

Ce cadran contrôle à quel point l'enseignant se soucie du niveau de compréhension actuel de l'étudiant par rapport à la nécessité de le pousser à apprendre de n'importe quelle tentative, même désordonnée.

Réglage du Cadran à 0 (Le Mode « Sûr ») :
- Analogie : L'enseignant est très prudent. Il ne prête attention à l'étudiant que lorsque celui-ci fait déjà quelque chose de familier.
- Résultat : L'enseignant ignore les tentatives désordonnées et erronées. C'est excellent pour éviter la confusion (le bruit), mais si l'étudiant commence sans aucune connaissance, l'enseignant ne lui donne jamais de poussée. L'étudiant reste coincé pour toujours.
- Affirmation de l'article : C'est trop lent pour échapper au « démarrage à froid ».
Réglage du Cadran à 1 (Le Mode « Aggressif ») :
- Analogie : L'enseignant est extrêmement enthousiaste. Il traite chaque tentative, même les plus terribles, comme une opportunité d'apprentissage précieuse. Il amplifie le signal des rares fois où l'étudiant a raison, en criant : « Regarde ! Tu as réussi ! Apprends-en ! ».
- Résultat : L'étudiant apprend incroyablement vite au début. Il échappe rapidement au « démarrage à froid ».
- Risque : Parce que l'enseignant est si bruyant, l'étudiant pourrait commencer à mémoriser les propres erreurs de l'enseignant ou la formulation spécifique des questions, plutôt que d'apprendre la logique réelle.
Réglage du Cadran à 0,75 (Le « Point Doux ») :
- Analogie : L'enseignant est équilibré. Il est assez bruyant pour pousser l'étudiant hors des starting-blocks (échapper au démarrage à froid), mais pas assez pour noyer le signal sous le bruit.
- Affirmation de l'article : Ce réglage permet au modèle d'apprendre rapidement au début sans s'écraser immédiatement contre un mur de confusion.

Deux Manières de Tourner le Cadran : GARL et PAFT

Puisque les mathématiques sont trop complexes pour être calculées parfaitement, les auteurs ont construit deux outils pratiques (estimateurs) pour tourner ce cadran. Imaginez-les comme deux styles d'enseignement différents utilisant le même cadran.

GARL (Le « Diffuseur ») :
- Fonctionnement : L'enseignant génère de nombreuses « pensées » aléatoires (trajectoires) de la part de l'étudiant. Même si la plupart sont fausses, l'enseignant examine celles qui sont correctes et amplifie leur importance en fonction du réglage du cadran.
- Avantages : C'est très rapide et excellent pour mettre l'étudiant en mouvement lorsqu'il est bloqué (Démarrage à froid).
- Inconvénients : Parfois, l'enseignant devient trop excité, mélange de mauvais exemples, et l'étudiant se confond ou s'écrase plus tard dans l'entraînement (déstabilisation).
PAFT (Le « Filtre ») :
- Fonctionnement : L'enseignant génère de nombreuses pensées, puis les filtre. Il jette les tentatives désordonnées et erronées et ne conserve que celles qui correspondent réellement à la bonne réponse. Ensuite, il enseigne à l'étudiant en utilisant uniquement ces « bons » exemples, mais il atténue l'intensité en fonction du cadran.
- Avantages : C'est très stable. L'étudiant apprend à partir d'exemples propres et cohérents. Il ne s'écrase pas.
- Inconvénients : C'est plus lent au départ car il rejette tellement de données.

Ce Qui S'est Passé dans les Expériences ?

Les auteurs ont testé cela sur trois énigmes de raisonnement difficiles (FinQA, HotPotQA et MuSiQue).

Lorsque l'étudiant était totalement perdu (Démarrage à froid) :
- Les anciennes méthodes (cadran à 0) ont échoué complètement. L'étudiant n'a jamais appris.
- Le « Diffuseur » (GARL) avec un réglage de cadran élevé (0,75) a sauvé la mise. Il a poussé l'étudiant hors des starting-blocks là où les autres ont échoué.
- Fait intéressant, le « Diffuseur » avec un cadran à 0,75 a mieux performé que le cadran « Aggressif » à 1, prouvant qu'un peu de filtrage du bruit est bénéfique même au début.
Lorsque l'étudiant apprenait déjà (Démarrage à chaud) :
- Sur certaines énigmes (FinQA), le « Diffuseur » (GARL) a bien fonctionné avec un réglage de cadran bas.
- Sur des énigmes plus difficiles (HotPotQA, MuSiQue), le « Diffuseur » est devenu trop excité et les performances de l'étudiant se sont effondrées à zéro.
- Le « Filtre » (PAFT) a été le héros ici. Même s'il était plus lent, il a maintenu l'étudiant stable et a obtenu les scores finaux les plus élevés.

La Grande Conclusion

L'article soutient qu'il n'existe pas une seule façon « parfaite » d'entraîner un modèle de raisonnement.

Si votre modèle est coincé à zéro, vous avez besoin d'un engagement élevé (GARL avec un cadran élevé) pour le forcer à apprendre.
Si votre modèle apprend mais est instable, vous avez besoin de stabilité (PAFT) pour le maintenir sur la bonne voie.

Les auteurs ont créé un « continuum » (une échelle de glissement fluide) qui vous permet d'ajuster cet équilibre dynamiquement, plutôt que d'avoir à choisir entre « sûr mais lent » ou « rapide mais risqué ». Ils ont constaté qu'un réglage intermédiaire (autour de 0,75) offre souvent le meilleur des deux mondes : assez rapide pour échapper au début, mais assez stable pour finir la course.

1. Énoncé du problème

Le papier aborde deux modes d'échec critiques dans l'entraînement de modèles de raisonnement (modèles générant des chaînes de pensée latentes avant de répondre) en utilisant uniquement une supervision au niveau de la sortie :

Stagnation du démarrage à froid (Cold-Start Stalling) : Lorsque la probabilité initiale de succès ( $p_0$ ) est très faible, l'apprentissage par renforcement classique à partir de récompenses vérifiables (RLVR) et ses variantes (comme GRPO ou REINFORCE de Rao-Blackwellisé) échouent souvent à progresser. Le signal de gradient est trop faible pour sortir du régime de « démarrage à froid ».
Mémorisation du bruit (Noise Memorization) : À l'inverse, les méthodes qui poussent agressivement le modèle à ajuster la distribution d'entraînement (comme le fine-tuning supervisé classique ou l'estimation de vraisemblance maximale) ont tendance à mémoriser les erreurs d'étiquetage et le bruit, réduisant ainsi la généralisation et l'auto-cohérence.

Les approches existantes traitent ces problèmes comme distincts. Les auteurs soutiennent qu'il s'agit de deux extrémités d'un spectre régi par le « engagement » du modèle envers le signal de supervision. Ils proposent un cadre théorique unifié pour équilibrer la vitesse de sortie du démarrage à froid contre la robustesse au bruit.

2. Méthodologie : Le continuum de perte $J_Q$

La contribution centrale est la définition d'une famille de pertes, $J_Q$ , dérivée du $q$ -logarithme de Tsallis. Cette famille interpole entre deux pôles :

Pôle d'exploitation ( $q=0$ ) : Correspond à la maximisation de l'exactitude attendue (équivalent au RLVR avec des récompenses d'exactitude parfaite). La perte est bornée ( $1 - P_\theta$ ).
Pôle d'estimation de densité ( $q=1$ ) : Correspond à la maximisation de la vraisemblance marginale-logarithmique sur les trajectoires latentes (équivalent au SFT/ML classique). La perte est non bornée ( $-\log P_\theta$ ).

Insight théorique clé : Amplification du gradient

Tous les membres de la famille $J_Q$ partagent la même direction de gradient par exemple, différant uniquement par un facteur d'amplification scalaire :
$\nabla_\theta \ell_q = P_\theta^{-q} \nabla_\theta \ell_0 = P_\theta^{1-q} \nabla_\theta \ell_1$
Où $P_\theta = p_\theta(y^*|x^*)$ est la probabilité de succès conditionnelle du modèle.

Le paramètre $q$ (Engagement) : Contrôle l'amplification du gradient pour les exemples « difficiles » (faible $P_\theta$ $P_{θ}$ ).
- Faible $q$ (proche de 0) : Amplification minimale. Le modèle se concentre sur ce qu'il connaît déjà (robuste au bruit) mais sort lentement du démarrage à froid (temps $\Omega(1/p_0)$ ).
- Élevé $q$ (proche de 1) : Amplification massive pour les exemples de faible probabilité. Le modèle explore agressivement une supervision inconnue, sortant rapidement du démarrage à froid (temps $\Theta(\log(1/p_0))$ ) mais risquant de mémoriser le bruit.

Estimateurs de gradient

Puisque $P_\theta$ est intraitable (il implique une somme sur toutes les trajectoires latentes), les auteurs dérivent deux estimateurs de Monte Carlo basés sur la factorisation duale du gradient :

GARL (Gradient-Amplified RL) :
- Mécanisme : Échantillonne des trajectoires à partir de la prior $p_\theta(z|x^*)$ et amplifie le gradient RL standard par $(\bar{w}_M)^{-q}$ .
- Caractéristiques : Variance plus faible, généralise RB-REINFORCE ( $q=0$ ) et IWAE ( $q=1$ ).
- Cas d'usage : Essentiel pour les scénarios de démarrage à froid où l'échantillonnage du posterior ne produit aucune trajectoire valide.
PAFT (Posterior-Attenuated Fine-Tuning) :
- Mécanisme : Rééchantillonne par importance des trajectoires à partir du posterior (celles s'accordant avec la réponse) et atténue le gradient SFT par $(\bar{w}_M)^{1-q}$ .
- Caractéristiques : Produit des gradients sémantiquement cohérents (mise à jour uniquement sur des rationaux valides) mais présente une variance plus élevée due au bruit de rééchantillonnage. Généralise l'étape E de l'algorithme EM ( $q=1$ ).
- Cas d'usage : Plus stable lors de l'entraînement en démarrage à chaud, empêchant l'« effondrement » observé dans GARL sur des ensembles de données complexes.

3. Contributions clés

Cadre théorique unifié : Le papier fournit le premier compte rendu théorique unifiant la stagnation du démarrage à froid et la mémorisation du bruit comme un compromis contrôlé par le paramètre $q$ .
Analyse de la vitesse de sortie : Les preuves théoriques (Théorèmes 5.1 et 5.2) démontrent que le temps nécessaire pour sortir du démarrage à froid évolue en $\Omega(1/p_0)$ pour $q=0$ , mais s'améliore jusqu'à $\Theta(\log(1/p_0))$ pour $q=1$ . Cela explique pourquoi le RLVR classique échoue lorsque $p_0$ est faible.
Estimateurs duaux (GARL et PAFT) : La dérivation de deux estimateurs pratiques, prêts à l'emploi, permettant aux praticiens d'ajuster le niveau d'« engagement » sans modifier l'architecture du modèle.
Compromis biais-variance : Une analyse montrant que si un $q$ élevé accélère l'apprentissage, il introduit un biais d'estimateur ( $O(q/MP_\theta^{q+1})$ ), rendant nécessaires des valeurs intermédiaires de $q$ pour des performances optimales.

4. Résultats empiriques

Les auteurs ont évalué GARL et PAFT sur trois benchmarks de raisonnement (FinQA, HotPotQA, MuSiQue) en utilisant un modèle Qwen 3 0.6B.

Performance en démarrage à froid :
- Le GRPO standard et $q=0$ (RB-RLOO) ont totalement échoué (0 % de précision) sur les tâches de démarrage à froid.
- GARL avec $q=0.75$ a réussi à sortir du démarrage à froid, atteignant une précision significative (par exemple, 38,3 % maj@16 sur FinQA contre 0 % pour GRPO).
- $q=1$ a permis de sortir du démarrage à froid mais a souffert d'une mémorisation de bruit plus élevée, résultant en une précision finale inférieure à celle de $q=0.75$ .
Performance en démarrage à chaud :
- FinQA : L'entraînement était stable pour toutes les valeurs de $q$ . GARL à $q=0.25$ a obtenu les meilleurs résultats (38,7 % maj@16), surpassant GRPO de +11,8 points.
- HotPotQA et MuSiQue : GARL s'est effondré (la précision de validation est tombée à zéro) pendant l'entraînement pour toutes les valeurs de $q$ testées, probablement en raison d'une corruption du terme par chemin ou d'un surajustement.
- Stabilité de PAFT : PAFT ne s'est pas effondré sur aucun benchmark. PAFT à $q=0.75$ a obtenu les meilleurs résultats stables sur HotPotQA (47,9 % maj@16, +14,4 par rapport à GRPO) et MuSiQue (22,4 % maj@16).
Indépendance vis-à-vis des invites (Prompts) : De manière remarquable, le modèle GARL entraîné en démarrage à froid (sans invites spécifiques à la tâche) a surpassé le modèle GRPO entraîné en démarrage à chaud (avec invites) sur toutes les métriques, suggérant qu'un fort engagement ( $q \approx 0.75$ ) permet au modèle de découvrir la structure de la tâche directement à partir des paires entrée-sortie.

5. Signification et implications pratiques

Résolution du goulot d'étranglement du démarrage à froid : Le papier démontre que le goulot d'étranglement du RLVR n'est pas seulement la variance du gradient (résolue par la Rao-Blackwellisation) mais le manque d'amplification du gradient pour les exemples de faible probabilité. Augmenter $q$ résout ce problème.
Stratégie d'entraînement dynamique : Les auteurs proposent une recette pratique :
- Démarrage à froid : Utiliser GARL avec un $q$ élevé ( $\approx 0.75$ ) pour forcer le modèle à sortir du régime de récompense nulle.
- Démarrage à chaud : Si l'entraînement est stable (par exemple FinQA), utiliser GARL avec un $q$ faible ( $\approx 0.25$ ) pour minimiser le biais. Si l'entraînement est instable (par exemple HotPotQA), passer à PAFT avec un $q$ élevé ( $\approx 0.75$ ) pour maintenir la stabilité via des gradients cohérents.
Au-delà du RLVR : Ce cadre offre une manière principielle d'interpoler entre l'apprentissage par renforcement et le fine-tuning supervisé, dépassant le pipeline rigide « SFT puis RL » pour accéder à un spectre continu d'engagement.

En résumé, le papier démontre que l'engagement envers la supervision est un hyperparamètre ajustable. En ajustant $q$ , les praticiens peuvent contrôler le compromis entre la vitesse d'apprentissage (sortir du démarrage à froid) et la robustesse de l'apprentissage (éviter la mémorisation du bruit), conduisant à des performances de pointe sur des tâches de raisonnement complexes.