🤖 machine learning

TEMPO: Scaling Test-time Training for Large Reasoning Models

Le papier présente TEMPO, un cadre d'entraînement au moment du test qui surmonte les limitations des méthodes existantes pour les modèles de raisonnement en intercalant l'affinement de la politique sur des données non étiquetées avec une recalibration périodique d'un critique sur des données étiquetées, permettant ainsi des améliorations de performance continues et une diversité préservée.

Auteurs originaux : Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

Publié 2026-04-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🚀 TEMPO : Apprendre à réfléchir en temps réel

Imaginez un élève très brillant, disons Léo, qui a passé des années à étudier pour devenir un expert en mathématiques et en logique. Il a lu tous les livres, résolu des milliers d'exercices et passé ses examens avec succès. C'est ce qu'on appelle un "Modèle de Raisonnement" (comme les IA Qwen ou OLMO mentionnées dans le papier).

Mais il y a un problème : une fois les examens finis, Léo arrête d'apprendre. Si on lui donne un nouveau problème qu'il n'a jamais vu (un problème de l'année 2024 ou 2025), il ne peut pas utiliser ses notes de classe pour s'améliorer pendant qu'il réfléchit. Il reste figé dans ses connaissances passées.

C'est là qu'intervient TEMPO (Test-time Expectation-Maximization Policy Optimization). C'est une méthode qui permet à l'IA d'apprendre pendant qu'elle résout le problème, sans avoir besoin d'un professeur humain pour lui donner la réponse immédiate.

🎭 Le problème des anciennes méthodes : Le cercle vicieux

Avant TEMPO, d'autres méthodes tentaient de faire apprendre l'IA sur ses propres erreurs. C'était comme demander à Léo de se noter lui-même.

Le piège : Léo commence à résoudre un problème. Il se dit : "Je suis sûr à 100 % que ma réponse est bonne !" (même si elle est fausse).
La conséquence : Comme il se fait confiance, il continue de penser de la même manière. Il devient de plus en plus confiant, mais de moins en moins créatif. Il finit par se bloquer dans une seule façon de penser (comme un disque rayé) et ses performances plafonnent. C'est ce qu'on appelle l'effondrement de la diversité.

🎹 La solution TEMPO : Le Duo "Acteur" et "Critique"

TEMPO change la donne en introduisant deux personnages qui travaillent en équipe, comme un acteur et un critique de théâtre.

1. L'Acteur (Le Modèle)

C'est l'IA qui essaie de résoudre le problème. Elle génère des réponses, essaie différentes approches, comme un acteur qui improvise une scène.

2. Le Critique (Le Juge)

C'est une petite IA spécialisée qui note les réponses de l'Acteur. Mais attention, ce n'est pas n'importe quel critique !

🔄 La Magie : La Danse Alternée (Étape E et Étape M)

La grande innovation de TEMPO est de faire alterner deux étapes, comme une danse bien chorégraphiée :

🟢 Étape 1 : La Récalibration du Critique (Le "E-Step")

Imaginez que le Critique commence à oublier ses règles ou à devenir trop sévère (ou trop gentil) à force de regarder l'Acteur.

Ce que fait TEMPO : De temps en temps, on ramène le Critique dans une salle de classe avec des vrais exercices corrigés (des données étiquetées).
L'analogie : C'est comme si le critique de théâtre prenait une pause pour relire les manuels de théâtre et se rappeler ce qu'est vraiment une bonne performance. Cela le remet "les pieds sur terre" et l'empêche de se tromper.

🔵 Étape 2 : L'Amélioration de l'Acteur (Le "M-Step")

Maintenant que le Critique est bien calibré et fiable, il regarde l'Acteur résoudre de nouveaux problèmes (ceux qu'on ne connaît pas encore).

Ce que fait TEMPO : L'Acteur essaie de résoudre le problème. Le Critique, qui est maintenant très juste, donne des notes précises : "Cette partie de ta réponse est brillante, garde-la ! Cette autre partie est confuse, change-la."
Le résultat : L'Acteur apprend de ces feedbacks précis et s'améliore instantanément, même sans connaître la réponse finale.

🌟 Pourquoi c'est génial ?

Pas de plafond de verre : Les anciennes méthodes s'arrêtaient quand l'IA devenait trop confiante. TEMPO continue d'avancer indéfiniment car le Critique est régulièrement "recalibré" pour rester honnête.
La diversité est sauvegardée : Au lieu de forcer l'IA à choisir une seule réponse (comme le font les autres méthodes), TEMPO encourage l'Acteur à explorer différentes façons de résoudre le problème, tant qu'elles sont de qualité. C'est comme si l'Acteur essayait 10 façons différentes de jouer une scène, et le Critique gardait les 3 meilleures, au lieu de dire "Non, fais juste comme moi".
Des résultats concrets : Sur des tests de mathématiques très difficiles (comme les Olympiades), TEMPO a permis à des modèles de passer de 33 % de réussite à 51 %, et même de 42 % à 65 % pour des modèles plus gros. C'est énorme !

🏁 En résumé

TEMPO, c'est comme donner à un génie un tuteur intelligent qui :

Se repose régulièrement pour se rappeler des règles de base (pour ne pas se tromper).
Guide le génie sur de nouveaux problèmes en temps réel.
Empêche le génie de devenir arrogant ou de se bloquer dans une seule idée.

Grâce à cette méthode, l'IA ne se contente plus de "réciter" ce qu'elle a appris à l'école. Elle apprend à penser et à s'adapter en direct, transformant chaque nouveau problème en une opportunité de devenir plus intelligente.

Titre : TEMPO : Mise à l'échelle de l'entraînement au moment de l'inférence pour les grands modèles de raisonnement

1. Problématique

Les Grands Modèles de Raisonnement (LRM) démontrent des capacités remarquables dans des tâches complexes (mathématiques, logique, physique) en allouant une grande puissance de calcul au moment de l'inférence. Cependant, leurs paramètres restent figés après l'entraînement initial, ce qui les empêche d'intégrer les connaissances acquises lors de l'expérience en temps réel (au moment de l'inférence).

L'entraînement au moment de l'inférence (Test-Time Training - TTT) vise à combler ce vide en permettant aux modèles de mettre à jour leurs paramètres sur des données de test non étiquetées. Malgré des gains initiaux prometteurs, les méthodes TTT existantes (comme TTRL, EMPO, Theta-Evolve) souffrent de deux limitations fondamentales :

Plafonnement des performances : Les signaux de récompense auto-générés (basés sur l'entropie, la cohérence ou le vote majoritaire) sont intrinsèquement limités par les capacités initiales du modèle. À mesure que le modèle s'améliore, ces signaux deviennent biaisés, conduisant à une saturation rapide.
Effondrement de la diversité : Pour maximiser la performance moyenne, ces méthodes tendent à converger vers un ensemble restreint de motifs de raisonnement, supprimant les solutions alternatives valides et dégradant la qualité globale du raisonnement.

La cause racine de ces échecs est l'absence d'étiquettes de vérité terrain au moment de l'inférence, ce qui crée une boucle d'auto-renforcement où le modèle surestime la qualité de ses propres réponses erronées.

2. Méthodologie : TEMPO

Les auteurs proposent TEMPO (Test-time Expectation-Maximization Policy Optimization), un cadre TTT qui découple la génération de récompense de l'optimisation de la politique via une conception alternée Acteur-Critique, formalisée par l'algorithme Expectation-Maximization (EM).

Le processus alterne entre deux étapes :

Étape E (Expectation) : Recalibrage du Critique
- Le modèle "Critique" est mis à jour périodiquement sur un jeu de données étiqueté ( $D_L$ ).
- Son rôle est d'estimer la distribution a posteriori de la justesse des réponses ($P(Correct|y, x)$).
- Cela permet de maintenir un signal de récompense ancré dans une supervision externe, évitant ainsi la dérive du signal au fur et à mesure que la politique évolue.
Étape M (Maximization) : Raffinement de la Politique
- Le modèle "Acteur" (la politique $\pi_\theta$ ) génère des trajectoires de raisonnement sur des questions de test non étiquetées ( $D_u$ ).
- Il est optimisé pour maximiser la vraisemblance pondérée par les scores du Critique (qui sert de récompense).
- Cela permet une adaptation en temps réel à de nouveaux problèmes sans étiquettes.

Formalisation Théorique :
Le papier démontre que l'optimisation de la probabilité de réponse correcte peut être vue comme la maximisation d'une borne inférieure de vraisemblance (ELBO). Les méthodes précédentes sont interprétées comme des variantes incomplètes de l'algorithme EM qui exécutent uniquement l'étape M (optimisation de la politique) en ignorant l'étape E (estimation/recalibrage de la qualité des étiquettes). TEMPO réintroduit l'étape E, ce qui resserre la borne inférieure et permet une amélioration continue.

3. Contributions Clés

Cadre TEMPO : Un nouveau framework TTT qui réalise des gains de performance durables grâce à une optimisation alternée Acteur-Critique, évitant les pièges de l'auto-entraînement pur.
Analyse Unifiée : Une interprétation théorique démontrant que les méthodes TTT existantes sont des procédures EM dégénérées (manquant l'étape E). L'identification de l'absence de recalibrage du critique comme cause fondamentale des échecs de mise à l'échelle.
Validation Empirique Large : Des expériences exhaustives sur plusieurs familles de modèles (Qwen3, OLMO3) et échelles (7B, 14B), couvrant des benchmarks de mathématiques (AIME 2024/2025/2026, OlymMath) et de raisonnement général (BigBenchHard, AGI Eval, ZebraLogic).

4. Résultats Expérimentaux

Les résultats montrent que TEMPO surpasse significativement les méthodes de base (RLVR, TTRL, EMPO) tout en préservant la diversité des sorties.

Gains de Performance (Mathématiques) :
- Sur OLMO3-7B pour AIME 2024 : Passage de 33,0 % à 51,1 % (gain de +18,1 points).
- Sur Qwen3-14B pour AIME 2024 : Passage de 42,3 % à 65,8 % (gain de +23,5 points).
- Contrairement aux méthodes de base qui plafonnent après quelques itérations, TEMPO montre une courbe de croissance continue sur plus de 350 étapes d'entraînement.
Préservation de la Diversité :
- Les méthodes de base souffrent d'un effondrement de la diversité (baisse du score pass@k même si la moyenne augmente).
- TEMPO maintient des scores pass@k élevés (ex: 73,3 % sur AIME 2024 pour Qwen3-14B), prouvant qu'il explore efficacement l'espace des solutions sans se coincer dans des modes locaux.
Généralisation :
- TEMPO fonctionne également bien sur des tâches non mathématiques (logique, STEM), prouvant que la conception alternée n'est pas spécifique à un domaine.

5. Signification et Impact

Ce travail est significatif car il résout le problème fondamental de la dérive de la récompense dans l'entraînement auto-supervisé au moment de l'inférence.

Théoriquement : Il établit un lien clair entre l'apprentissage par renforcement au moment de l'inférence et l'algorithme EM, fournissant une justification théorique solide pour l'utilisation d'un critique recalibré.
Pratiquement : Il démontre que la puissance de calcul supplémentaire allouée au moment de l'inférence peut être convertie en gains de capacités réels et durables, dépassant les limites imposées par l'entraînement hors ligne (offline).
Futur : Cela ouvre la voie à des systèmes capables d'apprentissage continu et adaptatif face à des problèmes complexes et ouverts, sans nécessiter de nouvelles données étiquetées massives à chaque étape.

En résumé, TEMPO transforme l'entraînement au moment de l'inférence d'une méthode heuristique sujette à l'effondrement en un processus d'optimisation robuste et évolutif.