🤖 machine learning

Do Not Waste Your Rollouts: Recycling Search Experience for Efficient Test-Time Scaling

Ce papier présente l'Expérience de Recherche de Recyclage (RSE), une stratégie sans entraînement qui améliore l'extension au moment du test en distillant et en réutilisant des insights intermédiaires issus de déroulements échoués et réussis pour éliminer la redondance computationnelle et améliorer l'efficacité du raisonnement sur des tâches complexes.

Auteurs originaux : Xinglin Wang, Jiayi Shi, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinglin Wang, Jiayi Shi, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : L'« Amnésie » de l'IA

Imaginez que vous essayez de résoudre un labyrinthe très difficile. Vous envoyez 100 explorateurs différents (ce sont les « déployements » ou tentatives de l'IA) pour trouver la sortie.

L'Ancienne Façon (Recherche actuelle de l'IA) : Chaque explorateur commence depuis le début, heurte un mur, fait demi-tour et tente un chemin différent. Lorsqu'ils tombent sur une impasse, ils abandonnent. Le prochain explorateur repart de zéro, heurte le même mur et tombe sur la même impasse. Ils pourraient même découvrir un raccourci que le premier explorateur avait trouvé, mais ils doivent le redécouvrir à partir de rien.
Le Gaspillage : L'IA gaspille d'énormes quantités d'énergie (puissance de calcul) pour redémontrer des faits qu'elle connaît déjà et pour parcourir à nouveau des chemins qu'elle sait déjà mener à rien. C'est comme un étudiant qui passe un examen, échoue, puis repasse exactement le même examen sans regarder ses erreurs précédentes ni ses notes.

La Solution : « Recycler l'Expérience de Recherche » (RSE)

Les auteurs proposent une nouvelle stratégie appelée Recycling Search Experience (RSE). Imaginez cela comme donner aux explorateurs une carte partagée et vivante qui se met à jour après chaque tour d'exploration.

Au lieu de traiter chaque tentative comme un essai jetable, le RSE traite la recherche comme un effort d'équipe cumulatif. Voici comment cela fonctionne en trois étapes simples :

1. La « Distillation » (Prendre des Notes)

Après qu'un groupe d'explorateurs a terminé son parcours, l'IA ne jette pas simplement ses journaux bruts et désordonnés. Au lieu de cela, elle agit comme un éditeur intelligent qui lit à travers le chaos et rédige deux listes spécifiques :

La Liste des « Bonnes Nouvelles » (Expérience Positive) : « Hé, nous avons découvert que tourner à gauche à la fontaine mène à une impasse, mais que continuer tout droit conduit à un pont. » Ce sont des faits vérifiés et des raccourcis.
La Liste des « Mauvaises Nouvelles » (Expérience Négative) : « Ne descendez pas dans le tunnel sombre ; il mène à un puits. » Ce sont des impasses connues et des pièges logiques à éviter.

2. La « Banque Partagée » (La Mémoire)

Ces listes sont stockées dans une Banque d'Expérience Partagée. Ce n'est pas un énorme tas de papiers en désordre ; c'est une base de données soigneusement organisée. L'IA utilise un filtre de « déduplication » pour s'assurer qu'elle n'écrit pas la même note deux fois (par exemple, elle ne listera pas « Ne pas aller à gauche » dix fois ; elle garde simplement un avertissement clair).

3. La « Recherche Guidée » (Utiliser la Carte)

Lorsque le prochain groupe d'explorateurs commence, ils ne partent pas de zéro. On leur remet cette Banque Partagée.

S'ils voient une note « Bonnes Nouvelles », ils peuvent sauter la longue marche jusqu'au pont et y aller directement (en contournant le travail).
S'ils voient une note « Mauvaises Nouvelles », ils s'éloignent immédiatement du tunnel sombre (en élaguant les impasses).

Pourquoi C'est un Changement de Jeu

Le papier affirme que cette méthode est beaucoup plus efficace que les anciennes façons de faire.

Analogie : Imaginez essayer de trouver une aiguille spécifique dans une botte de foin.
- Ancienne Façon : Vous envoyez 100 personnes fouiller à l'aveugle. Elles creusent toutes les mêmes endroits, manquent l'aiguille et s'épuisent.
- Façon RSE : Les 10 premières personnes fouillent, trouvent de la terre qui n'est pas l'aiguille, et marquent ces endroits. Les 10 suivantes se voient dire : « Ne creusez pas ici. » Elles trouvent aussi un endroit qui pourrait contenir l'aiguille et le marquent. Le groupe suivant saute les mauvais endroits et se concentre sur les prometteurs.
Le Résultat : Vous trouvez la réponse plus vite et avec moins d'énergie car vous ne perdez pas de temps sur des erreurs que vous avez déjà commises.

Ce Que le Papier a Réellement Découvert

Les chercheurs ont testé cela sur des problèmes mathématiques très difficiles (comme ceux trouvés dans des compétitions de haut niveau comme l'IMO ou le HMMT), des défis de programmation et des tâches de planification complexes (comme planifier un voyage de plusieurs jours).

Meilleurs Résultats : L'IA utilisant le RSE a obtenu des scores plus élevés que d'autres méthodes qui tentaient simplement de « réfléchir plus fort » ou d'« essayer plus de fois » sans partager de notes.
Fonctionne sur les Problèmes Difficiles : Elle était particulièrement bonne pour résoudre les problèmes les plus ardus où d'autres méthodes restaient bloquées ou abandonnaient.
Pas d'Entraînement Supplémentaire : Le meilleur aspect est que l'IA n'a pas eu besoin d'être re-entraînée. Elle a simplement changé la façon dont elle cherchait des réponses pendant le test, en utilisant sa propre capacité interne à critiquer son travail.

La Conclusion

Le papier soutient que l'intelligence ne consiste pas seulement à essayer plus fort ; elle consiste à se souvenir de ce que l'on a appris. En transformant des tentatives « jetables » en une mémoire « cumulative », l'IA cesse de gaspiller de l'énergie sur des impasses et des découvertes redondantes, ce qui la rend plus intelligente et plus efficace sans avoir besoin de matériel plus puissant.

Résumé Technique : Ne Gaspillez Pas Vos Déploiements : Recyclage de l'Expérience de Recherche pour une Mise à l'Échelle Efficace au Moment de l'Inférence

Énoncé du Problème

Les stratégies actuelles de mise à l'échelle au moment de l'inférence (Test-Time Scaling, TTS), qui améliorent le raisonnement des grands modèles de langage (LLM) en allouant davantage de puissance de calcul à l'inférence, souffrent d'une inefficacité fondamentale : le gaspillage d'informations. Les paradigmes existants — qu'il s'agisse d'échantillonnage parallèle, d'affinement séquentiel ou de recherche arborescente — traitent généralement les déploiements individuels (trajectoires de raisonnement) comme des échantillons jetables. Une fois un essai terminé ou rejeté, les insights intermédiaires précieux, les propositions vérifiées et les motifs d'échec identifiés contenus dans cette trajectoire sont effectivement perdus.

Cette approche « amnésique » entraîne une redondance computationnelle substantielle. Les modèles dérivent à nouveau des conclusions qui ont déjà été découvertes dans d'autres déploiements et revisitent des impasses connues, échouant à exploiter les connaissances cumulatives générées au cours du processus de recherche. L'article soutient que maximiser le potentiel du calcul au moment de l'inférence nécessite non seulement d'augmenter le volume des déploiements, mais aussi d'optimiser la qualité de l'exploration en transformant les essais jetables en un processus cumulatif guidé par l'expérience.

Méthodologie : Recyclage de l'Expérience de Recherche (RSE)

Pour remédier à cette inefficacité, les auteurs proposent le Recyclage de l'Expérience de Recherche (RSE), une stratégie d'inférence autonome et sans entraînement. Le RSE redéfinit la recherche au moment de l'inférence comme une série d'essais isolés vers un processus cumulatif où les insights précieux des trajectoires précédentes sont distillés et réutilisés pour guider l'exploration ultérieure.

La méthodologie fonctionne grâce à trois composants coordonnés :

Recherche Guidée par l'Expérience par Lots :
Au lieu d'une synchronisation en temps réel (qui est instable) ou d'un affinement purement séquentiel (limité par les fenêtres de contexte), le RSE partitionne le budget de déploiement en $R$ tours. À chaque tour $r$ , le modèle génère un lot de $K_r$ trajectoires en parallèle. Avant chaque tour, une Banque d'Expérience globale est sérialisée dans l'invite, garantissant que tous les déploiements du lot démarrent depuis un état synchronisé contenant les connaissances accumulées des tours précédents.
Distillation Autonome de l'Expérience :
Plutôt que de concaténer des chaînes de raisonnement brutes et verbeuses (ce qui risque de saturer le contexte et d'introduire du bruit), le RSE utilise une étape d'invite légère pour distiller chaque trajectoire terminée en éléments structurés et discrets. Ce processus exploite la capacité d'auto-évaluation intrinsèque du modèle sans supervision externe :
- Expérience Positive ( $E^{pos}$ ) : Extrait les propositions vérifiées, les lemmes ou les conclusions intermédiaires qui servent d'« ancres de vérité » pour raccourcir les dérivations redondantes.
- Expérience Négative ( $E^{neg}$ ) : Identifie les pièges critiques, les impasses stratégiques ou les sophismes logiques pour agir comme des « contraintes négatives » afin d'élaguer l'espace de recherche.
Déduplication Sémantique de l'Expérience :
Pour éviter l'explosion du contexte et maintenir une densité d'information élevée, le RSE emploie une stratégie de déduplication sémantique. Les nouvelles expériences distillées sont comparées à la banque existante en utilisant un seuil de similarité ( $\tau$ ). Seuls les éléments sémantiquement distincts sont ajoutés, filtrant les insights répétitifs et garantissant que la banque reste un ensemble diversifié de conseils actionnables plutôt qu'une liste redondante.

Contributions Clés

L'article expose trois contributions principales :

Cadre RSE : La proposition d'une stratégie sans entraînement qui transforme la recherche au moment de l'inférence en un processus cumulatif guidé par l'expérience en recyclant l'expérience au niveau des déploiements.
Analyse Théorique : Une analyse formelle démontrant que le RSE offre un avantage en termes d'efficacité d'échantillonnage par rapport à l'échantillonnage indépendant. Les auteurs prouvent que, sous une extraction d'expérience fiable, la probabilité de trouver une solution correcte avec le RSE n'est pas inférieure à celle de l'échantillonnage indépendant, avec un potentiel de gains exponentiels dans les tâches complexes nécessitant plusieurs conclusions intermédiaires. Ils fournissent également un résultat de dégradation bornée pour les scénarios impliquant une extraction d'expérience imparfaite.
Validation Empirique : Des expériences extensives sur divers benchmarks et familles de modèles montrant des gains de performance constants par rapport à des bases de référence solides.

Résultats Expérimentaux

Les auteurs ont évalué le RSE sur des benchmarks exigeants de raisonnement mathématique (HMMT24, HMMT25, IMO-Bench, HLE-Math-text) et ont étendu l'évaluation au codage (LiveCodeBench-v6), aux questions-réponses de niveau expert (GPQA-Diamond) et à la planification à long horizon (TravelPlanner).

Supériorité de Performance : Le RSE a systématiquement surpassé les bases de référence, notamment l'échantillonnage standard, le vote majoritaire, l'auto-affinement et la méthode concurrente PaCoRe, sur tous les modèles testés (Qwen3-30B, Qwen3-4B, Phi-4, DeepSeek-V3.2). Par exemple, sur HMMT25 avec le modèle Qwen3-30B, le RSE a atteint 83,9 % de Pass@1 à l'itération 3, dépassant PaCoRe (80,2 %) et l'auto-affinement (72,6 %).
Dynamiques de Mise à l'Échelle : Contrairement aux bases de référence qui montrent une saturation précoce (par exemple, PaCoRe atteignant un plafond à l'itération 3 en raison d'un « goulot d'étranglement centré sur la vérification »), le RSE a démontré une convergence retardée et une poursuite des gains de performance au fil des itérations ultérieures, indiquant un plafond empirique plus élevé.
Efficacité Computationnelle : Le RSE a établi une frontière de Pareto supérieure en termes de coût computationnel (FLOPs) par rapport à la précision. Il a obtenu des gains de précision plus élevés par unité de calcul par rapport à une simple agrégation ou à une concaténation basée sur la vérification.
Généralisabilité : La méthode s'est avérée efficace au-delà des mathématiques. Notamment, sur la tâche TravelPlanner, PaCoRe s'est effondré à un taux de réussite de 0,00 % en raison de la surcharge de contexte, tandis que le RSE a atteint un taux de réussite de 34,44 %, démontrant sa capacité à gérer des tâches de planification ouvertes où le vote par consensus est inapplicable.

Importance et Revendications

L'article affirme que le RSE représente un changement de paradigme dans la mise à l'échelle au moment de l'inférence. En traitant les déploiements non pas comme des échantillons jetables mais comme une source d'expérience réutilisable, le RSE remédie à l'inefficacité systémique de la recherche « amnésique » actuelle.

Efficacité : Les auteurs soutiennent que le principal goulot d'étranglement dans les TTS actuels n'est pas le manque de puissance de calcul, mais l'absence de mécanismes systématiques pour accumuler et réutiliser l'expérience au niveau des déploiements. Le RSE comble ce fossé, permettant aux modèles de concentrer le calcul sur des régions prometteuses et inexplorées de l'espace des solutions plutôt que de redériver des faits connus ou de revisiter des impasses.
Nature Autonome : Une importance clé réside dans le fait que le RSE ne nécessite ni modèles de récompense externes, ni étiquettes de vérité terrain, ni modifications architecturales. Il repose uniquement sur la capacité du modèle à critiquer et à distiller son propre raisonnement, le rendant applicable à des environnements de recherche généraux.
Fondement Théorique : L'ouvrage fournit une base théorique pour l'intuition selon laquelle « sauvegarder » les conclusions intermédiaires valides permet aux déploiements ultérieurs de s'appuyer sur des succès partiels fragmentés, réduisant considérablement la décroissance de probabilité associée aux chaînes de raisonnement complexes.

En conclusion, l'article postule que maximiser le potentiel du calcul au moment de l'inférence nécessite d'optimiser la qualité de l'exploration par le recyclage de l'expérience, transformant des essais isolés en un processus de recherche cumulatif et intelligent.