🤖 machine learning

DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution

DREvo est une nouvelle méthode d'auto-évolution par harnais qui remédie à l'instabilité des approches existantes en recalibrant dynamiquement l'expérience historique et en distillant des directions de recherche exploitables, atteignant ainsi des performances supérieures et des trajectoires d'évolution plus fluides sur les benchmarks de raisonnement et d'agentivité sous des budgets limités.

Auteurs originaux : Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment résoudre un puzzle. Vous donnez au robot un cerveau (un Grand Modèle de Langage), mais le cerveau a besoin d'un corps et d'un ensemble de règles pour réellement effectuer le travail. Cette configuration « corps et règles » est appelée un harnais. Considérez le harnais comme le système d'exploitation du robot : il décide de la manière dont le robot recherche des informations, comment il utilise des outils comme une calculatrice ou un éditeur de code, et comment il se souvient de ce qu'il vient de faire. Si le harnais est désordonné ou confus, même le cerveau le plus brillant trébuchera.

Pendant longtemps, construire un bon harnais revenait à essayer de régler une voiture de course à la main. Les experts devaient deviner ce qui n'allait pas, ajuster quelques fils, tester, et espérer que cela fonctionne. Mais récemment, les scientifiques ont découvert que les robots pouvaient en fait aider à réparer leur propre corps. Ils pouvaient essayer un changement, voir si cela fonctionnait, mémoriser le résultat, et réessayer. C'est ce qu'on appelle l'auto-évolution. L'idée est que si le robot tient un journal de tous ses essais passés, il peut apprendre de ses erreurs et s'améliorer au fil du temps. Mais attention : ce n'est pas parce que le robot possède un journal qu'il sait le lire. Parfois, une astuce qui a fonctionné hier peut être un désastre aujourd'hui parce que la situation du robot a changé. Cette étude demande : Comment s'assurer que le robot tire les bonnes leçons de son histoire sans se laisser confondre par des conseils anciens et obsolètes ?

Le Problème : Le Journal Confus du Robot

Imaginez que vous entraînez un chien à rapporter une balle. Vous lancez la balle, le chien court, et parfois il l'attrape, parfois il la laisse tomber. Vous notez chaque tentative dans un carnet. Maintenant, imaginez que le chien reçoive un nouveau collier, ou que le vent se mette à souffler différemment, ou que vous remplaciez une balle de tennis par un jouet qui couine. Si vous regardez simplement votre carnet et dites : « La dernière fois, le chien a laissé tomber la balle quand il a couru à gauche, donc il devrait toujours courir à droite », vous pourriez vous tromper. Cette ancienne leçon pourrait ne plus s'appliquer à la nouvelle situation.

C'est exactement ce qui arrive aux agents d'IA. Les chercheurs ont découvert que lorsque les robots essaient d'améliorer leur propre « harnais » en consultant tout l'historique de leurs essais, ils restent souvent bloqués dans une boucle. Ils peuvent essayer une correction, voir qu'elle échoue, essayer autre chose, voir qu'elle échoue encore, puis soudainement revenir à une méthode qui avait échoué il y a des semaines. Leurs performances font des montagnes russes au lieu de grimper doucement une colline. Les chercheurs ont réalisé que les robots souffraient de deux problèmes principaux :

Le problème du « Est-ce encore vrai ? » : Le robot ne vérifiait pas si ses anciennes leçons étaient toujours valides. Il traitait chaque succès ou échec passé comme s'il se produisait en ce moment même, même si le code du robot avait changé.
Le problème du « Que dois-je faire ensuite ? » : Même si le robot se souvenait d'une leçon, il ne savait pas exactement quelle partie de son corps il devait réparer ou comment la réparer. C'était comme si on lui disait : « Tu as laissé tomber la balle », sans lui dire : « Tu dois serrer ta prise ».

La Solution : DREvo (Le Bibliothécaire Intelligent)

Pour corriger cela, les auteurs ont créé une nouvelle méthode appelée DREvo. Vous pouvez considérer DREvo comme un bibliothécaire super organisé qui gère le journal du robot. Au lieu de simplement donner une pile de papiers au robot, DREvo organise l'information, vérifie si elle est toujours pertinente et donne au robot une instruction claire et spécifique sur ce qu'il doit faire ensuite.

DREvo procède en trois étapes amusantes :

1. Le « Marqueur d'Étiquettes » (Ancrage de Preuve au Niveau de la Fonction)
Dans l'ancienne méthode, le journal du robot était un énorme bloc de texte désordonné. DREvo découpe ce bloc en petits morceaux étiquetés. Il examine chaque changement effectué par le robot et l'associe à une « fonction » spécifique (comme un outil particulier ou une règle de mémoire). C'est comme prendre un livre de recettes désordonné et étiqueter chaque changement d'ingrédient pour l'associer précisément à l'étape à laquelle il appartient. De cette façon, lorsque le robot veut apprendre, il sait exactement de quelle partie de son corps parle une leçon passée.

2. Le « Vérificateur de Fraîcheur » (Recalibrage de Preuve Dépendant de l'État)
C'est la partie la plus importante. Avant qu'un robot n'utilise une leçon ancienne, DREvo pose deux questions : « Cette leçon est-elle encore fiable ? » et « Cette leçon correspond-elle au corps actuel du robot ? »

Fiabilité : Cette leçon a-t-elle fonctionné à chaque fois qu'elle a été utilisée auparavant, ou était-ce juste un coup de chance ?
Fraîcheur : Le code du robot est-il toujours similaire à celui de l'époque où cette leçon a été apprise ? Si le robot a changé sa « prise » (sa structure de code), une ancienne leçon sur la façon de saisir peut ne plus fonctionner.
DREvo attribue un « score » à chaque leçon. Si une leçon est ancienne ou si le robot a trop changé, le score chute, et le robot l'ignore. Si la leçon est fraîche et fiable, le score reste élevé.

3. Le « Sifflet de l'Entraîneur » (Distillation d'Intention de Recherche Conditionnée par le Rôle)
Enfin, DREvo ne donne pas seulement une liste de faits au robot ; il lui donne un plan de jeu. Sur la base des leçons ayant un score élevé, DREvo assigne au robot un « rôle » spécifique pour l'essai suivant :

Exploiter (Exploit) : « Cette astuce a très bien fonctionné auparavant ! Refais-la ! »
Éviter (Avoid) : « Cette astuce a causé un crash la dernière fois ! Ne le fais pas ! »
Retester (Retest) : « Nous ne sommes pas sûrs de celle-ci. Essayons-la prudemment pour voir si elle fonctionne maintenant. »
Explorer (Explore) : « Nous n'avons pas de bons indices. Essayons quelque chose de complètement nouveau. »
Cela transforme le sentiment vague du robot de « Je dois m'améliorer » en une commande claire et actionnable comme : « Va réparer l'outil de mémoire en utilisant la stratégie d'Exploitation ».

Ce Qu'Ils Ont Trouvé

Les chercheurs ont testé DREvo sur cinq défis différents, allant de la résolution de puzzles de chimie et du diagnostic de symptômes médicaux à la correction de code informatique et à la navigation dans un terminal virtuel. Ils l'ont comparé à d'autres robots qui tentaient d'évoluer eux-mêmes et à des robots dotés de harnais conçus par des humains.

Les résultats sont très prometteurs. Avec un budget limité d'essais (ce qui signifie qu'ils n'ont pas laissé le robot s'entraîner indéfiniment), DREvo a trouvé les meilleurs harnais dans chaque catégorie.

Sur les tâches de diagnostic médical, DREvo a atteint 89,2 % de précision, dépassant la deuxième meilleure méthode de 2,4 points de pourcentage.
Sur le raisonnement juridique, il a atteint 49,0 %, dépassant la méthode suivante de 4,0 points de pourcentage.
Pour la prédiction de réactions chimiques, il a obtenu un score de 25,0 %, soit 9,0 points de pourcentage de plus que le dauphin.
Pour les tâches agentiques (comme réparer du code ou utiliser un terminal informatique), DREvo a amélioré les performances de 16,2 % en moyenne sur les tâches de raisonnement et de 13,8 % sur les tâches d'agent par rapport aux autres méthodes.

Plus important encore, les chercheurs ont remarqué que la progression de DREvo était fluide. Alors que les scores des autres robots montaient et descendaient de manière erratique (régression et récupération), la précision de DREvo grimpait régulièrement. Il a également réussi à maintenir son « espace de pensée » (contexte) restreint, autour de 2,9K jetons, alors que les autres méthodes avaient besoin de plus de 5,3K jetons tout en étant moins performantes.

Ce Qu'il Faut Retenir

Cette étude suggère que donner simplement un historique des expériences passées à un robot ne suffit pas. Pour véritablement apprendre, le robot a besoin d'un système capable de vérifier si les anciennes leçons s'appliquent encore et de traduire ces leçons en instructions claires et spécifiques. DREvo agit comme ce système, transformant un historique désordonné d'essais et d'erreurs en un chemin d'amélioration fluide et fiable. Cela montre qu'en étant intelligents sur la manière dont nous utilisons nos expériences passées, nous pouvons aider les agents d'IA à évoluer plus rapidement et plus sûrement, même lorsque nous n'avons pas un temps illimité pour les laisser pratiquer.

Résumé Technique : DREvo – Distiller l'Expérience Historique Recalibrée pour l'Auto-Évolution de l'Harnais

Énoncé du Problème

La performance des agents basés sur les Grands Modèles de Langage (LLM) dépend fortement de leur cadre d'exécution externe, appelé harnais (harness), qui régit la construction du contexte, la gestion de la mémoire, l'invocation d'outils et l'analyse des sorties. Bien que la conception manuelle de harnais soit efficace, elle est laborieuse et difficile à mettre à l'échelle à mesure que les tâches et les interactions entre les composants deviennent plus complexes. Par conséquent, la recherche s'est orientée vers l'auto-évolution de l'harnais, où les LLM proposent, évaluent et améliorent de manière itérative les harnais en utilisant l'expérience des essais historiques.

Cependant, les méthodes existantes d'auto-évolution pilotées par l'historique (par exemple, Meta-harness, AHE, ACE) souffrent de trajectoires d'évolution non stationnaires. Malgré l'accumulation d'expérience historique, la précision fluctue souvent de manière significative plutôt que de s'améliorer de façon constante. Les auteurs identifient deux limitations fondamentales dans la manière dont les méthodes actuelles exploitent les données historiques :

Manque de Réévaluation Dynamique (« Qu'est-ce qui est encore valide ? ») : La preuve historique est dépendante de l'état. Une modification qui était efficace dans un état de harnais précédent peut devenir invalide ou préjudiciable à mesure que le harnais évolue, pourtant les méthodes existantes traitent les enregistrements passés comme étant statiquement valides.
Manque de Direction de Recherche Explicite (« Vers où évoluer ensuite ? ») : L'expérience historique est souvent présentée sous forme de journaux bruts ou de résumés. Les méthodes existantes reposent sur le raisonnement implicite du proposant pour décider quel composant modifier et comment, ce qui conduit à des directions de recherche instables et à une utilisation inefficace des budgets d'évolution limités.

Méthodologie : Le Cadre DREvo

Pour répondre à ces limitations, les auteurs proposent DREvo (Distilling Recalibrated Historical Experience), une méthode d'auto-évolution qui transforme les journaux d'essais bruts en une guidance exploitable et consciente de l'état. Le cadre se compose de trois composants séquentiels :

1. Ancrage de Preuve au Niveau Fonctionnel

Les journaux d'essais bruts sont hétérogènes, mélangeant changements de code, trajectoires d'exécution et retours (feedback). DREvo analyse ces journaux pour créer des unités de preuve ancrées aux fonctions.

Mécanisme : Il associe les diffs de code (changements entre $h_{t-1}$ et $h_t$ ) à des composants fonctionnels spécifiques (par exemple, l'utilisation d'outils, la gestion de la mémoire) sur la base des limites de plages de sources.
Sortie : Chaque unité de preuve $e_{t,c}$ lie un composant spécifique $c$ , son changement de code $\delta_{t,c}$ , et le résultat observé (statistiques globales, résultats des tâches, modèles d'échec).
Attribution : Cela localise le retour d'information sur des composants spécifiques, permettant une attribution plus précise du succès ou de l'échec.

2. Recalibrage de la Preuve Dépendante de l'État

Avant de réutiliser une preuve historique, DREvo recalibre dynamiquement sa validité en fonction de l'état actuel du harnais. Il calcule un poids calibré $w_e$ pour chaque unité de preuve basé sur deux facteurs :

Fiabilité Historique ( $r_t(e)$ ) : Mesure la cohérence et la fraîcheur.
- Cohérence des résultats : La fraction des invocations passées où la polarité du résultat (succès/échec) correspondait à la polarité de la preuve actuelle, pondérée par l'ampleur du changement de performance.
- Fraîcheur : Un facteur de décroissance basé sur le temps écoulé depuis que la preuve a été utilisée ou créée pour la dernière fois.
Compatibilité Structurelle ( $q_t(e)$ ) : Mesure si l'implémentation du composant associée à la preuve reste structurellement similaire au composant actuel. Ceci est calculé à l'aide de la Distance d'Édition d'Arbre (TED) sur les Arbres de Syntaxe Abstraite (AST), normalisant les détails lexicaux tout en préservant le flux de contrôle et la logique.
Recalibrage : Le poids final est la moyenne harmonique de la fiabilité et de la compatibilité, garantissant qu'une preuve n'est fiable que si elle est à la fois historiquement cohérente et structurellement pertinente.

3. Distillation de l'Intention de Recherche Conditionnée par le Rôle

Au lieu de fournir la preuve brute au proposant, DREvo distille la preuve calibrée en une intention de recherche explicite ( $s_t$ ) qui spécifie quoi faire et où chercher.

Partitionnement de la Preuve : La preuve récupérée est classée en trois ensembles basés sur le poids et la polarité : Positive Fiable ( $X_t$ ), Négative Fiable ( $A_t$ ), et Faible Confiance ( $T_t$ ).
Activation du Rôle : Sur la base de ces ensembles, un rôle de recherche est activé :
- Exploiter (Exploit) : Si une preuve positive fiable existe, le proposant est guidé pour hériter ou affiner ces modifications.
- Éviter (Avoid) : Si une preuve négative fiable existe, le proposant est guidé pour éviter des modifications spécifiques préjudiciables.
- Retester (Retest) : Si seules des preuves de faible confiance existent, le proposant est guidé pour réévaluer ces directions sous l'état actuel.
- Explorer (Explore) : Si aucune preuve pertinente n'existe ou si les retests précédents ont échoué, le proposant est autorisé à explorer librement de nouvelles directions basées sur les modèles d'échec actuels.
Distillation : Le rôle activé et les modèles d'échec actuels sont distillés dans un prompt structuré ( $s_t$ ) qui dirige explicitement le proposant vers un composant cible et une direction de modification.

Contributions Clés

Identification du Problème : L'article identifie la fluctuation de performance dans l'auto-évolution de l'harnais comme un défi de fiabilité enraciné dans l'échec de la réévaluation dynamique de la validité historique et l'absence de politiques de recherche explicites.
Cadre DREvo : Une méthode novatrice qui ancre les preuves aux fonctions, recalibre la validité basée sur la compatibilité structurelle et la cohérence historique, et distille cela en des intentions de recherche conditionnées par le rôle.
Validation Empirique : Des expériences approfondies démontrant des trajectoires d'évolution plus fluides et des performances supérieures sur divers benchmarks.

Résultats Expérimentaux

Les auteurs ont évalué DREvo sur cinq benchmarks : trois tâches de Raisonnement de Domaine (USPTO, Symptom2Disease, Law) et deux Tâches Agentes (Terminal-Bench 2.0, SWE-Bench Verified).

Performance Globale : DREvo a obtenu la précision la plus élevée sur les cinq benchmarks sous des budgets d'évolution limités (20 itérations pour le raisonnement, 10 pour les tâches agentes).
- Raisonnement de Domaine : Gains moyens de 16,2 % par rapport aux bases de référence. Plus précisément, il a amélioré USPTO de 9,0 %, S2D de 2,4 % et Law de 4,0 % par rapport aux deuxièmes meilleures méthodes.
- Tâches Agentes : Gains moyens de 13,8 % par rapport aux bases de référence. Notamment, sur SWE-Bench Verified, DREvo a fait évoluer un harnais initial orienté vers le terminal en un harnais de réparation de code compétitif sans ingénierie spécifique à la tâche manuelle.
Trajectoire d'Évolution : Contrairement aux bases de référence (ex: Meta-harness) qui montraient de grandes oscillations d'exactitude et un gonflement du contexte, DREvo présente des courbes d'amélioration plus lisses et maintient une taille de contexte bornée (~2,9K tokens).
Robustesse : Sous un contrôle de dérive de l'état du composant (simulant un changement dans le code du harnais), DRE-vo a amélioré les performances dans 11 cas sur 16, alors que la « réutilisation aveugle » des preuves (sans recalibrage) a diminué les performances dans la plupart des cas.
Études d'Ablation : Supprimer l'un des trois composants (Ancrage, Recalibrage, Distillation) a entraîné des baisses de performance, confirmant leurs rôles complémentaires.

Signification et Revendications

L'article affirme que DREvo répond à l'instabilité fondamentale de la recherche pilotée par l'historique dans l'auto-évolution de l'harnais. En passant d'une réutilisation statique et implicite de l'historique à une guidance dynamique, explicite et consciente de l'état, DREvo permet la découverte fiable de harnais performants dans des budgets de calcul limités. Les auteurs soulignent que leurs gains proviennent de la qualité de la guidance de recherche (recalibrage et distillation) plutôt que de la simple exposition du proposant à davantage de données historiques ou de la compression de contexte. Le travail suggère que l'évolution future des harnais nécessite des mécanismes pour valider continuellement l'applicabilité des expériences passées à mesure que l'état du système évolue.