🤖 machine learning

DREvo: Distilling Recalibrated Historical Experience for Harness Self-Evolution

DREvo is een nieuwe methode voor zelfevolutie van harnassen die de instabiliteit van bestaande benaderingen aanpakt door historische ervaring dynamisch te herkalibreren en actiegerichte zoekrichtingen te distilleren, waardoor superieure prestaties en gladdere evolutie-trajecten worden bereikt over redeneer- en agentische benchmarks onder beperkte budgetten.

Oorspronkelijke auteurs: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Gepubliceerd 2026-07-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanghui Guo, Weijie Shi, Zhangze Chen, Shengxiang Xu, Yishu Wang, Yimei Zhang, Wangze Ni, Jia Zhu, Shimin Di

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een puzzel moet oplossen. Je geeft de robot een brein (een Large Language Model), maar het brein heeft een lichaam en een set regels nodig om het eigenlijke werk te doen. Deze "lichaam en regels"-opstelling wordt een harness genoemd. Zie de harness als het besturingssysteem van de robot: het bepaalt hoe de robot informatie opzoekt, hoe hij gereedschap gebruikt zoals een rekenmachine of een code-editor, en hoe hij zich herinnert wat hij zojuist heeft gedaan. Als de harness slordig of verwarrend is, zal zelfs het slimste brein struikelen.

Lange tijd was het bouwen van een goede harness als het handmatig afstellen van een racewagen. Experts moesten raden wat er mis was, een paar draden aanpassen, testen, en hopen op het beste. Maar onlangs ontdekten wetenschappers dat robots hun eigen lichamen daadwerkelijk kunnen helpen repareren. Ze konden een verandering proberen, zien of het werkte, het resultaat onthouden en het opnieuw proberen. Dit wordt self-evolution genoemd. Het idee is dat als de robot een dagboek bijhoudt van al zijn eerdere pogingen, hij kan leren van zijn fouten en beter kan worden over de tijd. Maar hier zit de adder onder het gras: alleen omdat de robot een dagboek heeft, betekent niet dat hij weet hoe hij het moet lezen. Soms kan een truc die gisteren werkte, vandaag een ramp zijn omdat de situatie van de robot is veranderd. Deze paper vraagt: Hoe zorgen we ervoor dat de robot de juiste lessen leert uit zijn geschiedenis zonder in de war te raken door oude, verouderde adviezen?

Het Probleem: Het Verwarrende Dagboek van de Robot

Stel je voor dat je een hond traint om een bal te halen. Je gooit de bal, de hond rent, en soms vangt hij hem, soms laat hij hem vallen. Je schrijft elke poging op in een schrift. Stel je nu voor dat de hond een nieuwe halsband krijgt, of dat de wind anders begint te waaien, of dat je wisselt van een tennisbal naar een piepend speeltje. Als je alleen naar je schrift kijkt en zegt: "Vorige keer liet de hond de bal vallen toen hij naar links rende, dus hij moet altijd naar rechts rennen," dan kun je ernaast zitten. Die oude les is misschien niet meer van toepassing op de nieuwe situatie.

Dit is precies wat er gebeurt met AI-agents. Onderzoekers ontdekten dat wanneer robots proberen hun eigen "harness" te verbeteren door naar hun volledige geschiedenis van pogingen te kijken, ze vaak in een lus terechtkomen. Ze proberen een oplossing, zien dat het mislukt, proberen iets anders, zien dat het weer mislukt, en gaan dan plotseling terug naar een methode die weken geleden al faalde. Hun prestaties schommelen op en neer als een achtbaan in plaats van dat ze geleidelijk een heuvel beklimmen. De onderzoekers realiseerden zich dat de robots kampten met twee hoofdproblemen:

Het "Is dit nog steeds waar?"-probleem: De robot controleerde niet of zijn oude lessen nog steeds geldig waren. Het behandelde elke eerdere succeservaring of mislukking alsof het nú gebeurde, ook al was de code van de robot in de tussentijd veranderd.
Het "Wat doe ik nu?"-probleem: Zelfs als de robot een les onthield, wist hij niet precies welk deel van zijn lichaam hij moest repareren of hoe hij dat moest doen. Het was alsof je te horen kreeg: "Je liet de bal vallen," zonder dat je te horen kreeg: "Je moet je grip verstevigen."

De Oplossing: DREvo (De Slimme Bibliothecaresse)

Om dit op te lossen, creëerden de auteurs een nieuwe methode genaamd DREvo. Je kunt DREvo zien als een supergeorganiseerde bibliothecaresse die het dagboek van de robot beheert. In plaats van de robot gewoon een stapel papieren te geven, organiseert DREvo de informatie, controleert of het nog relevant is, en geeft de robot een duidelijke, specifieke instructie over wat hij nu moet doen.

DREvo doet dit in drie leuke stappen:

1. De "Labelmaker" (Function-Level Evidence Anchoring)
Op de oude manier was het dagboek van de robot één grote, rommelige brok tekst. DREvo snijdt deze brok in kleine, gelabelde stukjes. Het kijkt naar elke verandering die de robot heeft gemaakt en koppelt deze aan een specifieke "functie" (zoals een specifieke tool of een geheugenregel). Het is alsof je een rommelig receptenboek neemt en elke verandering van een ingrediënt labelt bij de exacte stap waar het bij hoort. Op die manier weet de robot, wanneer hij wil leren, precies over welk deel van zijn lichaam een eerdere les gaat.

2. De "Versheid-Checker" (State-Dependent Evidence Recalibration)
Dit is het belangrijkste deel. Voordat de robot een oude les gebruikt, stelt DREvo twee vragen: "Is deze les nog betrouwbaar?" en "Past deze les bij het huidige lichaam van de robot?"

Betrouwbaarheid: Werkte deze les elke keer dat hij werd gebruikt, of was het een gelukstreffer?
Versheid: Is de code van de robot nog steeds vergelijkbaar met de tijd dat deze les werd geleerd? Als de robot zijn "grip" (zijn codestructuur) heeft veranderd, werkt een oude les over grijpen misschien niet meer.
DREvo geeft een "score" aan elke les. Als een les oud is of de robot is te veel veranderd, daalt de score en negeert de robot de les. Als de les vers en betrouwbaar is, blijft de score hoog.

3. De "Fluit van de Coach" (Role-Conditioned Search Intent Distillation)
Ten slotte geeft DREvo de robot niet alleen een lijst met feiten; het geeft hem een actieplan. Op basis van de hoog scorende lessen wijst DREvo de robot een specifieke "rol" toe voor de volgende poging:

Exploit (Benutten): "Deze truc werkte eerder geweldig! Doe het opnieuw!"
Avoid (Vermijden): "Deze truc zorgde de vorige keer voor een crash! Doe het niet!"
Retest (Opnieuw testen): "We zijn niet zeker over deze. Laten we het voorzichtig proberen om te zien of het nu werkt."
Explore (Verkennen): "We hebben geen goede aanwijzingen. Laten we iets compleet nieuws proberen."
Dit verandelt het vage gevoel van de robot ("Ik moet beter worden") in een duidelijke, actiegerichte opdracht zoals: "Ga de geheugentool repareren met de 'Exploit'-strategie."

Wat ze vonden

De onderzoekers testten DREvo op vijf verschillende uitdagingen, variërend van het oplossen van chemische puzzels en het diagnosticeren van medische symptomen tot het repareren van computercode en het navigeren door een virtuele terminal. Ze vergeleken het met andere robots die probeerden zichzelf te evolueren en met robots met door mensen ontworpen harnesses.

De resultaten waren zeer veelbelovend. Binnen een beperkt budget van pogingen (wat betekent dat ze de robot niet eeuwig lieten oefenen), vond DREvo de beste harnesses in elke categorie.

Bij medische diagnose-taken bereikte DREvo een nauwkeurigheid van 89,2%, waarmee het de op één na beste methode met 2,4 procentpunt versloeg.
Bij juridische redenering haalde het 49,0%, waarmee het de volgende beste met 4,0 procentpunt versloeg.
Bij de voorspelling van chemische reacties scoorde het 25,0%, wat 9,0 procentpunt hoger was dan de runner-up.
Voor agentic taken (zoals het repareren van code of het gebruiken van een computerterminal) verbeterde DREvo de prestaties met gemiddeld 16,2% bij redeneertaken en 13,8% bij agent-taken vergeleken met de andere methoden.

Misschien wel het belangrijkste is dat de onderzoekers merkten dat de voortgang van DREvo vloeiend was. Terwijl de scores van andere robots wild op en neer sprongen (terugval en herstel), steeg de nauwkeurigheid van DREvo gestaag. Het slaagde er ook in om zijn "denkruimte" (context) klein te houden, rond de 2,9K tokens, terwijl andere methoden meer dan 5,3K tokens nodig hadden en nog steeds slechter presteerden.

De Conclusie

De paper suggereert dat het simpelweg geven van een geschiedenis van het verleden aan een robot niet genoeg is. Om echt te leren, heeft de robot een systeem nodig dat kan controleren of oude lessen nog van toepassing zijn en die die lessen kan vertalen naar duidelijke, specifieke instructies. DREvo fungeert als dat systeem, en verandert een rommelige geschiedenis van vallen en opstaan in een soepel, betrouwbaar pad naar verbetering. Het laat zien dat door slim om te gaan met hoe we onze ervaringen uit het verleden gebruiken, we AI-agents zelfs sneller en betrouwbaarder kunnen laten evolueren, zelfs wanneer we niet onbeperkt de tijd hebben om ze te laten oefenen.

Technische Samenvatting: DREvo – Het Distilleren van Hergekalibreerde Historische Ervaring voor Harness Self-Evolution

Probleemstelling

De prestaties van Large Language Model (LLM) agenten zijn sterk afhankelijk van hun externe executie-framework, bekend als de harness, die de contextconstructie, geheugenbeheer, tool-aanroepen en output-parsing regelt. Hoewel handmatig harness-ontwerp effectief is, is het arbeidsintensief en moeilijk schaalbaar naarmate taken en componentinteracties complexer worden. Bijgevolg is de focus verschoven naar harness self-evolution, waarbij LLM's iteratief harnesses voorstellen, evalueren en verbeteren met behulp van historische trial-ervaring.

Echter, bestaande geschiedenisgestuurde self-evolution methoden (bijv. Meta-harness, AHE, ACE) lijden aan niet-stationaire evolutie-trajecten. Ondanks het accumuleren van historische ervaring, fluctueert de nauwkeurigheid vaak aanzienlijk in plaats van gestaag te verbeteren. De auteurs identificeren twee kernbeperkingen in hoe huidige methoden historische data benutten:

Gebrek aan Dynamische Herbeoordeling ("Wat is nog steeds geldig?"): Historisch bewijs is staat-afhankelijk. Een wijziging die effectief was in een vorige harness-staat kan ongeldig of schadelijk worden naarmate de harness evolueert, toch behandelen bestaande methoden historische records als statisch geldig.
Gebrek aan Expliciete Zoekrichting ("Waar evolueer ik nu naar?"): Historische ervaring wordt vaak gepresenteerd als ruwe logs of samenvattingen. Bestaande methoden vertrouwen op de impliciete redenering van de voorsteller om te beslissen welke component te wijzigen en hoe, wat leidt tot instabiele zoekrichtingen en een inefficiënt gebruik van beperkte evolutie-budgetten.

Methodologie: Het DREvo Framework

Om deze beperkingen aan te pakken, stellen de auteurs DREvo (Distilling Recalibrated Historical Experience) voor, een self-evolution methode die ruwe trial-logs transformeert naar actiegerichte, staat-bewuste begeleiding. Het framework bestaat uit drie opeenvolgende componenten:

1. Function-Level Evidence Anchoring

Ruwe trial-logs zijn heterogeen en mengen code-wijzigingen, executie-trajecten en feedback. DREvo parseert deze logs om function-anchored evidence units te creëren.

Mechanisme: Het koppelt code diffs (wijzigingen tussen $h_{t-1}$ en $h_t$ ) aan specifieke functionele componenten (bijv. toolgebruik, geheugenbeheer) op basis van source-span grenzen.
Output: Elke evidence unit $e_{t,c}$ koppelt een specifieke component $c$ , de bijbehorende code-wijziging $\delta_{t,c}$ , en de geobserveerde uitkomst (globale statistieken, taakuitkomsten, foutpatronen).
Attributie: Dit lokaliseert feedback naar specifieke componenten, wat een preciezere attributie van succes of falen mogelijk maakt.

2. State-Dependent Evidence Recalibration

Voordat historische bewijslast wordt hergebruikt, herkalibreert DREvo de geldigheid ervan dynamisch op basis van de huidige harness-staat. Het berekent een gekalibreerd gewicht $w_e$ voor elke evidence unit op basis van twee factoren:

Historische Betrouwbaarheid ( $r_t(e)$ ): Meet consistentie en versheid.
- Uitkomstconsistentie: Het fractie van eerdere aanroepen waarbij de uitkomst-polariteit (succes/falen) overeenkwam met de huidige evidence-polariteit, gewogen door de magnitude van de prestatieverandering.
- Versheid: Een vervalfactor gebaseerd op de tijd sinds de evidence voor het laatst is gebruikt of gecreëerd.
Structurele Compatibiliteit ( $q_t(e)$ ): Meet of de component-implementatie geassocieerd met de evidence nog steeds structureel vergelijkbaar is met de huidige component. Dit wordt berekend met behulp van Tree Edit Distance (TED) op Abstract Syntax Trees (ASTs), waarbij lexicale details worden genormaliseerd maar controleflow en logica behouden blijven.
Kalibratie: Het uiteindelijke gewicht is het harmonisch gemiddelde van betrouwbaarheid en compatibiliteit, wat ervoor zorgt dat evidence alleen wordt vertrouwd als het zowel historisch consistent als structureel relevant is.

3. Role-Conditioned Search Intent Distillation

In plaats van ruwe evidence aan de voorsteller te voeren, distilleert DREvo gekalibreerde evidence naar een expliciete zoekintentie ( $s_t$ ) die specificeert wat te doen en waar te zoeken.

Evidence Partitioning: De opgehaalde evidence wordt gecategoriseerd in drie sets op basis van gewicht en polariteit: Reliable Positive ( $X_t$ ), Reliable Negative ( $A_t$ ), en Low-Confidence ( $T_t$ ).
Role Activation: Op basis van deze sets wordt een zoekrol geactiveerd:
- Exploit: Als er betrouwbare positieve evidence bestaat, wordt de voorsteller begeleid om deze wijzigingen over te nemen of te verfijnen.
- Avoid: Als er betrouwbare negatieve evidence bestaat, wordt de voorsteller begeleid om specifieke schadelijke wijzigingen te vermijden.
- Retest: Als er alleen low-confidence evidence bestaat, wordt de voorsteller begeleid om deze richtingen onder de huidige staat opnieuw te evalueren.
- Explore: Als er geen relevante evidence is of eerdere retests faalden, krijgt de voorsteller de vrijheid om nieuwe richtingen te verkennen op basis van huidige foutpatronen.
Distillation: De geactiveerde rol en huidige foutpatronen worden gedestilleerd naar een gestructureerde prompt ( $s_t$ ) die de voorsteller expliciet naar een doelcomponent en een richting van wijziging stuurt.

Belangrijkste Bijdragen

Probleemidentificatie: Het artikel identificeert prestatiefluctuaties in harness self-evolution als een betrouwbaarheidscrisis, geworteld in het falen om de historische geldigheid dynamisch te herbeoelen en het gebrek aan expliciete zoekbeleid.
DREvo Framework: Een nieuwe methode die evidence aan functies koppelt, de geldigheid herkalibreert op basis van staat-compatibiliteit en historische consistentie, en dit distilleert naar role-conditioned zoekintenties.
Empirische Validatie: Uitgebreide experimenten die soepelere evolutie-trajecten en superieure prestaties aantonen over diverse benchmarks.

Experimentele Resultaten

De auteurs evalueerden DREvo op vijf benchmarks: drie Domain Reasoning taken (USPTO, Symptom2Disease, Law) en twee Agentic Tasks (Terminal-Bench 2.0, SWE-Bench Verified).

Algemene Prestaties: DREvo behaalde de hoogste nauwkeurigheid op alle vijf de benchmarks onder beperkte evolutie-budgetten (20 iteraties voor reasoning, 10 voor agentic taken).
- Domain Reasoning: Gemiddelde winst van 16,2% ten opzien van baselines. Specifiek verbeterde het USPTO met 9,0%, S2D met 2,4% en Law met 4,0% ten opzien van de op één na beste methoden.
- Agentic Tasks: Gemiddelde winst van 13,8% ten opzien van baselines. Met name op SWE-Bench Verified evolueerde DREvo een terminal-georiënteerde initiële harness naar een competitieve code-repair harness zonder handmatige taakspecifieke engineering.
Evolutie-traject: In tegen tegenoverhandse baselines (zoals Meta-harness), die grote nauwkeurigheidsoscillaties en context-bloat vertoonden, vertoonde DREvo soepelere verbeteringscurves en behield het een begrensde contextgrootte (~2,9K tokens).
Robuustheid: Onder gecontroleerde component-state drift (simulatie van veranderingen in de harness-code), verbeterde DREvo de prestaties in 11 van de 16 settings, terwijl "blind hergebruik" van evidence (zonder kalibratie) in de meeste gevallen de prestaties deed afnemen.
Ablatie-studies: Het verwijderen van een van de drie componenten (Anchoring, Recalibration, Distillation) resulteerde in prestatievermindering, wat hun complementaire rollen bevestigt.

Betekenis en Claims

Het artikel claimt dat DREvo de fundamentele instabiliteit van geschiedenisgestuurde zoekopdrachten in harness self-evolution aanpakt. Door over te stappen van statisch, impliciet hergebruik van geschiedenis naar dynamische, expliciete en staat-bewuste begeleiding, maakt DREvo de betrouwbare ontdekking van hoogwaardige harnesses mogelijk binnen beperkte computationele budgetten. De auteurs benadrukken dat hun winst voortkomt uit de kwaliteit van de zoekbegeleiding (recalibratie en distillatie) in plaats van simpelweg de voorsteller bloot te stellen aan meer historische data of contextcompressie. Het werk suggereert dat toekomstige harness-evolutie mechanismen vereist die continu de toepasbaarheid van het verleden valideren naarmate de systeemstaat evolueert.