💬 NLP

MemoHarness: Agent Harnesses That Learn from Experience

MemoHarness is een adaptief framework voor agentoptimalisatie dat de prestaties van LLM's over diverse taken heen verbetert door de besturingslaag te ontleden in zes dimensies en de harness-configuraties dynamisch af te stemmen op elk geval met behulp van een dubbellaagse ervaringsbank afgeleid van eerdere executies, alles zonder dat daar testtijd-labels of aanvullende zoekopdrachten voor nodig zijn.

Oorspronkelijke auteurs: Yue Huang, Wenjie Wang, Han Bao, Yuchen Ma, Xiaonan Luo, Yi Nian, Haomin Zhuang, Zheyuan Liu, Yue Zhao, Xiangliang Zhang

Gepubliceerd 2026-07-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yue Huang, Wenjie Wang, Han Bao, Yuchen Ma, Xiaonan Luo, Yi Nian, Haomin Zhuang, Zheyuan Liu, Yue Zhao, Xiangliang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, superintelligente robotassistent hebt. Je geeft het een taak, en het probeert deze op te lossen. Maar hier is de crux: de robot moet niet alleen slim zijn; de robot moet ook weten hoe hij zijn brein moet gebruiken. Het heeft een set instructies nodig over hoe het gedachten moet organiseren, wanneer het informatie moet opzoeken, hoe het om hulp moet vragen en hoe het zijn werk moet controleren voordat het het antwoord aan jou geeft. In de wereld van kunstmatige intelligentie wordt deze set instructies en hulpmiddelen een "agent harness" genoemd. Denk aan het dashboard, het stuur en de GPS in een auto. De motor (het AI-model) is misschien krachtig, maar als het dashboard kapot is of de GPS vastzit op een oude kaart, gaat de auto je niet naar waar je naartoe wilt brengen. Lange tijd hebben wetenschappers geprobeerd deze robots slimmer te maken door de motoren groter te maken. Maar dit artikel stelt een andere vraag: wat als we gewoon het dashboard repareren? Wat als we de robot kunnen leren om van zijn eigen fouten te leren en zijn rijstijl voor elke rit aan te passen, in plaats van steeds dezelfde stijve, eenheidsworst-instructies voor alles te gebruiken?

Dit is precies wat de onderzoekers achter MemoHarness wilden bereiken. Ze realiseerden zich dat de meeste AI-agents van vandaag lijken op auto's met een vast stuur: ze gebruiken dezelfde opstelling voor elk probleem, of het nu gaat om een eenvoudige bocht of een complexe invoegbeweging op de snelweg. Het team bouwde een nieuw systeem dat werkt als een "lerende bestuurder". In plaats van alleen te zoeken naar één perfecte set instructies om voor altijd te gebruiken, laat MemoHarness de agent leren van zijn eerdere ritten. Het houdt een gedetailleerd dagboek bij van wat werkte, wat misging en waarom. Wanneer er een nieuwe taak opduikt, gokt de agent niet zomaar; hij kijkt in zijn dagboek, vindt vergelijkbare situaties uit het verleden en past zijn eigen instructies ter plekke aan om aan te sluiten bij de specifieke uitdaging.

Het artikel introduceert een slimme manier om de "harness" op te splitsen in zes afzonderlijke onderdelen, zoals het draaien aan verschillende knoppen op een bedieningspaneel: hoe de agent informatie verzamelt (Context), welke hulpmiddelen hij gebruikt (Tool), hoe hij denkt en spreekt (Generation), de volgorde van zijn stappen (Orchestration), wat hij onthoudt (Memory) en hoe hij zijn antwoord afrondt (Output). Door deze als afzonderlijke, bewerkbare oppervlakken te behandelen, kan het systeem precies diagnosticeren wat er misging. Vergeet hij een kaart te checken? Probeerde hij te hard te rijden? Is hij vergeten een belangrijk detail te onthouden?

In hun experimenten testte het team dit systeem op drie zeer verschillende soorten taken: optreden als een computerterminal om software te repareren, het schrijven van code en het oplossen van complexe financiële redeneringspuzzels. De resultaten waren veelbelovend. Bij de computerterminal-tests verbeterde MemoHarness het succespercentage van 0,722 naar 0,806, waarmee het de beste vaste opstellingen die ze vergeleken heeft versloeg. Het toonde ook aan dat deze geleerde gewoonten konden "overdragen" naar nieuwe, onbekende taken en zelfs goed werkten op verschillende soorten AI-modellen zonder dat ze opnieuw getraind hoefden te worden. Zo, toen ze de harness die geleerd was op één model toepasten op zes andere modellen, steeg het gemiddelde succespercentage met +0,098.

De auteurs suggereren dat deze aanpak een praktische manier is om AI aanpasbaarder te maken zonder telkens een nieuwe motor te hoeven bouwen. Ze zijn echter voorzichtig om te vermelden dat, hoewel de resultaten sterk zijn, ze gebaseerd zijn op specifieke tests en simulaties. Ze beweren niet elk probleem te hebben opgelost of bewezen dat dit in elk enkel scenario in de echte wereld perfect werkt. Ze ontdekten ook dat, hoewel het systeem meer data gebruikt om zijn dagboek te "lezen", het grootste deel van die data gecached (opgeslagen voor snel hergebruik) kan worden, waardoor de kosten concurrerend blijven. Kortom, MemoHarness suggereert dat het de AI de mogelijkheid geven om te reflecteren op zijn eigen ervaring en zijn eigen bedieningspaneel aan te passen, de sleutel kan zijn om het echt behulpzaam te maken, waardoor een rigide machine verandert in een flexibele, lerende partner.

Technische Samenvatting: MemoHarness

Probleemstelling

De prestaties van Large Language Model (LLM) agents zijn sterk afhankelijk van de agent harness—de externe bestuurslaag die contextconstructie, toegang tot tools, inferentie-orchestratie, geheugenretentie en output-validatie beheert. Hoewel de ervaring van praktijkgebruikers aangeeft dat het ontwerp van een harness de taaksucces met tientallen procentpunten kan laten schommelen, richten huidige geautomatiseerde optimalisatiemethoden zich doorgaans op smalle artefacten (bijv. prompts, pipelines of workflows) in plaats van op de volledige bestuurslaag. Bovendien vertrouwen uitgerolde agents meestal op een enkele, statische globale harness voor alle gevallen, waardoor ze niet kunnen adapteren aan specifieke variaties in domein, ambiguïteit of redeneerdiepte.

Bestaande benaderingen kampen met drie primaire uitdagingen:

Hoge Dimensionaliteit en Koppeling: De harness is een complex systeem waarbij het wijzigen van één component (bijv. retrieval) andere componenten (bijv. prompt-formaat of geheugenbeleid) beïnvloedt.
Zwak Toezicht: Benchmarks scores geven succes of falen aan, maar diagnosticeren niet welke dimensie van de harness de oorzaak was van het falen of wat naar toekomstige gevallen getransfereerd zou moeten worden.
Test-Time Adaptation Gap: Uitgerolde agents missen het vermogen om hun harness te specialiseren voor een specifieke inkomende case zonder dat daar nieuwe labels, feedback of een nieuwe zoekrun voor nodig is.

Methodologie: MemoHarness

MemoHarnes is een adaptief framework dat leert van zijn eigen executies om de agent harness te optimaliseren. Het werkt in twee fasen: Training-Time Search en Test-Time Case Adaptation.

1. Zesdimensionale Harness Ruimte

In plaats van de harness als een monolithische prompt te behandelen, deelt MemoHarness deze op in zes bewerkbare besturingsdimensies gebaseerd op de temporele flow van de inferentie:

D1 Context Assemblage: Constructie van de modelinput (instructies, restricties, opgehaald materiaal).
D2 Tool Interactie: Controle over wanneer en hoe externe tools of retrievers worden aangeroepen.
D3 Generatie Controle: Decoding parameters (sampling, token budget).
D4 Orchestratie: Workflow topologie (volgorde van oproepen en redeneerstappen).
D5 Geheugen Beheer: State persistentie en context pruning over opeenvolgende calls.
D6 Output Verwerking: Post-processing en validatie van ruwe modeloutputs.

2. Dual-Layer Experience Bank

Tijdens de zoekfase accumuleert MemoHarness een gestructureerde experience bank ( $B_t = \{E_t, G_t\}$ ):

Per-Case Entries ( $E_t$ ): Registreert executie-trajecten, beloningen, kosten en een diagnose voor elke case. De diagnose identificeert de primaire falende dimensie, secundaire bijdragende dimensies en een natuurlijke taal analyse.
Global Patterns ( $G_t$ ): Gedestilleerd uit failure clusters, leggen deze patronen terugkerende fenomenen, ondersteunend bewijs en het verwachte effect van gerichte harness-wijzigingen vast.

3. Training-Time Optimalisatie

Het systeem voert een geleide zoektocht uit over de zesdimensionale ruimte, startend vanaf een minimale harness.

Correctheid-Eerst Selectie: Het primaire doel is het maximaliseren van de taakbeloning (correctheid). Executiekosten (tokenverbruik) dienen slechts als secundaire tiebreaker.
Iteratieve Verfijning: Een controller stelt nieuwe harness configuraties voor op basis van opgehaalde bewijslast uit de experience bank. De zoektocht draait gedurende $T$ iteraties en accumuleert diagnostische kennis in plaats van enkel scalaire scores.

4. Test-Time Case Adaptation

Tijdens de inferentie voert het systeem geen nieuwe zoektocht uit. In plaats daarvan adapteert het de geleerde globale harness ( $W^*$ ) naar een specifieke test case ( $x_j$ ):

Retrieval: Het systeem haalt vergelijkbare historische cases (zowel successen als failures) en relevante globale patronen op uit de bevroren experience bank op basis van case-kenmerken en instructie-gelijkenis.
Adaptatie: Een controller brengt de globale harness in kaart naar een case-specifieke harness ( $W(x_j)$ ) met behulp van het opgehaalde bewijs.
Executie: De aangepaste harness wordt uitgevoerd om de uiteindelijke output te produceren. Er wordt geen test-time feedback of gradient updates gebruikt.

Belangrijkste Bijdragen

Gestructureerde Harness Optimalisatie: Een framework dat de monolithische harness deelt in zes scheidbare besturingsvlakken gekoppeld aan een dual-layer experience bank, waardoor de zoektocht bruikbare diagnostische kennis kan accumuleren.
Test-Time Adaptation Mechanisme: Een methode om een via zoektocht verkregen globale harness aan individuele test cases aan te passen met behulp van opgehaalde ervaring, opererend zonder test-time labels of feedback.
Empirische Validatie: Resultaten die verbeterde taaksucces aantonen over in-domain, cross-dataset en cross-model evaluaties, samen met gunstig kostengedrag wanneer de opgehaalde context cachebaar is.

Experimentele Resultaten

De auteurs evalueerden MemoHarness op drie benchmarks: Terminal-Bench (shell tooling), LiveCodeBench (code generatie) en FinanceAgent (analytisch redeneren).

Taaksucces (RQ1): Op Terminal-Bench behaalde MemoHarness een gemiddelde succesrate van 0.806, waarmee het de sterkste fixed-harness baseline (Codex) met 0.722 overtrof.
Zoek Evolutie (RQ2): De kwaliteit van de harness verbeterde over iteraties, waarbij de meest significante winsten werden waargenomen op lang-horizon taken (FinanceAgent), waar de basis harness aanzienlijke ruimte liet voor verbetering.
**Cross-Dataset Transfer (RQ3):
Geleerde harnesses vertoonden selectieve transfer naar ongeziene evaluatie-suites. Zo verbeterde een harness geleerd op Terminal-Bench de prestaties op MMMLU, StrongReject en SWE-Bench Pro, hoewel de winsten niet uniform waren over alle suites.
Cross-Model Transfer (RQ4): Een harness geleerd met GPT-5.3-Codex werd toegepast op zes andere modellen zonder hertraining. Alle modellen vertoonden verbetering, met een gemiddelde winst van +0.098 over de familie, wat suggereert dat de geleerde controlebeleid draagbaar zijn.
Kostenefficiëntie (RQ5): Hoewel MemoHarness extra context ophaalt, is het grootste deel van deze input cachebaar. In de evaluatie behaalde MemoHarness een hogere accuratesse dan Codex en Claude Code tegen een lagere totale dollar kost ($6.89 vs. $10.28 en $9.51, respectievelijk), mits de caching-aanname standhoudt.

Betekenis en Claims

Het paper stelt dat executie-ervaring een praktisch substraat is voor het bouwen van agent harnesses die adaptiever zijn dan een enkele statische configuratie. MemoHarness demonstreert dat de besturingslaag rondom een LLM geoptimaliseerd kan worden om end-to-end prestaties te verbeteren, wat dient als een praktisch complement aan model scaling en handmatige engineering.

De auteurs stellen expliciet dat hoewel hun resultaten bewijs leveren voor de effectiviteit van adaptieve harnesses, bredere claims met betrekking tot statistische robuustheid en gedetailleerde component-attributie aan toekomstig werk worden overgelaten. Ze benadrukken dat de geobserveerde winsten selectief zijn in plaats van universeel, en dat het framework steunt op de aanname dat opgehaalde ervaring effectief gecached kan worden om de kostenefficiëntie te behouden.