💬 NLP

HarnessForge: Joint Harness and Policy Evolution for Adaptive Agent Systems

HarnessForge is een meta-adaptief framework dat zowel de externe executie-harness als het interne redeneerbeleid van LLM-agenten gezamenlijk evolueert door middel van foutgeleide afstemming en harness-geconditioneerde alignment, waarbij het geïsoleerde adaptatiemethoden significant overtreft door hun uitvoerbare compatibiliteit over diverse taakregimes heen te optimaliseren.

Oorspronkelijke auteurs: Mingju Chen, Can Lv, Guibin Zhang, Heng Chang, Shiji Zhou

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingju Chen, Can Lv, Guibin Zhang, Heng Chang, Shiji Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleel: De "Starre Robot"

Stel je voor dat je een briljante maar onervaren robotassistent (een LLM Agent) inhuurt om verschillende klussen te doen.

Klussen A: Je wilt dat hij een vlucht boekt. Hij heeft een strikte checklist en een kalender nodig.
Klussen B: Je wilt dat hij een mysterieverhaal schrijft. Hij heeft een creatieve flow en een geheugen van plotpunten nodig.
Klussen C: Je wilt dat hij een lekkende leiding repareert in een simulatie. Hij moet precies weten welke gereedschappen hij in welke volgorde moet pakken.

Het probleem is dat de meeste robotassistenten worden geleverd met een vast instructieboek (een Harness genoemd). Dit handboek vertelt de robot hoe hij moet denken en handelen.

Als het handboek te rigide is, faalt de robot bij creatieve taken.
Als het handboek te losjes is, raakt de robot in de war tijdens complexe, stapsgewijze taken.

Traditioneel probeerden onderzoekers dit op twee afzonderlijke manieren op te lossen:

Het Handboek herschrijven: Houd de robot hetzelfde, maar probeer voor elke nieuwe klus een beter instructieboek te schrijven. (Dit gaat traag en mist vaak het doel).
De Robot trainen: Houd het handboek hetzelfde, maar probeer de robot "slimmer" te maken door middel van vallen en opstaan. (Dit is duur en de robot kan nog steeds in de war raken door een slecht handboek).

HarnessForge zegt: "Waarom zou je kiezen? Laten we beide samen laten evolueren."

De Oplossing: Een "Tandemdans"

De auteurs stellen een systeem voor genaamd HarnessForge. Zie het Agent-systeem als een Danspaar:

De Harness (De Choreograaf): Dit is de externe structuur. Deze bepaalt de passen, de muziek, de regels en de hulpmiddelen die de danser kan gebruiken.
De Policy (De Danser): Dit is het brein van de robot. Deze bepaalt hoe de voeten daadwerkelijk moeten bewegen om de choreografie te volgen.

In het verleden probeerden mensen de Choreograaf of de Danser apart te verbeteren. HarnessForge realiseert zich dat ze gekoppeld zijn. Een geweldige choreografie is nutteloos als de danser de passen niet kan uitvoeren. Een getalenteerde danser is nutteloos als de choreografie onlogisch is.

HarnessForge laat hen samen evolueren in een lus:

Stap 1: De "Foutdiagnose" (Het struikelen vinden)

Het systeem laat het danspaar een reeks taken uitvoeren. Wanneer ze struikelen (falen), kijkt een "Meta-Agent" (een superintelligente scheidsrechter) naar de beelden.

Struikelde de danser omdat hij moe was? (Policy-probleem)
Struikelde de danser omdat de choreograaf een stap gaf die fysiek onmogelijk was? (Harness-probleem)
Struikelden ze omdat de muziek op het verkeerde moment stopte? (Geheugen/Structuur-probleem)

Stap 2: Het Aanpassen van de Harness (De choreografie herschrijven)

Op basis van de diagnose herschrijft het systeem automatisch de Harness.

Als de robot het plan bleef vergeten, wordt de Harness bijgewerkt om een "post-it"-systeem toe te voegen (Geheugen).
Als de robot steeds het verkeerde gereedschap pakte, wordt de Harness bijgewerkt om een "veiligheidscontrole" toe te voegen die het gereedschap controleert voordat het wordt gebruikt.
Analogie: Het is als een coach die ziet dat een voetbalteam een wedstrijd verliest en onmiddellijk de formatie of het tactische plan aanpast om de specifieke zwakte te verhelpen.

Stap 3: Het Afstemmen van de Policy (De danser trainen)

Zodra de nieuwe Harness (choreografie) klaar is, gooit het systeem niet zomaar de oude robot ertegenaan. Het fijnt de robot specifiek af voor deze nieuwe set regels.

Het neemt de succesvolle pogingen uit de vorige ronde en leert de robot: "Hey, wanneer de Harness zegt 'Controleer het gereedschap', moet je deze specische beweging maken."
Analogie: Het is als een dansinstructeur die een specifieke routine aanleert aan een danser, zodat het spiergeheugen perfect aansluit bij de nieuwe passen.

Stap 4: "Survival of the Fittest"

Het systeem houdt de beste paren (Harness + Robot) bij en laat degenen die nog steeds falen vallen. Dit proces wordt gedurende meerdere rondes herhaald. Bij elke ronde wordt de choreografie slimmer en de danser beter in het volgen van die specifieke choreografie.

Waarom dit werkt (De Resultaten)

Het paper heeft dit getest op vijf verschillende "dansvloeren" (benchmarks) die onder andere gaan over:

Het gebruiken van tools om puzzels op te lossen.
Het zoeken op internet naar antwoorden.
Het aanroepen van API's (digitale tools) om filmgegevens op te halen.

De bevindingen:

Beter samen: Systemen die zowel de Harness als de Policy samen evolueerden, presteerden aanzienlijk beter dan systemen die slechts één van beide veranderden.
Efficiëntie: Het vereiste geen miljoenen extra pogingen (rollouts) om te werken. Omdat het systeem leert van de structuur van de fout, leert het sneller.
Compatibiliteit is essentieel: De belangrijkste les is dat een "perfecte" robot niet in een vacuüm bestaat. Een robot is slechts zo goed als het systeem waarin hij opereert. Door de robot en zijn systeem samen te laten evolueren, worden ze perfect compatibel.

Samenvattende Analogie

Stel je voor dat je probeert de ultieme Zwitserse zakmes te bouwen.

De Oude Manier: Je probeert óf het handvat (Harness) perfect te maken, óf de kling (Policy) scherper te maken, maar je verandert nooit beide tegelijkertijd.
De HarnessForge Manier: Je beseft dat als je het handvat ergonomisch maakt voor een linkshandige timmerman, je ook de hoek van de kling moet aanpassen. Je bouwt een werkplaats waar het handvat en de kling samen worden gesmeed, getest en verfijnd in een lus, totdat ze perfect bij elkaar passen.

Het resultaat is een instrument dat perfect is aangepast aan de specifieke taak die het moet uitvoeren.

Technische Samenvatting: HarnessForge

Probleemstelling

Large Language Model (LLM) agenten worden steeds vaker ingezet in heterogene taakregimes (bijv. multi-step toolgebruik, retrieval-zware redenering, webinteractie) die verschillende executieparadigma's vereisen. Bestaande adaptatiestrategieën lijden doorgaans aan een "compatibiliteitskloof" omdat ze ofwel de externe executiestructuur (de harness) ofwel het interne redeneergedrag (de policy) in isolatie optimaliseren.

Search-style methoden optimaliseren externe workflows, tool-gebruiksprocedures en geheugenbeheer, maar laten de compatibiliteit met de model-zijde executor vaak impliciet.
Training-style methoden passen de modelpolicy aan via supervised learning of reinforcement learning, maar gaan doorgaans uit van een vaste, extern gespecificeerde interactieloop.

Dit component-georiënteerde perspectief is onvoldoende voor systeem-brede meta-adaptatie. Een expressievere harness kan falen als de reasoner niet in staat is haar protocollen uit te voeren, terwijl een sterkere policy beperkt kan worden door een harness die ongeschikte staten blootstelt. Het artikel betoogt dat effectieve adaptatie vereist dat het agentsysteem wordt behandeld als een gekoppeld harness–policy paar en dat hun gezamenlijke evolutie wordt geoptimaliseerd om uitvoerbare compatibiliteit te waarborgen.

Methodologie: HarnessForge

HarnessForge is een meta-adaptief framework dat een LLM-agentsysteem $G$ formuleert als een paar $(H, R_\delta)$ , waarbij $H$ de bewerkbare executie-harness is en $R_\delta$ een aangepaste reasoner (een basismodel $R_{\theta_0}$ met een lichtgewicht adapter $\delta$ ). Het framework werkt via iteratieve rondes van harness–policy co-evolutie.

1. Systeemformulering

De harness $H$ wordt gedecomposed in drie componenten op de executielaag:

Planning ( $P$ ): Taakdecompositie, herplanning en terminatie.
Action ( $A$ ): Tool-interfaces, roltoewijzing en orchestratieregels.
Memory ( $M$ ): Wat wordt geschreven, opgehaald, samengevat en blootgesteld aan toekomstige beslissingen.

De reasoner $R_\delta$ voert uit binnen de restricties van $H$ . Het doel is om zowel $H$ als $\delta$ gezamenlijk te evolueren om een fitness-indicator $J$ te maximaliseren op basis van taakprestaties, tokenkosten en latentie.

2. Co-evolutie Workflow

Elke evolutieronde $r$ wisselt af tussen twee wederzijds versterkende processen:

A. Fault-Guided Harness Tailoring

In plaats van willekeurige zoektochten gebruikt HarnessForge een meta-agent om de harness-structuur te diagnosticeren en te verfijnen:

Fault Attribution: Het systeem evalueert huidige harness–policy paren op een batch taken. Een meta-agent analyseert rollout-traces en executie-statistieken om fouten specifiek toe te schrijven aan de Planning, Action of Memory componenten.
Archive-Guided Improvement: Een historisch archief $Z$ van harness-ontwerpen en hun evaluatievectoren wordt bijgehouden. De meta-agent haalt Pareto-optimale exemplaren op die relevant zijn voor de huidige fouten en genereert een verbeteringsrapport.
Refine-and-Filter: Op basis van het rapport genereert de meta-agent herziene harness-kandidaten (waarbij alleen $P, A, M$ worden bewerkt). Deze kandidaten ondergaan een gefaseerd, gebudgetteerd Pareto-filterproces (half-selectie) om de meest veelbelovende overlevers voor de volgende fase te behouden.

B. Harness-Conditioned Policy Alignment

Zodra een set overlevende harnesses is geselecteerd, stemt het framework de redeneerpolicy af op deze:

Parent Initialization: Voor elke overlevende harness wordt de policy geïnitialiseerd vanuit zijn ouderlijke lineage (het vouwen van de vorige adapter).
Trajectory Curation: Het framework hergebruikt de succesvolle rollout-traces die zijn gegenereerd tijdens de harness-filterfase. Er is geen aparte data-collectiefase nodig.
Adapter Training: Een nieuwe, harness-specifieke LoRA-adapter wordt getraind via supervised fine-tuning (SFT) op de gecureerde succesvolle trajecten. De input bevat de taakinstructie, de actieve harness-interface, geaccumuleerde observaties en de geheugenstatus, zodat de policy leert om specifiek onder de geëvolueerde harness uit te voeren.

Belangrijkste Bijdragen

Herformulering van Adaptatie: Het artikel verschuift de eenheid van optimalisatie van geïsoleerde componenten naar het harness–policy paar, waarbij expliciet de compatibiliteitskloof tussen externe structuren en interne redenering wordt geadresseerd.
HarnessForge Framework: Een meta-adaptief co-evolutiemechanisme dat fault-guided harness tailoring coördineert met harness-conditioned policy alignment. Dit zorgt ervoor dat structurele verbeteringen in de harness gepaard gaan met overeenkomstige aanpassingen in de policy.
Empirische Validatie: Uitgebreide evaluatie over vijf benchmarks (ToolHop, SearchQA, RestBench-TMDB, API-Bank) en twee backbone modellen (Qwen3-4B, Qwen3-8B).

Experimentele Resultaten

Prestatiewinst: HarnessForge presteert consistent beter dan zowel search-style baselines (bijv. AFlow, AgentSquare, MaAS) als training-style baselines (bijv. SFT, GRPO, RLOO).
- Het bereikt een gemiddelde verbetering van 3,56% over de sterkste baseline over alle metrieken.
- Het bereikt tot wel 12,0% verbetering op specifieke benchmarks (bijv. TMDB met Qwen3-4B).
Ablatieonderzoeken: Het verwijderen van ofwel harness tailoring ofwel policy alignment leidt consistent tot een verslechtering van de prestaties. De kloof wordt groter over de evolutierondes, wat bevestigt dat de winst voortkomt uit de co-evolutie van het paar en niet uit onafhankelijke optimalisatie.
Efficiëntie: HarnessForge vertoont gunstige rollout–prestatie trade-offs. In tegen tegenoverliegende van policy-only RL-methoden die enorme rollout-budgetten vereisen om gedrag onder een vaste interface te verkennen, hergebruikt HarnessForge rollout-bewijs om de harness te verbeteren en vervolgens de policy af te stemmen, waardoor sterke resultaten worden behaald met aanzienlijk minder rollouts (bijv. 12K rollouts voor SFT versus 45,6K voor RL-gebaseerde baselines in ronde 3).
Compatibiliteit: Analyse van cross-combinaties van geëvolueerde harnesses en policies laat zien dat gematchte paren significant beter presteren dan mismatched paren, wat de validatie vormt dat het framework paar-specifieke compatibiliteitswinsten induceert in plaats van alleen algemeen sterkere componenten te produceren.

Betekenis en Claims

Het artikel claimt dat uitvoerbare compatibiliteit tussen de harness en de redeneerpolicy de kritieke factor is voor effectieve agent-systeemadaptatie. Door de agent als een gekoppeld systeem te behandelen en de interface en de executor samen te evolueren, stelt HarnessForge agenten in staat om zich effectiever meta-aan te passen aan diverse taakregimes dan methoden die structuur of policy in isolatie optimaliseren.

De auteurs merken op dat hoewel het framework momenteel wordt geëvalueerd op resource-beperkte backbones (Qwen3-4B/8B), waar de koppeling het meest prominent aanwezig is, de omvang van deze winsten voor frontier-schaal modellen een openstaande onderzoeksvraag blijft. Daarnaast gebruikt de huidige implementatie gestructureerde edit-operators voor harness-evolutie om auditeerbaarheid en uitvoerbaarheid te garanderen, hoewel toekomstig werk bredere code-niveau herschrijvingen zou kunnen verkennen.