💬 NLP

Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents

Co-Harness is een framework dat de runtime-harness van een LLM-agent en de modelparameters gezamenlijk optimaliseert door middel van een alternerend proces van harness-verfijning en model-fine-tuning, wat autonome herstel, efficiëntiewinst en strategie-ontdekking mogelijk maakt die verder gaan dan de beperkingen van fixed-harness post-training.

Oorspronkelijke auteurs: Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

Gepubliceerd 2026-07-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhengyu Chen, Teng Xiao, Huaisheng Zhu, Yige Yuan, Luan Zhang, Jingang Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren leerling probeert te leren hoe je complexe puzzels oplost. In de wereld van kunstmatige intelligentie is deze leerling een "Large Language Model" (LLM)—een computerprogramma dat kan lezen, schrijven en redeneren. Maar een LLM werkt niet in een vacuüm; het heeft een werkplaats nodig. Deze werkplaats wordt een "Harness" genoemd. Denk aan de Harness als de set gereedschappen, de instructiehandleiding, de veiligheidsleuningen en de geheugenbank die de leerling gebruikt om zijn werk te doen. Het bevat zaken zoals hoe de computer met een rekenmachine communiceert, hoe hij eerdere stappen onthoudt en hoe hij weet wanneer hij om hulp moet vragen.

Lange tijd behandelden wetenschappers de leerling en de werkplaats als twee aparte dingen. Ze besteedden jaren aan het trainen van de leerling om slimmer te worden, maar hielden de werkplaats exact hetzelfde, gebruikmakend van dezelfde oude gereedschappen en instructies die ze met de hand hadden ontworpen. Het probleem is dat zelfs de slimste leerling zal struikelen als de werkplaats een wiebelige tafel of een verwarrende kaart heeft. Ze kunnen falen, niet omdat ze niet slim genoeg zijn, maar omdat de omgeving waarin ze werken kapot is. Dit artikel stelt een eenvoudige maar krachtige vraag: Wat als we niet alleen de leerling trainden, maar ook de werkplaats tegelijkertijd zouden verbeteren? Wat als de leerling ons zou kunnen helpen uitzoeken wat er mis was met het gereedschap, en we hen vervolgens konden onderwijzen met de nieuwe, betere gereedschappen?

Dit is precies wat de onderzoekers achter Co-Harness ontdekten. Ze creëerden een systeem waarbij het AI-model en zijn "werkplaats" (de Harness) samen evolueren, als een danspartner die leert om in sync te bewegen. In plaats van alleen de AI te repareren en op het beste te hopen, kijkt hun systeem naar elk moment waarop de AI een taak niet volbrengt. Het vraagt: "Was dit omdat de AI in de war was, of omdat het gereedschap dat hij vasthield kapot was?" Als het gereedschap het probleem was—bijvoorbeeld een verwarrende instructie of een ontbrekende veiligheidshaak—dan repareert het systeem dat gerecht automatisch. Vervolgens gebruikt het het succes van de AI met het nieuwe gereedschap om de AI te leren hoe hij nog beter kan worden.

De resultaten zijn als het kijken naar een sneeuwbal die uitgroeit tot een rotsblok. De onderzoekers hebben dit getest op moeilijke wiskunde- en logische puzzels. Ze ontdekten dat door de AI en de gereedschappen samen te laten verbeteren, het systeem aanzienlijk slimmer werd. Na slechts twee rondes van deze "co-evolutie" sprong de nauwkeurigheid van de AI op moeilijke wiskundetoetsen met gemiddeld meer dan 20 procentpunten. In één specifiek geval draaide het systeem meer dan 200 uur zonder menselijke hulp, waarbij het zijn eigen crashes oploste, zijn werk versnelde en zelfs een nieuwe strategie bedacht om meerdere pogingen te combineren om het juiste antwoord te krijgen. Het artikel suggereert dat deze "dual-loop"-aanpak—het gelijktijdig verbeteren van de omgeving en het trainen van de hersenen—een veel krachtigere manier is om intelligente agenten te bouwen dan de oude methode waarbij de omgeving statisch blijft. Het blijkt dat je, om een genie te maken, soms eerst een betere speeltuin moet bouwen.

Technische Samenvatting: Co-Harness: Co-Evoluerende Harnesses en Modelgewichten voor LLM-agenten

1. Probleemstelling

Post-training voor agenten voor geautomatiseerd AI-onderzoek houdt traditioneel in dat modelparameters worden geoptimaliseerd terwijl het runtime-systeem — de "Harness" (het harnas) — wordt behandeld als een vaststaand, statisch geraamte. De Harness omvat prompts, tools, vaardigheden, middleware, geheugenbeleid en retry-logica. Huidige pipelines creëren een fundamentele mismatch: het model wordt bijgewerkt via supervised fine-tuning (SFT) of reinforcement learning op basis van trajecten gegenereerd door een statische Harness, maar de Harness zelf wordt nooit geoptimaliseerd op basis van de geobserveerde fouten tijdens de training.

Deze asymmetrie leidt tot een bottleneck waarbij suboptimale scaffolding (bijv. ambigue prompts, incorrecte tool-schema's, ontbrekende retry-hooks of geheugenoverloop) de generatie van hoogwaardige trainings-trajecten verhindert. Bijgevolg kan het model niet leren om deze omgevingsbeperkingen te overwinnen, en vormt de vaste Harness een plafond voor de prestaties van de agent, met name in complexe Tool-Integrated Reasoning (TIR) omgevingen waar een enkele schemafout een hele multi-turn sessie kan afbreken.

2. Methodologie: Co-Harness Framework

De auteurs stellen Co-Harness voor, een dual-loop framework dat de agent-harness ( $\phi$ ) en de modelparameters ( $\theta$ ) gezamenlijk optimaliseert door middel van een alternerend proces. De kernhypothese is dat een betere Harness schonere, meer informatieve trajecten produceert, wat een sterker model traint; dit sterkere model legt vervolgens hogere-orde Harness-bottlenecks bloot die voorheen onzichtbaar waren, wat verdere verbeteringen van de scaffolding mogelijk maakt.

Het framework werkt in twee alternerende loops per ronde $t$ :

A. De Co-Harness Loop (Harness Optimalisatie)

In deze fase wordt het model $\theta_t$ vastgehouden terwijl de Harness $\phi_t$ wordt geëvolueerd.

Foutverzameling: De agent voert taken uit onder $(\theta_t, \phi_t)$ en verzamelt een set mislukte trajecten $F^-_t$ .
HarnessCritic Analyse: Een LLM-gebaseerde component, HarnessCritic ( $C$ ), analyseert deze fouten. Het schrijft elke fout toe aan een gestructureerde grondoorzaak binnen de Harness-configuratie (bijv. prompt-ambiguïteit, tool-schema fout, ontbrekende skill, middleware-mismatch of geheugenoverloop).
Diff Generatie & Validatie: HarnessCritic stelt lokale patches (verschillen) voor om de Harness aan te passen. Deze patches worden gevalideerd door "rollout"-testen uit te voeren om te garanderen dat ze de specifieke foutmodus verbeteren zonder regressie te veroorzaken in vastgehouden gedragingen.
Registry Update: Gevalideerde patches worden gecommit naar een versiebeheerde Harness-registry, waardoor de actieve configuratie wordt bijgewwd naar $\phi^*_t$ .

B. De Model Alignment Loop (Model Optimalisatie)

In deze fase wordt de geëvolueerde Harness $\phi^*_t$ vastgehouden terwijl het model wordt bijgewerkt.

Hoogwaardige Trajectverzameling: Het huidige model $\theta_t$ wordt uitgevoerd onder de verbeterde Harness $\phi^*_t$ om een nieuwe dataset $D_t$ van hoogwaardige trajecten te genereren.
Supervised Fine-Tuning (SFT): Het model wordt gefinetuned op $D_t$ om de door de verbeterde scaffolding mogelijk gemaakte gedragingen te internaliseren, wat resulteert in een bijgewerkt model $\theta_{t+1}$ .
Iteratie: Het nieuwe model $\theta_{t+1}$ en de geëvolueerde Harness $\phi^*_t$ vormen het startpunt voor de volgende ronde, waarbij het sterkere model mogelijk nieuwe, complexere Harness-beperkingen zal onthullen.

Fouttoeschrijvings-taxonomie

HarnessCritic classificeert fouten in vijf actiegerichte Harness-dimensies en één onthoudingslabel:

Prompt Ambiguïteit ( $P$ ): Instructie-onderspecificatie of conflicterende doelen.
Tool Schema Error ( $T$ ): Ongeldige tool-aanroepen, slechte argument-schema's of backend-mismatches.
Skill Missing ( $S$ ): Afwezigheid van herbruikbare routines of decompositie-primitieven.
Middleware Mismatch ($Mid$): Gebrekkige loop-protocollen, hook-gedragingen of contextbeheerlogica.
Memory Overflow ( $M$ ): Persistente status-overloop, verouderde geheugeninhoud of retrieval-fouten.
Agent Error: Gegevens waarbij de fout inherent is aan de redenering van het model in plaats van aan de Harness.

3. Belangrijkste Bijdragen

Gezamenlijke Optimalisatie Formulering: Het artikel formuleert agent post-training als een gezamenlijk optimalisatieprobleem over modelgewichten en de runtime Harness, waarmee het paradigma van het behandelen van prompts en tools als vaste infrastructuur wordt overstegen.
HarnessCritic: De introductie van een foutgestuurde procedure die een gestructureerde attributie van fouten uitvoert aan specifieke Harness-componenten en gevalideerde, lokale diffs voorstelt voor reparatie.
Mechanisme van Cumulatieve Winst: De demonstratie dat het afwisselen van Harness-evolutie en Model Alignment een positieve feedbackloop creëert, waarbij verbeteringen in scaffolding leiden tot betere trainingsdata, wat weer leidt tot sterkere modellen die in staat zijn om zelfs meer geavanceerde scaffolding te benutten.

4. Experimentele Resultaten

Het framework werd geëvalueerd op Tool-Integrated Reasoning (TIR) taken met wiskundige benchmarks (AIME 2024, AIME 2025, HMMT 2025) en twee model-schalen (Qwen3-8B en Qwen3-32B).

Prestatiewinst: Twee ronden van Co-Harness co-evolutie resulteerden in een gemiddelde nauwkeurigheidsverbetering van +20,4 procentpunten (pp) over benchmarks en model-schalen vergeleken met de baseline (een Harness die één keer is geëvolueerd zonder model SFT).
- De grootste winst werd waargenomen op de moeilijkste benchmark (HMMT 2025) voor het Qwen3-32B model, met een verbetering van +27,2 pp.
- Het systeem overtrof zorgvuldig handontworpen, statische Harness-configuraties met gemiddeld +24,7 pp.
Autonome Casestudy: In een autonome run van 200+ uur op AIME 2024:
- Herstelde het systeem van een initiële systeemcrash (vllm KV cache error).
- Verbeterde de inferentie-efficiëntie met 8,7× (reductie van wandkloktijd van 3,78u naar 1,11u) door middel van global-batched inference.
- Ontdekte een ensemble-strategie (majority voting van diverse seeds) die de beste nauwkeurigheid (63,3%) behaalde binnen het tijdbudget, alles zonder menselijke tussenkomst.
Robuustheid: Het systeem detecteerde en draaide succesvol regressies terug (bijv. domeinspecifieke prompts die conflicteerden met de interne redenering van het model) met behulp van de versiebeheerde registry.

5. Betekenis en Claims

Het artikel betoogt dat Co-Harness een kritieke beperking in de huidige agent-ontwikkeling aanpakt: de ontkoppeling van modeltraining van de omgeving die de trainingsdata genereert. Door de Harness te behandelen als een leerbare variabele in plaats van een statisch geraamte, maakt Co-Harness cumulatieve zelfverbetering mogelijk.

De auteurs claimen dat deze aanpak een "positieve feedbackspiraal" realiseert waarbij:

Een betere Harness leidt tot schoner toolgebruik en minder vermijdbare crashes.
Deze schonere trajecten trainen een sterker model.
Het sterkere model een rijkere, complexere Harness-configuratie kan exploiteren die voorheen onbruikbaar was.

Dit staat in contrast met eerder werk dat ofwel het model optimaliseert voor een vaste Harness (standaard SFT/RL), of de Harness optimaliseert voor een vast model (inference-time search). Co-Harness wordt gepresenteerd als het eerste framework dat beide co-evolueert, wat suggereert dat de onderlinge afhankelijkheid van scaffolding en modelgewichten een primaire as is voor het verbeteren van de capaciteiten van agenten voorbij de vaste-harness post-training.

Beperkingen opgemerkt door de auteurs: De aanpak vereist een bekwaam critic LLM, een voldoende volume aan fout-trajecten voor de cold-start, en aanzienlijke rekenkracht voor multi-round SFT. Daarnaast kan de accuratesse van attributie degraderen voor foutmodi die complexe contrafeitelijke redenering vereisen, en blijven structurele herontwerpen van de Harness een menselijke verantwoordelijkheid.