Technische Samenvatting: Self-Harness

Probleemstelling

De prestaties van op Large Language Models (LLM) gebaseerde agenten worden niet alleen bepaald door hun basismodelgewichten, maar ook door hun harness (harnas)—de omliggende systeemlaag bestaande uit systeemprompts, tools, geheugen, verificatieregels en runtime-beleid. Hoewel menselijke experts momenteel deze harnesses ontwerpen, kampt dit paradigma met schaalbaarheidsproblemen naarmate LLM's steeds diverser en sneller evoluerend worden. Een harness die geoptimaliseerd is voor het ene model, blijkt vaak suboptimaal voor een ander vanwege afwijkende gedragspatronen, tool-gebruiksgewoonten en foutmodi. Bestaande geautomatiseerde benaderingen vertrouwen vaak op sterkere externe agenten om verbeteringen te sturen, wat kostbaar is en mogelijk niet goed aansluit bij de specifieke foutmodi van het doelmodel. Het artikel adresseert de uitdaging om een op LLM gebaseerde agent in staat te stellen zijn eigen operationele harness te verbeteren zonder menselijke engineering of externe begeleiding.

Methodologie: De Self-Harness Loop

De auteurs stellen Self-Harness voor, een iteratief zelfverbeteringsframework waarbij een vast model zijn eigen niet-parametrische scaffolding verfijnt. Het proces werkt als een gesloten lus bestaande uit drie afzonderlijke stadia:

1. Zwakte-extractie (Weakness Mining)

De agent, opererend onder de huidige harness ($h_t$), voert een reeks taken uit van een 'held-in' split ($D_{in}$). Het systeem verzamelt executietraces en clustert mislukte traces op basis van verifier-gegronde foutsignaturen.

• Attributie: In plaats van mislukkingen als geïsoleerde gebeurtenissen te behandelen, analyseert het systeem de trace om de terminale verifier-niveau oorzaak ($c_i$), de causale status van het agentgedrag ($q_i$) en het abstracte agentmechanisme ($m_i$) te identificeren.
• Clustering: Mislukkingen worden deterministisch gegroepeerd als ze dezelfde signatuur delen, wat ervoor zorgt dat de daaropvolgende voorstelrichting zich richt op herbruikbare foutmechanismen in plaats van oppervlakkige symptomen.
• Output: Een bewijspakket ($B_t$) dat de dominante foutpatronen samenvat, gerangschikt op basis van ondersteuning en actiegerichtheid.

2. Harness Voorstel (Harness Proposal)

Hetzelfde vaste model ($M$) wordt aangeroepen in een "proposer"-rol, waarbij de huidige harness ($h_t$) en het bewijspakket ($B_t$) als context dienen.

• Restricties: De proposer genereert $K$ diverse maar minimale kandidaat-wijzigingen ($\Delta_j$). Elke wijziging moet een specifiek foutmechanisme targeten en mappen naar een concreet, bewerkbaar oppervlak van de harness (bijv. specifieke instructies, tool-policies of verificatieregels).
• Diversiteit vs. Minimaliteit: Het systeem moedigt het verkennen van verschillende foutmechanismen of harness-oppervlakken aan over de voorstellen heen, maar dwingt af dat individuele wijzigingen gericht blijven, om brede herschrijvingen van de controle-architectuur te vermijden.
• Output: Een set kandidaat-harnessvarianten $h^{(j)}_t = \Delta_j(h_t)$, elk vergezeld van een audit-record.

3. Voorstel Validatie (Proposal Validation)

Kandidaat-wijzigingen ondergaan strikte regressietests voordat ze worden geaccepteerd.

• Evaluatie: Zowel de huidige harness ($h_t$) als de kandidaat-harnesses ($h^{(j)}_t$) worden geëvalueerd op de 'held-in' split ($D_{in}$) en een 'held-out' split ($D_{ho}$).
• Acceptatieregel: Een kandidaat wordt alleen gepromoveerd als deze de prestaties op ten minste één split verbetert zonder de andere te verslechteren ($\Delta_{in} \ge 0$, $\Delta_{ho} \ge 0$, en $\max(\Delta_{in}, \Delta_{ho}) > 0$).
• Samenvoeging: Als meerdere kandidaten slagen, worden hun wijzigingen samengevoegd in de harness van de volgende iteratie ($h_{t+1}$). Afgewezen kandidaten worden gelogd maar veranderen de actieve harness niet.

Belangrijkste Bijdragen

1. Self-Harness Paradigma: Een nieuw framework dat een LLM in staat stelt zijn eigen operationele harness te ontwerpen en te verfijnen, waardoor de afhankelijkheid van menselijke engineers of sterkere externe agenten wordt geëlimineerd.
2. Geoperationaliseerde Iteratieve Lus: Een concrete implementatie die gedragsbewijs transformeert naar modelspecifieke harness-updates via een cyclus van zwakte-extractie, minimale voorstelgeneratie en strikte regressietest.
3. Empirische Validatie: Demonstratie dat Self-Harness een minimale initiële harness kan evolueren naar modelspecifieke configuraties die de baseline aanzienlijk overtreffen over diverse modelfamilies.

Experimentele Resultaten

De auteurs evalueerden Self-Harness op Terminal-Bench-2.0 met drie verschillende basismodellen: MiniMax M2.5, Qwen3.5-35B-A3B, en GLM-5. Alle experimenten startten vanuit een minimale DeepAgent-gebaseerde harness.

Prestatiewinst (Held-Out Pass Rates):

• MiniMax M2.5: Verhoogd van 40,5% naar 61,9% (+21,4 procentpunt).
• Qwen3.5-35B-A3B: Verhoogd van 23,8% naar 38,1% (+14,3 procentpunt; een relatieve verbetering van 138%).
• GLM-5: Verhoogd van 42,9% naar 57,1% (+14,2 procentpunt).

Kwalitatieve Bevindingen:

• Modelspecifieke Adaptatie: Het systeem voegde niet simpelweg generieke instructies toe. In plaats daarvan produceerde het onderscheidende, concrete wijzigingen die zijn afgestemd op de zwaktes van elk model:
  • MiniMax M2.5: Richtte zich op het eerder creëren van vereiste uitvoerbestanden, het zorgvuldig afhandelen van gestructureerde tool-outputs en het stoppen van onproductieve tool-gebruikslussen.
  • Qwen3.5: Richtte zich op het vooraf controleren van afhankelijkheden, het vermijden van herhaalde mislukte commando's, het doorbreken van exploratiecycli en het herstellen van tool-fouten.
  • GLM-5: Richtte zich op het behouden van omgevingsinstellingen tussen shell-commando's en het versnellen van de overgang van exploratie naar implementatie.
• Generalisatie: Verbeteringen werden waargenomen op held-out taken, wat aangeeft dat de harness-wijzigingen herbruikbare executiemechanismen aanpakten in plaats van te overfitten op specifieke trainingsfouten.

Betekenis en Claims

Het artikel claimt dat Self-Harness een pad naar zelfcreatie in agentsystemen demonstreert, waarbij de agent deelneemt aan het vormgeven van de zeer beperkingen die zijn gedrag beheersen.

• Empirische Toestandsverandering: De auteurs stellen dat harness-verbetering moet worden behandeld als een empirische toestandsverandering. Een nuttige wijziging moet geworteld zijn in gedragsbewijs, het gedrag specificeren dat het verandert, en worden gevalideerd door een niet-regressieve evaluatie.
• Schaalbaarheid: Door de verbeteringslus te internaliseren, biedt Self-Harness een schaalbaar alternatief voor mensgerichte engineering, in staat zich aan te passen aan de snelle evolutie en diversiteit van moderne LLM's.
• Beperkingen: De auteurs merken bescheiden op dat het huidige werk beperkte wijzigingen bestudeert onder vaste benchmarks. Het protocol is afhankelijk van de kwaliteit van de verifier-uitkomsten en trace-records, en hogere inzet vereist robuustere acceptatiepoorten dan enkel pass-rate non-regressie.

Het werk concludeert dat hoewel de agent zijn eigen gewichten niet verandert, hij zichzelf effectief kan "creëren" door de harness die zijn interactie met de omgeving bemiddelt, iteratief te verfijnen.