💻 computer science

The Last Harness You'll Ever Build

Dit paper introduceert een tweeledig raamwerk dat niet alleen de handmatige engineering van agent-harnassen automatiseert door middel van een evolutielus, maar ook het ontwerpprotocol van deze automatisering zelf leert optimaliseren via een meta-evolutielus, waardoor aanpassing aan nieuwe domeinen volledig zonder menselijke tussenkomst mogelijk wordt.

Oorspronkelijke auteurs: Haebin Seong, Li Yin, Haoran Zhang

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haebin Seong, Li Yin, Haoran Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nogal onervaren assistent hebt. Deze assistent (de AI) is slim genoeg om complexe taken te doen, maar hij weet niet precies hoe hij ze moet aanpakken zonder een duidelijke handleiding, de juiste gereedschappen en een goede werkomgeving.

In de AI-wereld noemen we die handleiding, gereedschappen en werkomgeving samen een "harnas" (of harness). Zonder dit harnas is de AI als een racewagen zonder stuur, remmen of brandstof: hij heeft een krachtige motor, maar kan nergens komen.

Tot nu toe moesten mensen (experts) dit harnas handmatig bouwen voor elke nieuwe taak. Dat is als het bouwen van een auto op maat voor elke rit die je maakt: extreem tijdrovend en duur.

Dit rapport van Sylph.AI introduceert een revolutionair systeem dat dit proces volledig automatiseert. Ze noemen het "Het laatste harnas dat je ooit hoeft te bouwen." Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Eerste Level: De "Trainingscirkel" (De Werknemer, De Oefenmeester en De Coach)

Stel je een trainingskamp voor voor een nieuwe sport. Het systeem gebruikt drie rollen die constant met elkaar praten om de "Werknemer" (de AI) beter te maken:

De Werknemer (Worker): Dit is de AI die de taak probeert uit te voeren (bijvoorbeeld: "Boek een vlucht en regel een hotel"). Hij doet zijn best met zijn huidige uitrusting (het harnas).
De Oefenmeester (Evaluator): Dit is een strenge, kritische AI die meekijkt. Hij zegt niet alleen "goed gedaan" of "fout", maar hij analyseert waarom het misging. "Je vergat de creditcard in te vullen," of "Je bent in een cirkel van gedachten blijven hangen." Hij geeft een cijfer.
De Coach (Evolution Agent): Dit is de slimme trainer. Hij kijkt naar de fouten van de Oefenmeester en de geschiedenis van eerdere pogingen. Vervolgens schrijft hij de handleiding van de Werknemer om. Hij past de instructies aan, voegt nieuwe gereedschappen toe of verandert de volgorde van handelingen.

Het proces:
De Werknemer probeert de taak -> De Oefenmeester geeft feedback -> De Coach past het harnas aan -> De Werknemer probeert het opnieuw met de nieuwe instructies.
Dit herhaalt zich totdat de Werknemer de taak perfect kan uitvoeren.

2. De Tweede Level: De "Meester-Coach" (Meta-Evolution)

Hier wordt het pas echt cool. Tot nu toe was de Coach zelf ook een menselijk ontwerp. Maar wat als de Coach zelf niet de beste manier van coachen gebruikt?

De auteurs introduceren een Meester-Coach (Meta-Evolution Loop). Deze Meester-Coach kijkt niet naar één specifieke taak, maar naar veel verschillende taken tegelijk.

Stel je voor dat je een school hebt met honderden verschillende sporten (voetbal, zwemmen, schaken).
De Meester-Coach kijkt naar alle trainers (de coaches uit niveau 1) die werken aan deze sporten.
Hij ziet dat trainer A heel goed is in het trainen van voetballers, maar trainer B faalt bij zwemmers.
De Meester-Coach leert dan: "Hoe trainen we een trainer die elke sport snel kan leren?" Hij past de regels van het trainingskamp zelf aan. Misschien moet de Oefenmeester anders vragen stellen, of moet de Coach sneller ingrijpen.

Het resultaat:
De Meester-Coach leert een "perfect trainingsprotocol" (een blauwdruk). Zodra dit protocol klaar is, kun je een AI op elke nieuwe, nog nooit geziene taak zetten. Het systeem past zich dan zo snel aan dat je geen menselijke expert meer nodig hebt om de handleiding te schrijven.

De Grootste Analogie: Het Bouwen van een Fabriek

Vroeger: Als je een nieuw product wilde maken (een nieuwe AI-taak), moest je een ingenieur inhuren om een hele fabriek (het harnas) te bouwen.
Met dit systeem: Je bouwt eerst een fabriek die fabrieken bouwt.
1. De eerste laag bouwt de machines voor één specifiek product.
2. De tweede laag (de Meta-Evolution) optimaliseert de blauwdruk van die fabriek, zodat hij elk nieuw product dat je erin stopt, automatisch en perfect kan produceren.

Waarom is dit belangrijk?

Vandaag de dag is het bouwen van AI-agenten voor complexe bedrijven (zoals het regelen van verzekeringen of het analyseren van juridische documenten) nog steeds een kunst die alleen experts kunnen. Het is traag en kostbaar.

Dit rapport stelt voor dat we binnenkort een systeem hebben dat het ontwerp van de automatisering zelf automatiseert. Je hoeft geen expert meer te zijn in "AI-harnassen". Je geeft gewoon een nieuwe taak aan het systeem, en het systeem "leert" zichzelf hoe hij die taak moet aanpakken, sneller en beter dan een mens dat ooit zou kunnen doen.

Kortom: Het is de overgang van "AI bouwen" naar "AI leren hoe het zichzelf bouwt".

Titel: The Last Harness You'll Ever Build

Auteurs: Haebin Seong, Li Yin, Haoran Zhang (Sylph.AI)
Datum: 22 april 2026

1. Het Probleem: De "Harness"-Engineering Bottleneck

AI-agenten worden steeds vaker ingezet voor complexe, domeinspecifieke workflows (zoals het navigeren door enterprise-webapplicaties, het orchestreren van onderzoeks-pipelines of het automatiseren van code-reviews). Hoewel foundation-modellen krachtig zijn, zijn ze op zichzelf niet voldoende om deze taken succesvol uit te voeren.

De Rol van de "Harness": Een agent wordt gedefinieerd als Model + Harness. De harness omvat alles wat het model omringt: prompts, tools, uitvoeringsomgevingen, orchestratielogica, evaluatiestandaarden en infrastructuur.
Huidige Uitdaging: Het ontwerpen van een effectieve harness vereist momenteel intensieve, handmatige engineering door experts. Dit omvat het handmatig schrijven van prompts, het bouwen van observabiliteitsstapels, het kalibreren van evaluators en het iteratief testen van workflows.
Beperkingen van bestaande oplossingen: Bestaande methoden voor automatische prompt-optimalisatie (zoals LLM-AutoDiff) richten zich slechts op individuele componenten en lossen niet het volledige ecosysteem van de harness op (tools, logica, infrastructuur en hun interacties).
Doel: Het automatiseren van het proces om een harness te bouwen, en zelfs het automatiseren van het ontwerp van dat automatiseringsproces zelf.

2. Methodologie: Een Twee-Niveau Kader

De auteurs stellen een tweelaags raamwerk voor dat het proces van harness-engineering volledig automatiseert.

Niveau 1: De Harness Evolution Loop (Interne Lus)

Deze lus optimaliseert de harness ( $H$ ) voor een enkele specifieke taak. Het is een gesloten kringloop van drie agenten:

Worker Agent ( $W_H$ ): De agent die de taak uitvoert, geparametriseerd door de huidige harness $H$ . Hij genereert een uitvoeringstrace.
Evaluator Agent ( $V$ ): Een adversariele reviewer die de uitvoering traceert, fouten diagnoseert, hallucinaties detecteert en een score toekent op basis van succescriteria. Hij levert een gestructureerd rapport.
Evolution Agent ( $E$ ): Analyseert de volledige geschiedenis van pogingen (scores, rapporten, foutpatronen) en modificeert de harness ( $H$ ). Dit kan gaan om het aanpassen van prompts, tools, orchestratielogica of modelconfiguraties om de geconstateerde fouten te verhelpen.

Proces: De lus start met een initiële harness $H^{(0)}$ en iteratieert $K$ keer. In elke stap wordt de worker getest, geëvalueerd en vervolgens de harness verbeterd door de evolution agent. Het resultaat is de beste harness $H^{(best)}$ voor die specifieke taak.

Niveau 2: De Meta-Evolution Loop (Externe Lus)

Deze lus optimaliseert het evolutieprotocol ( $\Lambda$ ) zelf over diverse taken.

Definitie van het Protocol ( $\Lambda$ ): $\Lambda = (W_H, H^{(0)}, V, E)$ . Dit definieert hoe de interne lus werkt (bijv. hoe de evaluator vraagt, hoe de evolution agent diagnoseert, welke hyperparameters worden gebruikt).
Doel: In plaats van een harness voor één taak te leren, leert dit niveau een protocol $\Lambda^{(best)}$ dat ervoor zorgt dat de interne lus snel convergeren naar een hoge prestatie op elke nieuwe, onbekende taak.
Meta-Learning Formulering:
- Interne lus: Past de harness aan op een specifieke taak $t_i$ .
- Externe lus: Past het protocol $\Lambda$ aan om de snelheid en kwaliteit van die aanpassing te maximaliseren over een reeks trainings-taken ( $T_{train}$ ).
- Het doel is het vinden van $\Lambda^{(best)}$ die de verwachte prestatie maximaliseert op nieuwe taken, zonder dat menselijke engineering nodig is voor de nieuwe taak.

3. Belangrijkste Bijdragen

Formalisatie van de Agent-Harness: De auteurs definiëren de harness formeel als het systeem dat een model intelligentie bruikbaar maakt, inclusief prompts, tools, infrastructuur en orchestratie.
Het Twee-Niveau Framework: Een uniek architecturaal ontwerp dat de automatisering van harness-engineering (Niveau 1) koppelt aan de automatisering van het ontwerp van dat automatiseringsproces (Niveau 2).
Adversariele Evaluatie en Evolutie: Het introduceren van gespecialiseerde agenten (Evaluator en Evolution) die specifiek zijn ontworpen om fouten te diagnosticeren en de harness structureel te verbeteren, in plaats van alleen prompts te tunen.
Meta-Evolution als Meta-Learning: Het leggen van een directe parallel tussen hun systeem en klassiek meta-learning, waarbij het "leren om te leren" wordt toegepast op de engineering van AI-agenten.
Visie op "Zero-Harness" Engineering: Het doel is een systeem te creëren waar gebruikers een algemene agent naar een nieuwe domein kunnen sturen, en het systeem automatisch een gespecialiseerde, hoogpresterende agent ontwikkelt zonder menselijke tussenkomst.

4. Resultaten en Evaluatie (Verwachte Uitkomsten)

Hoewel het rapport een conceptueel en theoretisch kader presenteert (gepubliceerd in 2026), worden de volgende evaluatiemetrics en verwachte resultaten beschreven:

Convergentiesnelheid: Een goed geoptimaliseerd $\Lambda^{(best)}$ zou moeten leiden tot een drastisch verminderd aantal iteraties in de interne lus om een taak te voltooien, vergeleken met handmatig ontworpen loops.
Generalisatie: Het systeem moet in staat zijn om zich snel aan te passen aan nieuwe, ongeziene taken (Meta-test taken $T_{test}$ ) met een hoge slagingskans.
Robuustheid: De variantie in convergentiesnelheid over verschillende domeinen moet laag zijn, wat aangeeft dat het protocol robuust is.
Toekomstige Empirische Validatie: De auteurs kondigen aan dat ze empirische resultaten zullen publiceren op complexe workflows die eerder weerstand boden aan automatisering (zoals klantenservice-escalaties en enterprise-processen).

5. Betekenis en Impact

Dit rapport markeert een fundamentele verschuiving in de ontwikkeling van AI-agenten:

Van Handmatig naar Automatisch: Het verlegt de last van "harness engineering" van menselijke experts naar het systeem zelf.
Van Automatisch naar Meta-Automatisch: De meest revolutionaire stap is het automatiseren van het ontwerp van de automatisering. Het systeem leert niet alleen hoe een taak te doen, maar leert hoe het proces van het leren van een taak het beste kan worden ingericht.
Toekomstvisie: Het belooft een toekomst waarin de drempel voor het inzetten van AI-agenten in nieuwe, complexe domeinen verdwijnt. Gebruikers hoeven geen experts meer te zijn in prompt-engineering of systeemarchitectuur; het systeem "evolueert" de benodigde expertise voor hen.

Samenvattend stelt dit rapport dat met dit tweelaags framework, "de laatste harness die je ooit nodig hebt" niet een statisch product is dat door mensen wordt gebouwd, maar een dynamisch, zelflerend systeem dat zich continu aanpast en optimaliseert voor elke nieuwe uitdaging.