🤖 AI

From Question Answering to Task Completion: A Survey on Agent System and Harness Design

Deze survey stelt een model-harness-framework voor voor op LLM gebaseerde agenten dat de focus verschuift van passieve vraagbeantwoording naar actieve taakvoltooiing door te analyseren hoe de koppeling tussen fundamentele modellen en executieruntimes — bestaande uit zes kernverantwoordelijkheden — de systeemprestaties, betrouwbaarheid en generalisatie bepaalt.

Oorspronkelijke auteurs: Jianyuan Guo, Zhiwei Hao, Chengcheng Wang, Cheng Fan, Tingzhang Luo, Hongguang Li, Ying Gao, Hefei Mei, Jiankun Peng, Rongjian Xu, Minjing Dong, Han Wu, Mengyu Zheng, Kai Han, Shiqi Wang, Chang Xu, Yu

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jianyuan Guo, Zhiwei Hao, Chengcheng Wang, Cheng Fan, Tingzhang Luo, Hongguang Li, Ying Gao, Hefei Mei, Jiankun Peng, Rongjian Xu, Minjing Dong, Han Wu, Mengyu Zheng, Kai Han, Shiqi Wang, Chang Xu, Yunhe Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het Gaat Niet Alleen Om het Brein

Stel je voor dat je een briljante, wereldberoemde chef-kok (het AI-model) inhuurt om een complex, meergangenmenu te bereiden voor een dinerfeest. In het verleden dachten mensen dat alleen de intelligentie van de chef telde. Als de chef elk recept kende, zou de maaltijd perfect zijn.

Maar dit artikel stelt dat de chef slechts de helft van het verhaal is.

Als je die chef een kapend fornuis geeft, geen ingrediënten, een verwarrend menu en niemand die hem vertelt wanneer de soep aanbrandt, zal de maaltijd mislukken — zelfs als de chef een genie is. Het "fornuis", de "ingrediënten" en de "keukenchef" zijn wat de auteurs de Harness (het harnas/de infrastructuur) noemen.

De hoofdboodschap van het artikel is: De prestaties van een AI-agent hangen niet alleen af van hoe slim de AI is; ze hangen af van hoe goed de AI wordt gekoppeld aan de "keuken" (de Harness) waarin hij werkt.

De Vier Fasen van Volwassen Worden

De auteurs beschrijven hoe we deze AI-"agenten" hebben opgebouwd in vier duidelijke fasen, zoals een kind dat opgroeit:

Fase 1: De Prompt Engineer (De "Alsjeblieft Wees Lief"-fase)
- De Analogie: Je probeert een slimme maar verlegen student een vraag te laten beantwoorden. Je probeert verschillende manieren van vragen: "Leg dit alsjeblieft uit," "Hier is een voorbeeld," of "Denk stap voor stap."
- De Limiet: Je kunt niet eindeloos vriendelijk vragen. Als de student het antwoord niet weet, of als de vraag vereist dat hij naar de bibliotheek gaat, een boek opent en een verslag schrijft, helpt het niet om alleen maar aardig te vragen.
Fase 2: De Context Engineer (De "Bibliotheekassistent"-fase)
- De Analogie: Nu besef je dat de student hulp nodig heeft bij het vinden van de juiste boeken. Je bouwt een systeem dat de juiste pagina's ophaalt, ze samenvat en aan de student overhandigt voordat hij antwoord geeft.
- De Limiet: Je bent nog steeds alleen maar informatie aan het overhandigen. Als de student begint met het schrijven van de verkeerde dingen, of afgeleid raakt, heb je geen systeem om hem te stoppen, zijn werk te controleren of zijn fouten te herstellen.
Fase 3: De Harness Engineer (De "Projectmanager"-fase)
- De Analogie: Dit is de grote verschuiving. Je geeft niet alleen instructies, maar je begint een volledig besturingssysteem rondom de student te bouwen.
  - Observatie: Je geeft hem een camera zodat hij kan zien wat er gebeurt.
  - Controle: Je hebt een timer en een stopknop.
  - Actie: Je geeft hem een toetsenbord en een muis.
  - Verificatie: Je hebt een leraar die elke stap controleert. Als de student code schrijft die breekt, draait het systeem dit automatisch terug en zegt: "Probeer het opnieuw."
- Het Resultaat: Het artikel laat zien dat je door alleen de "keuken" (de Harness) te herontwerpen, een middelmatige chef een 5-sterrenmaaltijd kan laten koken, of een genie-chef nog beter kan laten koken.
Fase 4: De Co-Evolutie Fase (De "Zelfverbeterende Team"-fase)
- De Analogie: Nu leren de student en de keukenchef van elkaar. De student wordt beter in koken door te oefenen in deze specifieke keuken, en de keukenchef wordt beter in het managen door te kijken naar hoe de student kookt. Ze evolueren samen.

De Zes Onderdelen van de "Keuken" (De Anatomie van de Harness)

Het artikel verdeelt deze "Harness" in zes specifieke taken, als een goed georganiseerde keukenploeg:

Observatie (De Ogen): Hoe ziet de AI de wereld? Kijkt hij naar een wazig screenshot of naar een heldere, georganiseerde lijst met gegevens?
Context (Het Geheugen): Welke informatie onthoudt de AI? Voeren we de hele geschiedenis van het gesprek aan hem, of alleen de belangrijkste aantekeningen?
Controle (De Dirigent): Wie bepaalt wat er nu gebeurt? Gaat de AI gewoon door tot hij moe is, of vertelt een manager hem wanneer hij moet stoppen, wanneer hij om hulp moet vragen of wanneer hij van taak moet wisselen?
Actie (De Handen): Hoe voert de AI dingen daadwerkelijk uit? Kan hij op een knop klikken, of zegt hij alleen "Ik heb erop geklikt"? De harness zet de woorden van de AI om in echte acties.
Status (De Archiefkast): Waar slaat de AI zijn werk op? Als hij een concept schrijft, wordt het dan in een bestand opgeslagen, of gaat het verloren wanneer het scherm ververst?
Verificatie (De Veiligheidsinspecteur): Dit is cruciaal. Voordat de AI een bestand naar een klant stuurt, wordt er een veiligheidscontrole uitgevoerd? Als de AI een gevaarlijke beweging maakt, stopt het systeem hem dan?

Waarom Dit Belangrijk Is: De Verschuiving van de "Bottleneck"

Het artikel heeft veel tests (benchmarks) bekeken waarbij AI echte taken probeert uit te voeren, zoals het repareren van computercode of het browsen op het web.

De Oude Visie: We dachten dat als we de AI-hersenen maar groter en slimmer maakten, het alles zou oplossen.
De Nieuwe Visie: Het artikel vond dat het "brein" een limiet heeft bereikt. Het groter maken van het brein levert slechts minimale verbeteringen op. De echte bottleneck is nu de Harness.

Het Bewijs:

In coderingstests behaalde hetzelfde AI-model een succespercentage van 23% met een eenvoudige harness, maar een succespercentage van 72% met een beter ontworpen harness.
Het is alsoals een Ferrari-motor (de AI) hebben, maar deze in een fietsframe (een slechte harness) plaatsen. Hij zal niet snel gaan. Plaats diezelfde motor in een racewagen-chassis (een goede harness) en hij wint.

De Kernboodschap

We bewegen weg van het idee dat AI slechts een "chatbot" is die vragen beantwoordt. We bouwen autonome werkers.

Om een betrouwbare werker te bouwen, kun je niet alleen het slimste brein kiezen. Je moet de gehele omgeving ontwerpen waarin zij werken:

Wat zien ze?
Welke hulpmiddelen hebben ze?
Wie controleert hun werk?
Hoe herstellen ze zich wanneer ze een fout maken?

Het artikel concludeert dat de toekomst van AI niet alleen grotere modellen zijn, maar betere engineering van de systemen die rondom die modellen staan. De kwaliteit van de agent komt voort uit de samenwerking tussen het model en zijn harness.

Technische Samenvatting: Van Vraagbeantwoording naar Taakvoltooiing: Een Survey over Agent-systemen en Harness-ontwerp

1. Probleemstelling

Het veld van op Large Language Models (LLM) gebaseerde agenten is verschoven van passieve vraagbeantwoording (QA) naar actieve, meerstaps taakvoltooiing. Hoewel frontmodellen verzadiging hebben bereikt op statische benchmarks (bijv. MMLU, GPQA), vertonen ze aanzienlijke betrouwbaarheidsverschillen in interactieve, langdurige agentische taken (bijv. SWE-bench, WebArena). Het centrale probleem dat door deze survey wordt geadresseerd, is het identificeren van de bron van prestatiebelemmeringen in agent-systemen. De auteurs stellen dat de bottleneck niet langer uitsluitend de redeneercapaciteit van het fundamentele model is, maar steeds vaker in de execution harness ligt — de runtime-infrastructuur die de interactie tussen het model en de omgeving bemiddelt. Het artikel stelt dat agentkwaliteit (succes, efficiëntie, veiligheid, generalisatie) een emergente eigenschap is van de koppeling tussen het model en zijn harness, in plaats van een functie van het model alleen.

2. Methodologie en Raamwerk

De survey hanteert een model–harness lens om de evolutie van agent-engineering te analyseren. Het stelt geen nieuw algoritme voor, maar synthetiseert bestaande literatuur, benchmarks en industriële rapporten via een specifiek conceptueel raamwerk:

Functioneel versus Implementatie-perspectief: Het artikel maakt onderscheid tussen de functionele definitie van een agent (een doelgericht gesloten systeem dat perceptie, redeneren, actie en adaptatie uitvoert) en de implementatievisie (een LLM gekoppeld aan een execution harness).
Formele Decompositie: De execution harness ( $H$ $H$ ) wordt geformaliseerd als een tuple van zes gekoppelde runtime-verantwoordelijkheden:
1. Observatie-interface ( $I_{obs}$ ): Het transformeren van ruwe omgevingssignalen (logs, DOM's, diffs) naar voor het model bruikbare observaties.
2. Context Manager ( $C$ ): Het cureren, comprimeren en verversen van informatie die het contextvenster van het model binnengaat.
3. Control Loop ( $L$ ): Het orkestreren van de observe-reason-act-feedback cyclus, inclus inclusief stap-scheduling, delegatie en stopcriteria.
4. Actie-interface ( $I_{act}$ ): Het mappen van modeloutputs naar uitvoerbare operaties (API's, shell-commando's, tool calls).
5. State en Artifact Store ( $S$ ): Het persistent opslaan van de executie-status, plannen, checkpoints en gegenereerde artifacts buiten het actieve contextvenster.
6. Verificatie en Governance ( $V$ ): Het controleren van uitkomsten, afdwingen van veiligheidsrestricties, beheren van permissies en afhandelen van herstel/rollback.
Evolutionaire Analyse: De literatuur is georganiseerd in vier sequentiële paradigma's van agent-engineering, waarbij wordt geanalyseerd hoe de dominante hefboom voor prestaties verschoof door de verschillende stadia:
1. Prompt Engineering: Optimaliseren van single-turn instructies (het adresseren van het "expressie"-probleem).
2. Workflows en Context Engineering: Het cureren van de informatielevenscyclus en tool-definities (het adresseren van het "informatie"-probleem).
3. Harness Engineering: Het ontwerpen van de runtime-infrastructuur voor feedbackgestuurde executie, state-persistentie en foutherstel (het adresseren van het "executie"-probleem).
4. Agent-Native Training en Co-evolutie: Het internaliseren van agentische gedragingen (planning, verificatie) in modelparameters en het gezamenlijk evolueren van het model-harness paar.

3. Belangrijkste Bijdragen

De survey maakt drie primaire onderscheid van eerder werk:

Evolutie-georiënteerde Synthese: In plaats van een statische component-taxonomie, volgt het de migratie van engineering-bottlenecks van prompt-optimalisatie naar runtime-systeemontwerp en toekomstige co-evolutie.
Harness-centrisch Perspectief: Het behandelt de execution harness als een eersteklas technisch object en deelt deze op in de zes bovengenoemde runtime-componenten. Het stelt dat harness-ontwerp de betrouwbaarheid en efficiëntie bepaalt, zelfs wanneer het onderliggende model vaststaat.
Integratie van Empirisch Bewijs: Het verbindt academische benchmarks met industriële praktijken en gebruikt empirische data om aan te tonen hoe keuzes in runtime-ontwerp (bijv. vormgeving van observaties, contextbeheer) de prestaties van agenten direct beïnvloeden.

Specifieke Bijdragen:

Limieten van Model-centrische Schaling: Het artikel analyseert hoe model-schaling verminderde meeropbrengsten oplevert bij agentische taken vanwege grenzen in middelen-prestaties en de verzadiging van metingen op statische benchmarks.
Taak-naar-Harness Mapping: Het koppelt taakeigenschappen (horizon, type omgeving, autonomieniveau) aan specifieke harness-configuraties. Zo leggen software engineering-taken de nadruk op Verificatie, terwijl web/GUI-taken de nadruk leggen op Observatie en Actie-interfaces.
Benchmark Analyse: De survey biedt een gedetailleerde empirische analyse van SWE-bench, Terminal-Bench en WebArena, waarbij wordt aangetoond dat:
- Dezelfde backbone-model aanzienlijke verschillen in nauwkeurigheid kan bereiken afhankelijk van de harness.
- Minimale scaffolds (bijv. mini-SWE-agent) soms de prestaties van complexe, uitgebreide runtimes kunnen evenaren of benaderen als het interface-ontwerp optimaal is.
- Door leveranciers gerapporteerde scores vaak hoger liggen dan open-source resultaten vanwege propriëtaire harness-optimalisaties, wat het belang van de "scaffold" benadrukt.

4. Resultaten en Bevindingen

Impact van de Harness: Empirisch bewijs uit SWE-bench Verified laat zien dat voor een vast model (bijv. Claude 3.5 Sonnet), de resolutiecijfers variëren van ~33% tot ~53% afhankelijk van de harness. Vergelijkbaar daarmee varieert hetzelfde model (bijv. GPT-5.3-Codex) op Terminal-Bench 2.0 van 64,7% tot 78,4% over verschillende harnesses.
Migratie van Bottlenecks: Naarmate taken complexer worden (van L2 kortetermijn naar L4 open einde), verschuift de bottleneck van het redeneervermogen van het model naar het vermogen van de harness om status te beheren, uitkomsten te verifiëren en te herstellen van fouten.
Kosten en Efficiëntie: Hogere nauwkeurigheid correleert vaak met hogere middelenkosten (tokengebruik, latentie, timeouts). Het artikel merkt op dat "succes" voorwaardelijk is aan de runtime-configuratie, inclusief retry-budgetten en context-policies.
Multi-Model en Leerbare Harnesses: Recente trends laten een verschuiving zien naar compositionele runtimes (het routeren van verschillende modellen voor planning, codering en verificatie) en leerbare harnesses waarbij runtime-policies worden geoptimaliseerd als artifacts.

5. Betekenis en Claims

Het artikel claimt dat het veld is voortgeborduurd op "prompt craft" naar de studie van volledige systemen. De betekenis ligt in het herformuleren van agent-ontwikkeling:

Agentkwaliteit is Emergent: Succes, efficiëntie en veiligheid zijn niet inherent aan het model, maar ontstaan uit de interactie tussen modelcapaciteit, runtime-infrastructuur, taakstructuur en evaluatieontwerp.
Noodzaak van Waarde-bewuste Evaluatie: De auteurs pleiten voor een verschuiving van score-gecentreerde leaderboards naar waarde-bewuste evaluatie, die gezamenlijk werkt aan de optimalisatie van taaksucces, kosten, latentie, veiligheid en proceskwaliteit. Ze stellen een formele objectieve functie voor die nut balanceert tegen restricties op kosten, latentie en risico.
Toekomstige Richting: De survey identificeert de weg naar Agent-Native Training, waarbij verificatie- en herstelgedragen worden geïnternaliseerd in modelparameters, en Co-evolutie, waarbij het model en de harness gezamenlijk worden bijgewerkt op basis van executie-traces. Het merkt echter bescheiden op dat de grens tussen modelontwerp en systeemontwerp nog steeds wordt heronderhandeld, en dat betrouwbaarheid in realistische settings nog steeds onder de vereisten voor implementatie ligt.

Concluderend stelt de survey dat het begrijpen van de execution harness nu de centrale uitdaging is in agent-engineering, aangezien het bepaalt hoe modelcapaciteiten worden vertaald naar betrouwbare, langdurige taakvoltooiing.