HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry
HarnessX introduceert een composabele en adaptieve foundry die AI-agent runtime-interfaces systematisch evolueert via een substitutiealgebra en trace-gestuurde multi-agent evolutie, waarbij significante prestatiewinsten worden behaald over diverse benchmarks zonder uitsluitend te vertrouwen op modelschaling.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een briljante maar onervaren stagiair hebt (het AI-model). Je wilt de stagiair een complexe taak laten oplossen, zoals het plannen van een reis, het repareren van een kapotte website of het navigeren door een videogame.
Op dit moment proberen de meeste mensen de stagiair slimmer te maken door een "super-stagiair" aan te nemen (een groter, duurder AI-model). Maar dit paper, HarnessX, betoogt dat het echte geheim niet alleen het inhuren van een betere stagiair is; het is het bouwen van een betere kantooromgeving, gereedschapskist en regelboek waar zij in kunnen werken.
De auteurs noemen deze "kantooropstelling" een Harness (harnas/omgeving).
Het Probleem: De "Handgemaakte" Kantooromgeving
Momenteel, als je wilt dat een AI een nieuwe baan uitvoert, moet een menselijke ingenieur handmatig een specifieke kantooromgeving voor de AI bouwen. Ze schrijven specifieke instructies (prompts), koppelen specifieke tools en zetten geheugensystemen op.
- Het Probleem: Deze kantoren zijn statisch. Als de stagiair verandert of de taak verandert, moet het hele kantoor vanaf nul worden herbouwd.
- De Verspilling: Wanneer de stagiair een fout maakt, kijken we naar de fout, passen we het kantoor handmatig aan en proberen we het opnieuw. We gebruiken die fouten zelden om het kantoor automatisch te verbeteren of zelfs om de stagiair te trainen om het bij de volgende poging beter te doen.
De Oplossing: De "Harness Foundry"
HarnessX is een fabriek (een "foundry") die deze kantooromgevingen automatisch bouwt. Het behandelt de kantooropstelling als een levend ding dat zelfstandig kan worden samengesteld, aangepast en geëvolueerd.
Zo werkt het, onderverdeeld in drie eenvoudige delen:
1. Compositie: Het LEGO-kantoor
In plaats van een rommelig, verward kantoor, bouwt HarnessX het kantoor uit getypeerde, uitwisselbare LEGO-blokken genaamd "Processors".
- De Analogie: Stel je voor dat het kantoor specifieke slots heeft: één voor "Tools", één voor "Geheugen", één voor "Regels" en één voor "Context".
- Hoe het werkt: Je kunt een "Web Search"-blok in de Tools-slot klikken of een "Long-term Memory"-blok in de Memory-slot. Omdat het gestandaardiseerde blokken zijn, kun je ze vervangen zonder het hele gebouw te beschadigen. Dit maakt het kantoor modulair en veilig om te veranderen.
2. Adaptatie: De Zelfverbeterende Manager (AEGIS)
Dit is het brein van het systeem. HarnessX gebruikt een speciale manager genaamd AEGIS om de stagiair te observeren en het kantoor automatisch aan te passen.
- De Spiegel: AEGIS behandelt het kantoor als een videogame-personage. Het kijkt naar de "traces" (het stapsgewijze logboek van wat de stagiair deed) en vraagt: "Waarom faalden ze? Was het de tool? De regel? De prompt?"
- De 4-stappenlus:
- Digest (Verwerken): Het leest de rommelige logs en vat de fouten samen.
- Plan: Het beslist wat voor soort verandering nodig is (bijv. "We hebben een nieuwe tool nodig" versus "We moeten de instructies herschrijven").
- Evolve (Evolueren): Het bouwt daadwerkelijk de nieuwe kantoorconfiguratie.
- Critic (Criticus): Het fungeert als een strenge veiligheidsinspecteur. Het test het nieuwe kantoor om er zeker van te zijn dat het geen zaken breekt die eerder wel werkten.
- Het Resultaat: Het kantoor wordt steeds beter zonder dat een mens telkens de code hoeft te herschrijven.
3. Co-evolutie: Een Tweerichtingsverkeer
Meestal verbeteren we óf het kantoor, óf we trainen de stagiair. HarnessX doet beide tegelijkertijd.
- De Analogie: Stel je voor dat het kantoor beter wordt, wat de stagiair helpt om nieuwe trucjes te leren. Vervolgens wordt de stagiair slimmer, wat het kantoor in staat stelt om nog complexere taken te proberen.
- De Lus: Het systeem gebruikt de fouten van de stagiair om het kantoor te upgraden én gebruikt het nieuwe kantoor om betere trainingsdata te genereren om het brein van de stagiair te upgraden. Ze tillen elkaar naar een hoger niveau.
Wat gebeurde er tijdens de experimenten?
Het team testte dit op vijf verschillende "games" (benchmarks), variërend van online winkelen tot software engineering. Ze gebruikten drie verschillende soorten AI-modellen (van klein tot groot).
- De Grote Overwinning: Gemiddeld verbeterde het systeem de prestaties met 14,5%.
- De Super Overwinning: Voor de zwakkere AI-modellen was de verbetering enorm—tot wel 44%.
- Waarom? Het paper merkt op dat zwakkere modellen meer "gedragsmatige hiaten" (behavioral gaps) hebben (ze weten niet hoe ze dingen moeten doen). Een beter kantoor (harness) kan die hiaten onmiddellijk opvullen. Sterkere modellen zijn al behoorlijk goed, dus het kantoor helpt hen minder.
- Het "Stuck" Probleen: Op een zeer complexe test (GAIA) kon één enkel kantoor niet alles oplossen omdat sommige taken tegenovergestelde regels vereisten. Het systeem loste dit op door meerdere versies van het kantoor (varianten) te creëren en elke taak naar de versie te routeren die daar het beste bij paste. Dit voorkwam dat het systeem "vergat" hoe het eerdere taken moest uitvoeren.
De Kernboodschap
Het paper concludeert dat we niet hoeven te wachten tot AI-modellen oneindig slim worden om betere resultaten te behalen. Door een composabel, zelf evoluerend runtime-environment (de Harness) te bouen, kunnen we enorme prestatiewinsten boeken, vooral voor kleinere of minder capabele modellen.
Kortom: Koop niet alleen een slimme stagiair; bouw een slimmer, zelfherstellend kantoor voor hen, en laat hen leren van hun eigen fouten om het kantoor nóg beter te maken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.