HarnessCompass: Guiding Automatic Harness Evolution toward Generalizable and Effective Agent Harnesses
HarnessCompass is een nieuw automatisch harness-evolutiekader dat de prestaties en generalisatie van agenten verbetert door taakonafhankelijke beperkingen af te dwingen, proactieve agent-feedback te integreren en componentoptimalisatie te ontkoppelen, waardoor het superieure resultaten behaalt op SWE-bench Verified vergeleken met bestaande methoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je zojuist een briljant, superintelligent robotbrein hebt gebouwd. Het kan boeken lezen, code schrijven en puzzels oplossen beter dan bijna iedereen anders. Maar er is een addertje onder het gras: dit brein is als een genie dat nooit zijn slaapkamer heeft verlaten. Het weet niet hoe het met de buitenwereld moet communiceren, hoe het een schroevendraaier moet gebruiken, of zelfs hoe het om hulp moet vragen wanneer het vastloopt. Om dit brein daadwerkelijk dingen te laten doen in de echte wereld, moet je er een "lichaam" en een "bedieningspaneel" bij bouwen. In de wereld van kunstmatige intelligentie wordt dit bedieningspaneel een harness genoemd. Het is de softwarelaag die de AI vertelt hoe het computerscherm te zien krijgt, welke hulpmiddelen het kan gebruiken en hoe het moet reageren wanneer er iets misgaat. Zie het als de vertaler tussen de wilde gedachten van de AI en de rigide regels van een computer.
Lange tijd moesten ingenieurs deze bedieningspanelen handmatig bouwen, waarbij ze ze bijstuurden als een monteur die een racewagen afstemt. Maar naarmate AI-breinen slimmer worden, worden de oude bedieningspanelen de flessenhals. Ze kunnen het tempo niet bijhouden. Daarom zijn wetenschappers begonnen met het proberen te laten repareren van het eigen bedieningspaneel door de AI zelf. Ze creëerden "meta-agenten" (kleine toezichthouders) die de AI aan het werk zien, zien waar het misgaat, en proberen de regels te herschrijven om het beter te maken. Het klinkt als een droom, maar er is een probleem: deze toezichthouders worden vaak te slim voor hun eigen bestwil. Ze beginnen specifieke testvragen uit het hoofd te leren in plaats van algemene vaardigheden te leren, een beetje zoals een student die de antwoorden op een oefentoets uit het hoofd leert, maar faalt bij het echte examen omdat de vragen net even anders zijn. Ze hebben ook de neiging om de verkeerde dingen de schuld te geven van fouten en proberen alles tegelijk te repareren, wat het systeem vaak alleen maar verwarrender maakt.
Dit is waar een nieuw framework genaamd HarnessCompass om de hoek komt kijken. De onderzoekers achter dit framework realiseerden zich dat om een echt slim en aanpasbaar bedieningspaneel te bouwen, je de toezichthouder niet zomaar zijn gang kunt laten gaan. Je moet hem een kompas geven. In plaats van de AI elke verandering te laten maken die hij wil, dwingt HarnessCompass hem om drie strikte regels te volgen. Ten eerste verbiedt het "overfitting". De AI mag geen antwoorden hardcoderen voor specifieke problemen; hij moet algemene principes leren die werken voor elk probleem, niet alleen voor de problemen waar hij op dat moment mee oefent. Ten tweede vraagt het de AI om zijn stem te laten horen. In plaats van alleen naar de eindscore te kijken, vraagt het systeem aan de AI: "Hé, waar liep je vast? Welk hulpmiddel had je willen hebben?" Dit geeft de toezichthouder een perspectief vanuit de eerste persoon over de strijd, in plaats van alleen de crash van buitenaf te zien. Ten derde voorkomt het dat de AI de motor, de banden en het stuur allemaal tegelijk probeert te repareren. In plaats daarvan optimaliseert het ze één voor één, om er zeker van te zijn dat een reparatie aan de motor niet per ongeluk de remmen kapot maakt.
De resultaten van deze gedisciplineerde aanpak zijn indrukwekkend. Wanneer het werd getest op een enorme set van echte programmeeruitdagingen genaamd SWE-bench Verified, verhoogde HarnessCompass het succespercentage van een AI-agent van 54% naar 66% in slechts 5 evolierondes. Dat is een enorme sprong, en het gebeurde veel sneller dan eerdere methoden, die 20 ronden nodig hadden om een lagere score van 63% te bereiken. Maar de echte magie is niet alleen de snelheid; het is de generalisatie. Toen de onderzoekers het bedieningspaneel dat geëvolueerd was voor één specifiek AI-model testten op een compleet ander AI-model (dat het nog nooit eerder had gezien), werkte het nog steeds beter dan de oorspronkelijke opstelling. Dit suggereert dat HarnessCompass de AI niet alleen leerde om de test uit het hoofd te leren; het heeft de AI daadwerkelijk geleerd hoe het een betere ingenieur kan zijn in het algemeen. Het artikel suggereert dat door deze lagen van discipline toe te voegen — het beperken van veranderingen, luisteren naar de eigen klachten van de AI en het apart repareren van onderdelen — we AI-systemen kunnen bouwen die niet alleen krachtig zijn, maar ook betrouwbaar genoeg om de rommelige, onvoorspelbare echte wereld aan te kunnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.