Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable
Dit artikel introduceert de Harness Handbook, een gedragscentrische representatie en een Behavior-Guided Progressive Disclosure (BGPD)-methode die hoogwaardige gedragsvereisten automatisch in kaart brengt naar specifieke broncodelocaties, waardoor de lokalisatiebottleneck wordt overwonnen en de efficiëntie en kwaliteit van het evolueren van complexe AI-agent harnesses wordt verbeterd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je net een superintelligente robotassistent hebt gebouwd. Je hebt het een brein gegeven (een enorm AI-model) en gezegd: "Ga mijn computer repareren!" Maar alleen het brein is niet genoeg. De robot heeft een lichaam nodig, een zenuwstelsel, en een reeks instructies over hoe hij zijn vingers moet bewegen, een schroevendraaier moet vasthouden en moet weten wanneer hij klaar is. In de wereld van AI wordt dit "lichaam en zenuwstelsel" een harness genoemd. Het is de softwarelaag die de AI vertelt wanneer hij moet spreken, wanneer hij een hulpmiddel moet gebruiken en hoe hij zich kan herinneren wat hij zojuist heeft gedaan.
Stel je nu voor dat je die robot wilt upgraden. Misschien wil je dat hij voorzichtiger is voordat hij een bestand verwijdert, of misschien wil je dat hij zijn werk drie keer controleert in plaats van één keer. In de oude dagen zou een menselijke programmeur door duizenden regels code moeten graven, om erachter te komen waar in het zenuwstelsel van de robot die "controleer je werk"-regel precies verborgen zit. Het is alsof je probeert een specifieke zenuw te vinden in een enorme, verwarde bal wol zonder kaart. De code is vaak verspreid over veel verschillende bestanden, vermengd met andere logica, en moeilijk te traceren. Als je zelfs maar één klein plekje mist, kan je robot per ongeluk nog steeds bestanden verwijderen. Dit artikel pakt het frustrerende probleem aan van het vinden van die verborgen plekken, zodat we onze AI-helpers veilig kunnen upgraden.
De onderzoekers achter deze studie, onder leiding van Ruhan Wang en collega's, realiseerden zich dat de grootste flessenhals niet het leren van de AI hoe hij wijzigingen moet aanbrengen is, maar het helpen van mensen (of andere AI-agenten) om te begrijpen waar ze die wijzigingen moeten aanbrengen. Ze noemen dit probleem behavior localization (gedragslokalisatie). Om dit op te lossen, hebben ze iets uitgevonden dat ze de Harness Handbook noemen.
Beschouw de Harness Handbook niet als een lijst met bestanden, maar als een gebruikershandleiding voor het gedrag van de robot. In plaats van informatie te organiseren op basis van "Bestand A, Bestand B, Bestand C" (zoals code meestal wordt opgeslagen), organiseert de Handbook het op basis van "Wat de robot daadwerkelijk doet". Het is als het hebben van een gids die zegt: "Als je wilt veranderen hoe de robot een 'Taak voltooid'-signaal afhandelt, zijn dit de drie specifieke plaatsen in zijn brein waar dat signaal wordt verwerkt, en dit is precies hoe ze met elkaar communiceren."
Het team heeft een systeem gebouwd dat automatisch deze Handbook creëert door de code van de robot te lezen en een slimme AI te gebruiken om de verbindingen in kaart te brengen. Ze noemen de methode van het gebruiken van deze kaart Behavior-Guided Progressive Disclosure. Stel je voor dat je een complexe klok probeert te repareren. In plaats van naar een stapel van 500 tandwielen en veren te staren, open je een handleiding die je eerst het gedeelte "Tijd aangeven" laat zien, dan inzoomt op het tandwiel van de "Uurwijzer", en tot slot de exacte schroef markeert die je moet draaien. De Handbook doet dit voor AI-code: het begint met een overzicht op hoog niveau van wat het systeem doet, en begeleidt de gebruiker vervolgens naar de specifieke regels code die bewerkt moeten worden.
De onderzoekers testten dit idee op twee real-world AI-systemen (genaamd Terminus-2 en Codex). Ze vroegen coderingsagenten om wijzigingen aan te brengen op basis van eenvoudige verzoeken zoals: "Laat de robot drie keer om bevestiging vragen voordat hij een taak beoordeelt." Ze vergeleken twee groepen: de ene groep moest de code op de ouderwetse manier vinden (zoeken door bestanden), en de andere groep gebruikte de Harness Handbook.
De resultaten waren duidelijk. De groep die de Handbook gebruikte, was veel beter in het vinden van de juiste plekken om te bewerken. Ze maakten minder fouten, veranderden niet per ongeluk dingen die ze niet mochten aanpassen, en deden dit allemaal terwijl ze minder rekenkracht gebruikten (minder "tokens", wat de valuta is die AI verbruikt om na te denken). De Handbook was vooral nuttig wanneer de code rommelig was, verspreid over veel bestanden, of verborgen in delen van het systeem die zelden draaien. Sterker nog, de agenten die de Handbook gebruikten, waren zo goed in het vinden van de juiste code dat een "zwakkere" AI-model bijna even goed kon presteren als een "sterker" model, simpelweg door de kaart te hebben.
Het artikel suggereert dat naarmate AI-systemen complexer worden, we niet alleen kunnen vertrouwen op slimmere breinen; we hebben betere kaarten nodig. De Harness Handbook bewijst dat als we code organiseren rondom wat het systeem doet in plaats van waar de bestanden zijn, we het evolueren van deze krachtige agenten veel veiliger, sneller en betrouwbaarder kunnen maken. Het verandert de chaotische taak van het ontwarren van een enorme bal wol in een eenvoudige, begeleide reis door een goed verlichte bibliotheek.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.