Argus: A General-Purpose Agentic Runtime for Long-Horizon Reasoning
Argus is een algemene, fixed-weight agentische runtime die superieure prestaties levert bij langetermijnredeneren over diverse benchmarks door gebruik te maken van een persistente, zelf evoluerende staat die wordt beheerd door gespecialiseerde rollen om autonoom missietrajecten te verifiëren, te herstellen en te verfijnen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Detective voor de Lange Adem: Waarom AI een Geheugen en een Coach Nodig Heeft
Stel je voor dat je een enorme, meerdaagse mysteries probeert op te lossen, zoals het uitzoeken hoe je vanaf nul een werkende robot bouwt of het schrijven van een roman die ook echt logisch is. Als je een computerprogramma uit een paar jaar geleden zou zijn, had je misschien geprobeerd het op te lossen door de instructies te lezen, een gokje te wagen, en vervolgens direct alles wat je zojuist had gedaan te vergeten voordat je het opnieuw probeerde. Dit is hoe veel vroege AI-"agents" werkten: ze waren als een detective die één aanwijzing oplost, en dan last krijgt van totale amnesie, en telkens wanneer ze tegen een doodlopende weg aanlopen, de hele investigatie weer helemaal opnieuw moet beginnen. Ze waren snel in lezen, maar erg slecht in het leren van hun eigen fouten over een langere periode.
Het vakgebied van "long-horizon reasoning" (redeneren over een lange horizon) gaat over het oplossen van dit probleem. Het vraagt: Hoe kan een AI een plan dagen of wekenlang volhouden, onthouden wat hij gisteren heeft geprobeen, en zijn strategie aanpassen wanneer hij beseft dat hij de verkeerde kant op gaat? Het kernidee hier is dat slim zijn niet alleen gaat over het hebben van een groot brein (een krachtig model); het gaat over het hebben van een goed notitieblok (persistent geheugen) en een strenge coach (verificatie) die je stopt wanneer je jezelf voorliegt als je vastloopt. Dit artikel behandelt het probleem van hoe je een AI-systeem bouwt dat niet alleen in cirkels rondjes draait, maar ook daadwerkelijk zijn eigen methoden door de tijd heen evolueert, waardoor het beter wordt in het oplossen van moeilijke problemen zonder dat het vanaf de basis opnieuw getraind hoeft te worden.
Maak kennis met Argus: De AI die leert bij te sturen
Maak kennis met Argus, een nieuw soort AI-"runtime" (denk aan de besturingssoftware of de motor die het brein van de AI aanstuurt). De onderzoekers achter Argus, een team van Microsoft en verschillende topuniversiteiten, realiseerden zich dat voor een AI om echt moeilijke, langetermijnprojecten aan te kunnen, deze niet zoma lập de weg blindelings kan volgen. Als de AI probeert een bug te repareren in een gigantische softwarecodebase of een complex wiskundig stelling te bewijzen, kan het urenlang een pad volgen dat een doodlopende weg blijkt te zijn. Een normale AI zou gewoon door blijven duwen en tijd en energie verspillen. Argus is anders: het is ontworpen om te pivoteren (bijsturen).
Denk aan Argus als een zeer georganiseerd onderzoeksteam dat werkt in een gedeeld kantoor, in plaats van één persoon die alleen werkt. Dit team heeft vier duidelijke rollen, en ze halen hun taken nooit door elkaar:
- De Manager: De baas die het grote plaatje in beeld houdt. Zij zorgen ervoor dat het team gefocust blijft op het oorspronkelijke doel (zoals "bouw een robot"), zelfs als het dagelijkse plan verandert.
- De Planner: De strateeg die het grote doel opbreekt in kleine, uitvoerbare taken voor de dag.
- De Engineer: De bouwer die daadwerkelijk de code schrijft, de experimenten uitvoert of de wiskunde doet.
- De Reviewer: De strenge kwaliteitscontroleur. Hun taak is om te kijken naar wat de Engineer gebouwd heeft en te zeggen: "Dit is goed," "Dit moet worden gecorrigeerd," of "Stop, dit pad is een doodlopende weg."
De magie van Argus is dat het falen behandelt als data. Wanneer de Engineer een methode probeert en deze faalt, zegt de Reviewer niet alleen "oeps". Ze leggen precies vast waarom het misging. Dit verslag wordt opgeslagen in een permanente "projectstatus" (het gedeelde notitieblok van het team). Later, als het team diezelfde doodlopende weg weer probeert te bewandelen, herinnert het systeem zich: "Hé, dit hebben we gisteren geprobeerd en het werkte niet," en schakelt het over naar een nieuw idee. Dit wordt verification-guided persistence genoemd. Het systeem "leert" (werkt zijn geheugen bij) alleen als de Reviewer verifieert dat de nieuwe informatie daadwerkelijk waar en nuttig is.
Wat ze vonden: Beter in het repareren van code en het schrijven van papers
Het team testte Argus op enkele ongelooflijk moeilijke uitdagingen om te zien of deze "team met een geheugen"-aanpak daadwerkelijk werkt.
1. De Code-reparatietest (SWE-Bench Pro)
Ze gaven Argus 731 echte softwarebugs om te repareren. Dit is alsof je een programmeur een rommelige, kapotte codebase geeft en vraagt om deze te repareren zonder menselijke hulp.
- Het resultaat: Argus repareerde succesvol ongeveer 78% van de bugs.
- De vergelijking: Een standaard AI-tool (Direct Copilot) slaagde er slechts in om 59% van de bugs te repareren.
- De kosten: Argus gebruikte ongeveer 1,41 keer meer computer-"tokens" (de basisunits van denken) dan de standaard tool.
- De les: Argus was aanzienlijk nauwkeuriger, ook al dacht hij iets langer na. Het bewees dat de tijd nemen om werk te controleren en fouten uit het verleden te onthouden, de moeite waard is.
2. De "Slimmer Worden"-test (Self-Evolution)
Dit is het coolste deel. De onderzoekers observeerden Argus gedurende een bepaalde tijd. Ze hebben het AI-brein niet veranderd (de modelgewichten bleven exact hetzelfde). In plaats daarvan lieten ze het systeem simpelweg zijn "notitieblok" van vaardigheden en herinneringen opbouwen.
- Het resultaat: Naarmate het systeem meer taken uitvoerde en zijn notitieblok vulde met geverifieerde vaardigheden, werd het sneller en goedkoper. In de latere stadia van de test gebruikte Argus 21% minder tokens en 15% minder tijd per taak vergeleken met het begin.
- De betekenis: De AI hoefde niet opnieuw getraind te worden om beter te worden; het hoefde alleen maar te onthouden wat het geleerd had. Het evolueerde zijn eigen "runtime state", waardoor het een efficiëntere werker werd zonder zijn fundamentele brein te veranderen.
3. De "Lieg niet tegen jezelf"-test (Reviewer Interventie)
Het team hield bij hoe vaak de Reviewer ingreep. Van de 731 taken werd de Reviewer in 466 gevallen opgeroepen.
- De redding: In 43 gevallen zei de Reviewer: "Dit is nog niet af, probeer het opnieuw." Nadat de Engineer het opnieuw probeerde, waren 34 van die taken succesvol gerepareerd, en 22 waren zo goed gerepareerd dat ze een tweede, strengere controle doorstonden.
- De blokkade: De Reviewer voorkwam ook dat het systeem claimde dat het gewonnen had bij 35 taken die eigenlijk onmogelijk of defect waren. Dit is enorm belangrijk: het betekent dat het systeem leerde te zeggen "Ik kan dit niet" in plaats van een nepoplossing te hallucineren.
Voorbij Code: Wiskunde, Chips en Papers
Argus stopte niet bij het repareren van code. Het team liet zien dat het ook andere "long-horizon" taken kon aanpakken:
- Wiskundig onderzoek: In een campagne om een complexe wiskundige stelling te bewijzen, hield Argus een verslag bij van één pad dat als onjuist werd bewezen (een "falsified route"). In plaats van het te verwijderen, hield het systeem het vast als een "niet binnenkomen"-bordje. Dit hielp het systeem om dat doodlopende pad later te vermijden en slaagde erin de grenzen van de stelling succesvol te versterken.
- Papers schrijven: Ze voerden zes verschillende onderzoeksprojecten uit om wetenschappelijke papers te schrijven. Het systeem handelde 254 missies, overleefde 16 grote rollbacks (waarbij het het hele plan moest aanpassen) en slaagde er toch in om alle zes de papers te voltooien. Eén project maakte zelfs van een mislukt idee een succesvolle "negatieve resultaten"-studie, wat bewijst dat het ontdekken van wat niet werkt soms een geldige wetenschappelijke ontdekking is.
- Chips ontwerpen: In een spannende test ontwierp Argus een computerchip (ACE-2). Het systeem schreef de code, controleerde de timing, en het uiteindelijke ontwerp voldeed aan alle strikte hardware-eisen. Het systeem wist zelfs precies wat het niet had gecontroleerd (zoals of de chip in de echte wereld zou werken) en vermeldde die beperkingen duidelijk.
De Kernconclusie
Argus laat zien dat voor een AI om echt langdurig werk te verrichten, er meer nodig is dan alleen een groot brein. Het heeft een systeem nodig dat de "baas" scheidt van de "werker", een permanent verslag bijhoudt van wat wel en niet werkte, en een strikte "reviewer" heeft om te voorkomen dat het antwoorden verzint.
Het artikel suggereert dat door deze "verification-gated" aanpak te gebruiken, AI moeilijkere problemen kan oplossen, efficiënter kan worden zonder opnieuw getraind te hoeven worden, en zelfs kan toegeven wanneer het vastloopt. Het is geen toverstaf die alles direct oplost, maar het is een enorme stap richting AI die daadwerkelijk met ons kan samenwerken aan lange, complexe projecten zonder de weg kwijt te raken of te liegen over de voortgang. Zoals de auteurs opmerken, gaat dit niet alleen over een hogere score halen op een test; het gaat over het bouwen van een systeem dat kan volharden, bijsturen en zijn eigen methoden kan evolueren om de rommelige, langdurige uitdagingen van de echte wereld aan te pakken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.