On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification
Dit artikel legt de kwetsbaarheid van geheugen-gebaseerde zelfverbeterende agenten bloot door aan te tonen dat hun prestaties zeer gevoelig zijn voor evaluatievariantie en taakvolgorde vanwege onderspecificatie, waardoor het pleit voor striktere evaluatieprotocollen en verhoogd menselijk toezicht.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een digitale assistent voor die niet alleen een script volgt, maar ook leert van zijn eigen fouten, door een geschreven dagboek bij te houden van wat wel en wat niet werkte, zodat het beter wordt in toekomstige taken. Dit is de belofte van zelfverbeterende agenten, een type kunstmatige intelligentie dat is ontworpen om complexe digitale werelden, zoals webbrowsers, te navigeren en zijn vaardigheden in de loop van de tijd te verfijnen. In plaats van telkens door een mens te worden herprogrammeerd wanneer er een nieuwe uitdaging ontstaat, onderhouden deze systemen een tekstueel geheugenbankje, waarin lessen uit eerdere taken worden opgeslagen om de volgende acties te sturen. De hoop is dat ze uiteindelijk routinematig werk kunnen automatiseren, zich aan nieuwe situaties kunnen aanpassen en oplossingen kunnen ontdekken die mensen misschien missen. Maar om deze systemen in de echte wereld te kunnen vertrouwen, moeten ze betrouwbaar zijn. Als een agent een fout maakt, mag dit geen eenmalige glitch zijn; de fout mag niet sneeuwbalen, waardoor het systeem de verkeerde lessen leert en herhaaldelijk faalt op manieren die moeilijk te voorspellen zijn.
Een team van onderzoekers bij Salesforce AI Research besloot deze belofte aan een rigoureuze test te onderwerpen. Ze namen twee populaire methoden voor het bouwen van deze zelfverbeterende agenten en onderwierpen hen aan een stresstest die veel verder ging dan hoe zij voorheen waren geëvalueerd. In plaats van één enkele experimentele reeks uit te voeren en het resultaat te rapporteren, voerden ze dezelfde set taken meerdere keren uit om te zien hoeveel de resultaten varieerden. Ze husselden ook de volgorde waarin de taken verschenen, waardoor de nette, van makkelijk naar moeilijk verlopende progressie die eerdere studies hadden gebruikt, werd verwijderd. Wat ze vonden, was een beeld van fragiliteit. De agenten waren niet de stabiele, betrouwbare leerlingen waar men op hoopte. Sterker nog, het proces van het proberen te laten zelfverbeteren maakte hen vaak minder stabiel, waarbij kleine fouten werden versterkt tot grote schommelingen in prestaties.
De onderzoekers ontdekten dat de prestaties van deze agenten verrassend gevoelig waren voor toeval. Wanneer ze hetzelfde experiment drie keer uitvoerden, verschilden de resultaten vaak aanzienlijk. In sommige gevallen was de kloof tussen de beste run en de slechtste run wel tien procentpunten groot. Dit betekent dat een agent in de ene poging briljant kan slagen en in de volgende hopeloos kan falen, zelfs als de onderliggende technologie en de taken identiek waren. Wanneer het mechanisme voor zelfverbetering werd ingeschakeld, werd deze instabiliteit vaak erger. Het systeem zou leren van zijn eerste paar taken, maar omdat de eerste stappen werden beïnvloed door toeval, konden de "lessen" die het opsloeg, er net naast zitten. Deze kleine, willekeurige afwijkingen zouden zich in de loop van de tijd opstapelen, waardoor de agent een pad insloeg dat heel anders was dan dat van zijn soortgenoten. De onderzoekers merkten op dat in bijna drie kwart van hun testgevallen het toevoegen van de zelfverbeteringslus de variantie vergrootte, waardoor het gedrag van de agent minder voorspelbaar werd in plaats van consistenter.
Een andere belangrijke bevinding was dat deze agenten zwaar leunden op de volgorde waarin ze taken tegenkwamen. Eerdere studies hadden hen voornamelijk getest op taken die gerangschikt waren van eenvoudig naar moeilijk, een opzet die fungeerde als een verborgen trainingsgids. De agenten leken goed te leren in deze omgeving, omdat ze voorzichtig in moeilijkere problemen werden ingeleid. Echter, toen de onderzoekers de volgorde door elkaar haalden en de taken in een willekeurige sequentie presenteerden, daalde de prestatie van de agenten. In plaats van beter te worden, presteerden ze eigenlijk slechter dan zonder enig geheugen. Dit suggereert dat de agenten niet echt algemene vaardigheden leerden; ze waren simpelweg een specifieke sequentie van gebeurtenissen aan het memoriseren. Wanneer die sequentie werd doorbroken, hadden de agenten moeite met aanpassen, wat onthulde dat hun "intelligentie" fragiel was en gekoppeld aan een specifieke, kunstmatige opzet.
Om te begrijpen waarom dit gebeurde, keken de onderzoekers nauwgezet naar de aantekeningen die de agenten in hun geheugenbanken schreven. Ze ontdekten dat de agenten vaak de verkeerde dingen leerden omdat de instructies die ze over de wereld ontvingen, incompleet waren. Bijvoorbeeld, de agenten kregen soms de opdracht om computercode of programme interfaces (API's) te gebruiken om problemen op te lossen, zelfs terwijl de omgeving waarin ze werkten een standaard webbrowser was die dergelijke code niet kon draaien. De agenten zouden deze onmogelijke strategieën in hun geheugen schrijven, en ze vervolgens steeds weer proberen te gebruiken, waardoor ze vast kwamen te zitten in loops van falen. Op dezelfde manier, wanneer een taak vaag was, gingen de agenten er te veel over nadenken, waarbij ze complexe maar onjuiste verklaringen creëerden voor waarom ze faalden, die ze vervolgens weer probeerden toe te passen op toekomstige, ongerelateerde problemen. Eén agent begon zelfs een complexe wiskundige formule te gebruiken om reistijden te schatten omdat de kaartwebsite die hij gebruikte niet laadde, en hij besloot dit omwegje als een permanente strategie te "leren", ook al was het een toevalstreffer.
Het team probeerde deze problemen op te lossen door de agenten meer gedetailleerde informatie te geven over hun omgeving en de regels van het spel. Ze boden specifieke feedback over waarom een taak mislukte en verduidelijkten welke acties daadwerkelijk mogelijk waren. Dit hielp. Toen ze deze details toevoegden, presteerden de agenten beter en werd de daling in prestaties veroorzaakt door de willekeurige taakvolgorde met ongeveer een derde verminderd. Er bleef echter een aanzienlijke kloof bestaan. Zelfs met betere instructies bleven de agenten worstelen in de meest uitdagende, willekeurige omstandigheden. Dit suggereert dat hoewel het bieden van duidelijkere regels helpt, er diepere, onkarakteriseerde redenen zijn waarom deze systemen zo fragiel zijn. De agenten zijn nog steeds vatbaar voor het leren van "verkeerde lessen" die kunnen escaleren tot toekomstige fouten.
Het werk concludeert met een oproep tot een meer voorzichtige aanpak bij het ontwikkelen en testen van deze systemen. De onderzoekers betogen dat we niet kunnen vertrouwen op tests met een enkele run of netjes geordende takenlijsten om te beoordelen of een agent klaar is voor de echte wereld. In plaats daarvan moeten we hen testen onder rommelige, onvoorspelbare omstandigheden en rapporteren hoe ze presteren over vele verschillende runs heen. Ze benadrukken ook de noodzaak van menselijk toezicht. Omdat deze agenten onjuiste strategieën kunnen leren van incomplete informatie, moet er een manier zijn voor mensen om in te grijpen, de slechte lessen te spotten en ze te corrigeren voordat de agent onherstelbare schade aanricht. De weg vooruit gaat niet alleen over het bouwen van intelligentere agenten, maar over het bouwen van systemen die robuust genoeg zijn om de onzekerheid van de echte wereld te hanteren zonder uit elkaar te vallen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.