In de snel evoluerende wereld van kunstmatige intelligentie is een specifiek type software bekend als een large language model agent opgekomen. Dit zijn niet louter chatbots die vragen beantwoorden; het zijn digitale entiteiten die in staat zijn tot plannen, het gebruiken van hulpmiddelen en het nemen van een reeks beslissingen om complexe taken te voltooien. Stel je een digitale assistent voor die een vlucht kan boeken, een hotel kan reserveren en een auto kan regelen, alles door met verschillende websites te communiceren en een reeks stappen te volgen. Echter, er doet zich een aanzienlijk probleem voor wanneer deze agents geconfronteerd worden met lange, ingewikkelde taken. Als de agent vroeg in het proces een kleine fout maakt, kan die fout de situatie waarin hij zich later bevindt veranderen, wat leidt tot een kettingreactie van verdere fouten. Dit fenomeen, waarbij één fout een cascade aan andere fouten veroorzaakt, maakt het voor deze agents moeilijk om lange klussen betrouwbaar te voltooien. Onderzoekers hebben geprobeerd dit op te lossen door de agents harder te laten nadenken of hun werk vaker te laten controleren, maar deze methoden vertragen vaak het systeem of slagen er niet in om de initiële fout te stoppen met verspreiden.

Een onderzoeker aan de Indiana University Bloomington heeft een andere aanpak voorgesteld voor dit probleem, een aanpak die zich richt op weten wanneer men harder moet nadenken in plaats van altijd harder te denken. Zij noemen hun nieuwe framework Failure-Aware Adaptive Inference. In plaats van de agent te dwingen voor elke enkele beslissing extra redeneerstappen uit te voeren, werkt dit systeem als een ervaren gids die weet wanneer hij even moet pauzeren en de kaart moet controleren. Het kernidee is om het verleden van fouten niet alleen te behandelen als fouten die vergeten moeten worden, maar als waardevolle signalen die de agent waarschuwen voor toekomstige risico's. Door te onthouden wat er in soortgelijke situaties eerder misging, kan de agent inschatten hoe riskant een nieuwe beslissing zou kunnen zijn. Als het risico laag is, gaat de agent snel door. Als het risico hoog is, activeert het systeem automatisch een moment van zelfcorrectie om het plan te herzien voordat de actie wordt ondernomen.

De onderzoeker testte deze methode in een reeks experimenten waarbij de agents taken met variërende lengtes moesten voltooien, variërend van vijf stappen tot veertig stappen. Zij vergeleken hun nieuwe systeem met verschillende bestaande strategieën, waaronder methoden waarbij de agent simpelweg handelt op basis van zijn eerste gedachte, methoden waarbij de agent elke stap doordenkt, en methoden waarbij de agent reflecteert op zijn werk nadat hij een zet heeft gedaan. De resultaten toonden een duidelijk voordeel voor de nieuwe aanpak. Over alle verschillende taaklengtes heen behaalde het Failure-Aware Adaptive Inference-systeem een succespercentage van 26,04 procent, wat meer dan het dubbele was van het succespercentage van de op één na beste methoden. In tegenstelling hiertoe faalden sommige van de andere strategieën volledig in langere taken, waarbij de succespercentages naar nul daalden naarmate het aantal stappen toenam.

Naast het simpelweg voltooien van meer taken, bleek het nieuwe systeem veel beter in het stoppen van de verspreiding van fouten. De onderzoeker mat hoe vaak een fout leidde tot een volgende fout in de opeenvolgende stappen. Het nieuwe systeem verminderde deze "foutpropagatie" naar een score van 0,168, wat betekent dat wanneer een fout optrad, het veel minder waarschijnlijk was dat dit de rest van de taak zou ruïneren in vergelijking met andere methoden. Dit is cruciaal omdat in een lange reeks acties één slechte zet de hele missie kan doen ontsporen. Het systeem bereikte dit hoge niveau van betrouwbaarheid terwijl het efficiënt bleef. Het vertraagde het proces niet zozeer als de andere redeneringsintensieve methoden. Terwijl sommige concurrenten bijna twintig seconden nodig hadden om een enkele beslissingscyclus te voltooien, nam het nieuwe systeem gemiddeld net iets meer dan vier seconden in beslag. Deze efficiëntie komt voort uit het feit dat het alleen extra tijd besteedt aan nadenken wanneer het een hoog risico detecteert, in plaats van tijd te verspillen aan elke enkele stap.

De studie keek ook nauwgezet naar hoe het systeem zich gedroeg wanneer het besloot in te grijpen. De gegevens toonden aan dat het systeem zijn zelfcorrectiemechanisme activeerde voor ongeveer 65 procent van de beslissingen die het nam. Wanneer het ingreep, veranderde het het oorspronkelijke plan succesvol in bijna 76 procent van die gevallen, en deze wijzigingen werden in meer dan de helft van de gevallen als nuttig beoordeeld. Dit suggereert dat het systeem niet zomaar willekeurig gokt of onnodige stappen toevoegt; het maakt gerichte aanpassingen op basis van de specifieke risico's die het heeft geïdentificeerd. De onderzoeker merkte op dat hoewel het systeem goed presteerde, het niet perfect is. Bij zeer lange taken daalde het succespercentage, wat aangeeft dat het systeem nog steeds afhankelijk is van de kwaliteit van zijn geheugen en zijn vermogen om gevaar in te schatten. De auteur suggereert dat toekomstige verbeteringen zich moeten richten op betere manieren om het verleden van fouten op te slaan en op te halen en op nauwkechtigere methoden voor het inschatten van gevaar.

Uiteindelijk benadrukt dit werk een verschuiving in hoe we betrouwbare kunstmatige intelligentie kunnen bouwen. De bevindingen suggereren dat het simpelweg slimmer maken van een agent of het dwingen om langer na te denken niet de enige weg naar succes is. In plaats daarvan hangt betrouwbaarheid af van het vermogen om te herkennen wanneer een situatie gevaarlijk is en om extra inspanning alleen op die kritieke momenten toe te wijzen. Door te leren van eerdere fouten en die kennis te gebruiken om toekomstige fouten te voorkomen, kunnen deze agents complexe, langetermijnuitdagingen met grotere stabiliteit navigeren. De onderzoeker concludeert dat voor agents om effectief te opereren in de echte wereld, zij niet alleen uitgerust moeten zijn met redeneervermogen, maar ook met de wijsheid om te weten wanneer ze het moeten gebruiken.