From Understanding to Action: A Survey on Closed-Loop Multimodal Agents
Deze survey stelt een op bewijs gebaseerd framework voor closed-loop multimodale agenten voor, waarbij 105 artikelen worden georganiseerd rond vijf bewijsoperaties en een O-P-G-C evaluatielens wordt geïntroduceerd om de beperkingen van huidige uitsluitend op resultaat gerichte benchmarks aan te pakken door de nadruk te leggen op proces, gronding en kosten-risicoanalyse.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een computer voor die niet alleen naar een afbeelding kijkt en deze beschrijft, maar wat hij ziet ook daadwerkelijk gebruikt om iets in de echte wereld te doen. Jarenlang is kunstmatige intelligentie erg goed geworden in het begrijpen van afbeeldingen, tekst en geluid, waarbij het vaak fungeert als een briljante bibliothecaris die wel het juiste boek kan vinden, maar het niet kan uitlenen. Nu evolueren deze systemen naar agenten die een webbrowser kunnen openen, op knoppen kunnen klikken, een robotarm kunnen bewegen of informatie kunnen zoeken, terwijl ze de resultaten van hun eigen acties observeren. Deze verschuiving verandert een statische waarnemer in een deelnemer die zijn omgeving kan veranderen. Echter, wanneer deze agenten een fout maken, is het vaak moeilijk te achterhalen waarom. Keek de computer naar het verkeerde deel van het scherm? Begreep het een hulpmiddel dat het gebruikte verkeerd? Of gokte het simpelweg het juiste antwoord om de verkeerde redenen?
Een nieuw onderzoek van wetenschappers aan de Universiteit van Auckland, de Universiteit van Cambridge en de Universiteit van Adelaide werpt een frisse blik op hoe deze multimodale agenten werken. In plaats van alleen op te sommen wat deze systemen kunnen, stellen de auteurs een nieuwe manier voor om hen te begrijpen: door het spoor van bewijsvoering te volgen. Zij betogen dat voor een agent om echt betrouwbaar te zijn, elke stap die hij zet, ondersteund moet worden door een duidelijk, inspecteerbaar stuk bewijs. De onderzoekers hebben 105 recente studies beoordeeld om in kaart te brengen hoe deze agenten informatie verzamelen, organiseren, externe hulpmiddelen gebruiken, handelen in de wereld en leren van hun fouten. Ze kwamen tot de conclusie dat hoewel huidige systemen steeds beter worden in het voltooien van taken, we nog steeds niet over de middelen beschikken om helder te zien hoe ze dat doen, wat ons vaak achterlaat met een correct antwoord dat via een wankel of gevaarlijk pad is bereikt.
Het kernidee van dit werk is dat het succes van een agent niet alleen gemeten moet worden aan de hand van de vraag of hij de klus heeft geklaard. De auteurs suggereren dat we naar de "bewijzen" moeten kijken die de agent in elke fase gebruikt. Beschouw bewijs als een zichtbare notitie of een gemarkeerd gedeelte dat verbindt wat de agent ziet met wat hij vervolgens besluit te doen. Als een agent op een knop klikt om een ticket te kopen, dan is het bewijs het specifieke deel van het scherm waar hij naar keek om die knop te vinden. Als dat bewijs ontbreekt, wazig is of verkeerd wordt geïnterpreteerd, is de actie riskant, zelfs als het ticket uiteindelijk toch wordt gekocht. De onderzoekers hebben het hele studieveld georganiseerd rond vijf belangrijke manieren waarop agenten met dit bewijs omgaan. Ten eerste moeten ze actief kiezen waar ze naar kijken, in plaats van gewoon alles tegelijkertijd aan te staren. Ten tweede hebben ze een mentale werkruimte nodig om die observaties vast te houden en te organiseren terwijl ze nadenken. Derde moeten ze weten wanneer ze zich tot externe bronnen moeten wenden, zoals een zoekmachine of een rekenmachine, om hiaten op te vullen. Ten slotte moeten ze acties ondernemen die de wereld veranderen, zoals het bewegen van een cursor of een robot, en observeren hoe de wereld daarop reageert. En tot slot moeten ze de resultaten van die acties gebruiken om hun toekomstige gedrag te verbeteren.
Het onderzoek onthult een aanzienlijke kloof in de manier waarop we deze systemen momenteel testen. De meeste bestaande benchmarks, die fungeren als gestandaardiseerde toetsen voor kunstmatige intelligentie, richten zich bijna volledig op het eindresultaat: is de agent geslaagd of gefaald? De onderzoekers vonden dat deze tests zelden het proces controleren. Een agent kan een complexe taak voltooien, maar hij kan dat gedaan hebben door te gokken, door cruciale details te negeren of door onnodige risico's te nemen die schade hadden kunnen veroorzaken. De auteurs introduceren een nieuw evaluatiekader dat naar vier verschillende zaken kijkt: de uitkomst, het proces, de gronding en de kosten of het risico. Uitkomst vraagt of de klus is geklaard. Proces vraagt of de genomen stappen logisch en noodzakelijk waren. Gronding controleert of de agent daadwerkelijk naar het juiste ding keek voordat hij handelde. Kosten-risico meet hoeveel tijd, geld of gevaar er bij het behalen van het resultaat betrokken was.
Toen de onderzoekers dit kader toepasten op de 105 papers die zij hebben beoordeeld, kwam er een duidelijk patroon naar voren. Het vakgebied is erg goed in het meten of een agent een taak voltooit, maar is veel zwakker in het controleren of de agent de juiste bewijzen heeft gebruikt om daar te komen. Bijvoorbeeld, bij taken die computer-schermen of robots betreffen, kunnen veel systemen een doel bereiken, maar laten de tests niet altijd zien of de agent op de juiste knop klikte of dat hij de robot veilig bewoog. De auteurs wijzen erop dat zonder het controleren van het bewijjspoor, we niet weten of een agent werkelijk intelligent is of gewoon geluk heeft gehad. Ze ontdekten ook dat wanneer agenten falen, het vaak moeilijk is te zeggen waar de fout begon. Een fout in het kijken naar het scherm kan leiden tot een slecht plan, wat leidt tot een verkeerde actie, die vervolgens de omgeving op een manier verandert waardoor de volgende stap onmogelijk wordt.
Het artikel concludeert dat voor deze agenten om vertrouwd te kunnen worden in de echte wereld, we betere manieren nodig hebben om hun besluitvorming vast te leggen en te inspecteren. De onderzoekers suggereren dat toekomstige tests van agenten moeten eisen dat ze hun werk laten zien, net zoals een leerling zijn wiskundestappen laat zien. Dit betekent het nauwkeurig vastleggen van welke delen van een afbeelding werden bekeken, welke hulpmiddelen werden gebruikt en hoe de omgeving veranderde na elke actie. Ze waarschuwen ook dat naarmate deze systemen krachtiger worden, de risico's van het fout gaan toenemen. Een agent die een fout maakt in een videogame is onschadelijk, maar een agent die een fout maakt bij het beheren van een bankrekening of het besturen van een fysieke robot, kan echte schade aanrichten. Daarom is het vermogen om het bewijjspoor te volgen en de kosten van elke actie te begrijpen niet slechts een technisch detail; het is een veiligheidsvereiste.
Dit onderzoek beweert niet het probleem van het maken van perfecte agenten te hebben opgelost. In plaats daarvan biedt het een nieuwe kaart voor de reis die nog voor ons ligt. Door de focus te verleggen van het eindantwoord naar het bewijs dat het ondersteunt, hopen de onderzoekers de ontwikkeling van systemen te sturen die niet alleen bekwaam, maar ook transparant en veilig zijn. Zij betogen dat de volgende generatie kunstmatige intelligentie niet alleen beoordeeld moet worden op wat het bereikt, maar ook op hoe het dat bereikt. Als we systemen kunnen bouwen die een duidelijk, eerlijk spoor van bewijs achterlaten voor elke beslissing die ze nemen, zullen we beter in staat zijn om hun sterke punten te begrijpen, hun zwakheden te herstellen en ze in te zetten in de complexe, risicovolle omgevingen waar ze het hardst nodig zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.