Robustness Analysis of Agentic AI to Inconsistent and Incomplete Tool Responses

In het moderne landschap van kunstmatige intelligentie is een nieuw type digitale werker opgekomen: de taalagent. In tegenstelling tot eerdere programma's die simpelweg vragen beantwoordden op basis van een statische database, zijn deze agenten ontworpen om te handelen. Ze kunnen het web doorzoeken, databases bevragen en softwaretools gebruiken om complexe problemen op te lossen, vergelijkbaar met een menselijke assistent die de telefoon oppakt om een reservering te maken of een spreadsheet controleert voor de voorraad. Deze digitale werkers zijn echter niet onfeilbaar. Wanneer ze contact opnemen met een tool, verwachten ze een zuivere, nauwkeurige reactie. In de echte wereld falen tools soms, waarbij ze foutmeldingen teruggeven, of ze geven gegevens terug die aan de oppervlakte perfect lijken maar een subtiele leugen bevatten. De centrale uitdaging voor onderzoekers is niet alleen het bouwen van agenten die werken wanneer alles goed gaat, maar het bouwen van agenten die kunnen herkennen wanneer er iets mis is gegaan en daar gepast op kunnen reageren. Als een agent het verschil niet kan zien tussen een kapotte tool en een misleidende tool, zal hij de verkeerde oplossing toepassen, wat potentieel tijd verspilt of de situatie verergert.

Een team van onderzoekers aan de Aalborg Universiteit en de Zhejiang Universiteit besloot dit exacte beslissingsmoment te onderzoeken. Ze wilden weten of een kunstmatige intelligentie onmiddellijk het onderscheid kon maken tussen een tool die er niet in geslaagd is om gegevens terug te geven en een tool die een welgevormd maar onjuist antwoord heeft gegeven. Om dit te testen, creëerden ze een gecontroleerde omgeving die een retail klantenservice-scenario simuleert. In deze digitale wereld fungeert een agent als een ondersteunende vertegenwoordiger, waarbij hij een set van zestien verschillende tools gebruikt om bestelgegevens op te zoeken, betaalmethoden te controleren en gebruikersinformatie bij te werken. De onderzoekers namen een standaard, succesvolle sequentie van acties en vervingen op een specifiek punt de normale reactie van de tool door een defecte reactie. Ze creëerden drie soorten fouten: een volledige uitval waarbij de tool een foutmelding teruggaf, een vervalste orderstatus die de regels veranderde van wat de agent daarna geoorloofd was te doen, en een vervalst betalingskenmerk dat er correct uitzag maar niet bij de klant hoorde.

De onderzoekers keken niet simpelweg toe hoe de agent probeerde de taak te voltooien en keken of het slaagde. In plaats daarvan onderbraken ze het proces op het moment dat de defecte gegevens arriveerden. Ze onderzochten het interne "denkproces" van het model, waarbij ze specifiek keken naar hoe waarschijnlijk het was dat het volgende woord in de respons gegenereerd zou worden. Ze maten twee verschillende zaken. Eerst controleerden ze hoe goed de geretourneerde gegevens pasten bij het verwachte formaat van de tool zelf. Ten tweede controleerden ze hoe goed die gegevens pasten bij alles wat de agent eerder in het gesprek had gezien, inclusief het oorspronkelijke verzoek van de gebruiker en eerdere resultaten van de tools. Ze keken ook naar het plan van de agent voor de eerstvolgende stap, waarbij ze maten hoe zelfverzekerd hij was over welke actie te ondernemen en of die actie inhield dat de staat van het systeem opnieuw gecontroleerd moest worden of dat hij verder kon gaan met een wijziging.

De resultaten toonden een scherp en onmiddellijk verschil in hoe de agent reageerde op deze verschillende soorten fouten. Wanneer de tool een kapotte foutmelding teruggaf, herkende de agent onmiddellijk dat de gegevens niet voldeden aan het basisformaat van de tool. Dit was een duidelijk signaal dat de tool gefaald had. Bij consequentie verschoof het plan van de agent drastisch; het werd zeer waarschijnlijk dat hij een actie zou kiezen om de staat van het systeem opnieuw te lezen, wat in feite betekende dat hij besloot het opnieuw te proberen of de feiten te controleren. In contrast hiermee, wanneer de tool een welgevormd maar onjuist antwoord gaf, zag de agent geen probleem met het formaat. De gegevens zagen er perfect uit. Echter, de interne vergelijking van de agent tussen de nieuwe gegevens en de geschiedenis van het gesprek onthulde een conflict. De valse gegevens botsten met wat de gebruiker eerder had gesteld of wat het systeembeleid voorschreef.

Cruciaal was de bevinding van de onderzoekers dat de reactie van de agent op deze valse antwoorden volledig afhankelijk was van de aard van de leugen. Wanneer de vervalste informatie een eenvoudige mismatch was, zoals een betalings-ID die niet bij de gebruiker hoorde, bleef het plan van de agent grotendeels ongewijzigd. Hij raakte niet in de war of onzeker; hij accepteerde de valse gegevens simpelweg en ging verder, omdat de leugen de fundamentele regels van de interactie niet veranderde. Maar wanneer de vervalste informatie een orderstatus was die de regels veranderde van welke acties toegestaan waren, veranderde het gedrag van de agent. Hij werd onzeker over wat hij nu moest doen, en zijn plan veranderde om de nieuwe, onjuiste realiteit te weerspiegelen. Dit toonde aan dat de agent het verschil kon zien tussen een kapotte tool en een leugentool, maar dat hij niet altijd het verschil kon zien tussen een onschuldige leugen en een consequente leugen die de taak uit de koers zou brengen.

De studie onderzocht ook wat er gebeurde na de initiële fout. De onderzoekers ontdekten dat het type fout een blijvend spoor achterliet in het toekomstige gedrag van de agent. De kapotte tool zorgde ervoor dat de agent bleef proberen de systeemstaat opnieuw te lezen in opeenvolgende stappen, een teken dat hij vastzat in een lus van verificatie. De vervalste orderstatus stuurde de agent echter een heel ander pad op, wat leidde tot acties die de systeemstaat veranderden op basis van de valse informatie. De vervalste betalings-ID, die de agent aanvankelijk zonder problemen accepteerde, werd in latere stappen ook geaccepteerd, zonder enig teken dat de agent besefte dat hij was misleid. Dit toonde aan dat het vermogen van de agent om een fout te herkennen geen enkele, universele alarmbel was. In plaats daarvan was het een verzameling van verschillende signalen. Eén signaal vertelde de agent dat de tool kapot was, een ander vertelde hem dat de gegevens inconsistent waren met het verleden, en een derde vertelde hem dat de gegevens inconsistent waren met de regels. Geen enkel signaal kon elk type fout opvangen.

De onderzoekers concludeerden dat robuustheid in deze agenten niet draait om een enkele metriek die alle slechte gegevens markeert. In plaats daarvan vereist het het gelijktijdig lezen van meerdere kanalen van informatie. Een agent moet in staat zijn te zien wanneer gegevens niet overeenkomen met de vorm van een tool, wanneer ze in strijd zijn met de geschiedenis van het gesprek, en wanneer ze in strijd zijn met de regels van het domein. De studie toonde aan dat deze verschillende soorten fouten duidelijke kenmerken produceren in de interne berekeningen van de agent. Een kapotte tool is onmiddellijk duidelijk omdat het het formaat breekt. Een leugentool is moeilijker te vangen omdat het het formaat respecteert maar het verhaal breekt. De gevaarlijkste leugens zijn die welke de regels van het spel veranderen, omdat ze de agent een volledig verkeerd pad op kunnen sturen zonder enige verwarring te triggeren. Door deze specifieke kenmerken te begrijpen, kunnen ontwikkelaars agenten bouwen die beter in staat zijn om hun eigen fouten te diagnosticeren en de juiste remedie te kiezen, of dat nu het opnieuw proberen van een tool is, het controleren van een feit, of het stoppen om om verduidelijking te vragen.