From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

In de snel evoluerende wereld van kunstmatige intelligentie testen onderzoekers voortdurend hoe goed computerprogramma's zelfstandig kunnen handelen. Deze programma's, bekend als agents, zijn ontworpen om tools te gebruiken, beslissingen te nemen en te interageren met digitale omgevingen om taken te voltooien. Om te weten of deze agents werkelijk bekwaam zijn of dat ze gemakkelijk te misleiden zijn, onderwerpen wetenschappers hen aan rigoureuze benchmarks, die lijken op gestandaardiseerde toetsen. Een dergelijke test, genaamd AgentDojo, kijkt specifiek naar hoe goed deze agents omgaan met lastige situaties, zoals wanneer iemand probeert hen te misleiden met verborgen instructies. Er is echter een groot probleem ontstaan: hoewel deze tests een eindscore produceren, is het pad naar die score vaak een black box. Het is moeilijk te verifiëren welke pogingen precies zijn meegeteld, hoe de definitieve cijfers zijn berekend, of de gerapporteerde resultaten in een onderzoekspaper daadwerkelijk overeenkomen met de ruwe gegevens die de computer heeft gegenereerd. Zonder een duidelijk spoor is het moeilijk te weten of een hoge score het resultaat is van werkelijke vaardigheid of simpelweg een fout in de manier waarop de resultaten zijn geteld.

Deze onzekerheid is de focus van een nieuwe softwaretool ontwikkeld door onafhankelijk onderzoeker Abdullah Alharbi. Zijn werk, getiteld "AgentDojo Trace Audit," creëert geen nieuwe test of een betere agent. In plaats daarvan bouwt het een transparante verificatielaag die tussen de ruwe gegevens van de AgentDojo-test en de uiteindelijke claims van onderzoekers zit. Het doel is om een statisch rapport te veranderen in een controleerbaar verhaal. De tool neemt een specifieke, bevroren versie van de AgentDojo-test en controleert elke stap van het proces. Het verifieert dat de gebruikte bestanden exact de bedoelde bestanden zijn, dat de regels voor het includeren of exclusen van gegevens perfect zijn gevolgd, en dat de definitieve cijfers in het rapport overeenkomen met de onderliggende records. Het fungeert als een rigoureuze accountant voor het experiment, waarbij het ervoor zorgt dat de cijfers kloppen en dat het verhaal dat de gegevens vertellen consistent is van begin tot eind.

Om dit te doen, vereist de software eerst dat een gebruiker over een legitieme kopie beschikt van de officiële AgentDojo-broncode. Het herverdeelt de testgegevens zelf niet, wat het proces legaal houdt en gericht op verificatie in plaats van gegevensverzameling. Zodra de juiste bron aanwezig is, begint de tool aan zijn werk door de digitale vingerafdrukken van elk bestand te onderzoeken. Het berekent een unieke code voor elk bestand op basis van de inhoud, waardoor zelfs een kleine wijziging, zoals een gewijzigde letter of een andere bestandsnaam, onmiddellijk opgemerkt zou worden. Deze stap bevestigt dat de onderzoeker werkt met exact hetzelfde digitale materiaal dat werd gebruikt in de oorspronkelijke studie, wat accidentele of opzettelijke manipulatie van het bronmateriaal voorkomt.

Zodra de bron is geverifieerd, beweegt de software naar de kern van de audit: tellen en categoriseren. De oorspronkelijke test produceerde duizenden records, maar niet alle records waren bedoeld als onderdeel van de definitieve analyse. De tool past een strikte set regels toe om te beslissen welke records behouden blijven en welke worden weggegooid. Zo ontdekte het bijvoorbeeld dat er van bijna 11.800 kandidaat-bestanden 140 hulpgevallen waren die niet tot de hoofdgroep behoorden, en dat één bestand incompleet was omdat er cruciale gegevensvelden ontbraken. Door deze regels toe te passen, reconstrueerde de software de exacte populatie van 11.624 records die de oorspronkelijke studie beweerde te analyseren. Het controleerde vervolgens of de onderverdeling van deze records in verschillende categorieën — zoals of een aanval succesvol was of mislukte — perfect overeenkwam met het officiële rapport. In deze specifieke test bevestigde de tool dat elk van de 11.624 records correct was gekoppeld aan de bron en dat de definitieve tellingen voor succes, mislukking en aanvalsuitkomsten accuraat waren.

De echte kracht van deze tool ligt echter in het vermogen om fouten te vinden, niet alleen het bevestigen van correcte zaken. Om de betrouwbaarheid ervan te testen, creëerden de onderzoekers een reeks uitdagingen waarbij ze opzettelijk fouten in de gegevens introduceerden, zoals het verwisselen van bestanden, het verwijderen van koppelingen tussen records, of het veranderen van de betekenis van een resultaat. In één reeks tests met 408 verschillende scenario's detecteerde de tool elke fout en classificeerde deze succesvol. Echter, de tool kon de exacte locatie van het probleem slechts in 336 van die gevallen aanwijzen. De resterende 72 gevallen waren niet het gevolg van het missen van de fout door de tool, maar omdat de manier waarop de tool de locatie van de fout beschreef, niet gedetailleerd genoeg was. De onderzoekers hebben dit specifieke probleem vervolgens in het ontwerp van de software opgelost.

Na het uitvoeren van deze reparatie voerden ze een nieuwe, strengere test uit met 360 verse scenario's. Dit keer was de tool perfect. Het detecteerde, classificeerde en lokaliseerde elke fout van de 360 zonder een enkele misser. Om te verzekeren dat de tool niet te gevoelig was en niet onschadelijke wijzigingen als fouten markeerde, draaiden ze de tool ook tegen 120 onschuldige gevallen, zoals bestanden die simpelweg anders waren hernoemd of gecomprimeerd. De tool negeerde al deze gevallen correct, waardoor er nul valse alarmen waren. Deze opeenvolging van tests demonstreert dat de software betrouwbaar onderscheid kan maken tussen een onschadelijke wijziging in de opslag van een bestand en een werkelijke wijziging in de wetenschappelijke inhoud.

De betekenis van dit werk is dat het een methode biedt om een complex, opaak experiment te veranderen in iets dat regel voor regel geïnspecteerd kan worden. Voordat deze tool bestond, moesten anderen de woord van een onderzoeker aannemen als deze een bepaalde succesratio claimde, of proberen de hele experiment handmatig opnieuw uit te voeren, wat vaak onmogelijk is. Nu kan iedereen met de originele brongegevens deze audit draaien om precies te zien hoe de cijfers zijn afgeleid. Het vertelt ons niet of de agents veilig zijn in de echte wereld, noch bewijst het dat het oorspronkelijke testontwerp perfect was. In plaats daarvan garandeert het dat de cijfers die in een paper worden gerapporteerd, consistent zijn met de gegevens waarop ze zijn gebaseerd. Het zorgt ervoor dat het verhaal dat de gegevens vertellen, hetzelfde verhaal is dat de gegevens daadwerkelijk ondersteunen.

De onderzoekers merken zorgvuldig de beperkingen van hun werk op. De tool is ontworpen voor één specifieke versie van de AgentDojo-test en kan niet automatisch worden toegepast op andere benchmarks of toekomstige versies zonder significante herwerking. Het kan ook niet detecteren of de oorspronkelijke gegevens feitelijk onjuist waren of dat de test zelf gebrekkig was; het controleert enkel op consistentie en interne logica. Bovendien, omdat de tool is ontwikkeld door hetzelfde team dat de tests en de verificatielogica heeft gemaakt, is het geen onafhankelijke externe review, maar eerder een zelfcontrole die rigoureus is getest. Ondanks deze grenzen biedt het werk een duidelijke weg naar de toekomst voor wetenschappelijke transparantie. Het laat zien dat het mogelijk is om een systeem te bouwen waarin de claims die in onderzoek worden gedaan niet slechts beweringen zijn, maar verifieerbare feiten die tot hun bron kunnen worden herleid, byte voor byte.