From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, i ricercatori testano costantemente quanto bene i programmi per computer possano agire autonomamente. Questi programmi, noti come agenti, sono progettati per utilizzare strumenti, prendere decisioni e interagire con ambienti digitali per completare compiti. Per sapere se questi agenti sono veramente capaci o se sono facilmente ingannabili, gli scienziati li sottopongono a rigorosi benchmark, che sono simili a test standardizzati. Un tale test, chiamato AgentDojo, osserva specificamente come questi agenti gestiscono situazioni complicate, come quando qualcuno cerca di ingannarli con istruzioni nascoste. Tuttavia, è emerso un problema importante: mentre questi test producono un punteggio finale, il percorso verso quel punteggio è spesso una scatola nera. È difficile verificare esattamente quali tentativi siano stati conteggiati, come siano stati calcolati i numeri finali o se i risultati riportati in un articolo di ricerca corrispondano effettivamente ai dati grezzi generati dal computer. Senza una traccia chiara, è difficile sapere se un punteggio elevato rappresenti una reale abilità o solo un errore nel modo in cui i risultati sono stati computati.

Questa incertezza è l'oggetto di un nuovo strumento software sviluppato dal ricercatore indipendente Abdullah Alharbi. Il suo lavoro, intitolato "AgentDojo Trace Audit", non crea un nuovo test o un agente migliore. Invece, costruisce uno strato di verifica trasparente che si posiziona tra i dati grezzi del test AgentDojo e le affermazioni finali fatte dai ricercatori. L'obiettivo è trasformare un rapporto statico in una storia verificabile. Lo strumento prende una versione specifica e congelata del test AgentDojo e controlla ogni singolo passaggio del processo. Verifica che i file utilizzati siano esattamente quelli previsti, che le regole per l'inclusione o l'esclusione dei dati siano state seguite perfettamente e che i numeri finali nel rapporto corrispondano ai record sottostanti. Agisce come un contabile rigoroso dell'esperimento, assicurando che i conti tornino e che la storia raccontata dai dati sia coerente da inizio a fine.

Per farlo, il software richiede innanzitutto che l'utente possieda una copia legittima del codice sorgente ufficiale di AgentDojo. Non ridistribuisce i dati del test stesso, il che mantiene il processo legale e focalizzato sulla verifica piuttosto che sulla raccolta di dati. Una volta che la sorgente corretta è presente, lo strumento inizia il suo lavoro esaminando le impronte digitali di ogni file. Calcola un codice unico per ogni file basato sul suo contenuto, assicurando che anche una minima modifica, come una singola lettera alterata o un nome di file diverso, verrebbe immediatamente individuata. Questo passaggio conferma che il ricercatore sta lavorando esattamente con lo stesso materiale digitale utilizzato nello studio originale, prevenendo qualsiasi manomissione accidentale o intenzionale del materiale sorgente.

Una volta verificata la sorgente, il software si sposta al cuore dell'audit: il conteggio e la categorizzazione. Il test originale ha prodotto migliaia di record, ma non tutti dovevano far parte dell'analisi finale. Lo strumento applica un insieme rigoroso di regole per decidere quali record mantenere e quali scartare. Per esempio, ha scoperto che, su quasi 11.800 file candidati, 140 erano casi ausiliari che non rientravano nel gruppo principale, e un file era incompleto perché mancava di campi di dati chiave. Applicando queste regole, il software ha ricostruito l'esatta popolazione di 11.624 record che lo studio originale dichiarava di analizzare. Ha poi controllato che la suddivisione di questi record in diverse categorie — come se un attacco fosse stato un successo o un fallimento — corrispondesse perfettamente al rapporto ufficiale. In questo test specifico, lo strumento ha confermato che ogni singolo uno dei 11.624 record era correttamente collegato alla sua origine e che i conteggi finali per successi, fallimenti ed esiti degli attacchi erano accurati.

Il vero potere di questo strumento, tuttavia, risiede nella sua capacità di trovare errori, non solo di confermare quelli corretti. Per testarne l'affidabilità, i ricercatori hanno creato una serie di sfide in cui hanno deliberatamente introdotto errori nei dati, come lo scambio di file, l'eliminazione di collegamenti tra i record o la modifica del significato di un risultato. In un insieme di test che coinvolgeva 408 diversi scenari, lo strumento ha rilevato e classificato con successo ogni singolo errore. Tuttavia, è riuscito a individuare l'esatta posizione del problema solo in 336 di quei casi. I restanti 72 fallimenti non sono stati dovuti al fatto che lo strumento avesse mancato l'errore, ma perché il modo in cui descriveva la posizione dell'errore non era abbastanza dettagliato. I ricercatori hanno poi corretto questo specifico problema nel design del software.

Dopo aver effettuato questa riparazione, hanno eseguito un nuovo test più rigoroso con 360 nuovi scenari. Questa volta, lo strumento è stato perfetto. Ha rilevato, classificato e localizzato ogni singolo uno dei 360 errori senza mancare nemmeno uno. Per garantire che lo strumento non fosse troppo sensibile e non segnalasse cambiamenti innocui come errori, lo hanno testato anche contro 120 casi benigni, come file che erano stati semplicemente rinominati o compressi diversamente. Lo strumento li ha ignorati correttamente, producendo zero falsi allarmi. Questa sequenza di test dimostra che il software può distinguere in modo affidabile tra un cambiamento innocuo nel modo in cui un file viene archiviato e un cambiamento reale nel contenuto scientifico.

La significatività di questo lavoro è che fornisce un metodo per trasformare un esperimento complesso e opaco in qualcosa che può essere ispezionato riga per riga. Prima di questo strumento, se un ricercatore dichiarava un certo tasso di successo, altri dovevano fidarsi della sua parola o cercare di rieseguire manualmente l'intero esperimento, il che è spesso impossibile. Ora, chiunque possieda i dati sorgente originali può eseguire questo audit per vedere esattamente come i numeri siano stati derivati. Non dice se gli agenti siano sicuri nel mondo reale, né prova che il design del test originale fosse perfetto. Inveve, garantisce che i numeri riportati in un articolo siano coerenti con i dati su cui si basano. Assicura che la storia raccontata dai dati sia la stessa storia che i dati effettivamente supportano.

I ricercatori sono attenti a sottolineare i limiti del loro lavoro. Lo strumento è progettato per una specifica versione del test AgentDojo e non può essere applicato automaticamente ad altri benchmark o versioni future senza una significativa rielaborazione. Inoltre, non può rilevare se il dato originale fosse fattualmente errato o se il test stesso fosse difettoso; controlla solo la coerenza e la logica interna. Inoltre, poiché lo strumento è stato sviluppato dallo stesso team che ha creato i test e la logica di verifica, non si tratta di una revisione esterna indipendente, bensì di un auto-controllo che è stato rigorosamente testato sotto stress. Nonostante questi confini, il lavoro offre una via chiara verso la trasparenza scientifica. Dimostra che è possibile costruire un sistema in cui le affermazioni fatte nella ricerca non siano solo dichiarazioni, ma fatti verificabili che possono essere tracciati fino alla loro origine, un byte alla volta.