Rollout Cards: A Reproducibility Standard for Agent Research

Questo articolo affronta le sfide della riproducibilità nella ricerca sugli agenti introducendo le "rollout cards", un formato di pubblicazione standardizzato che preserva i registri grezzi delle rollout e dichiara esplicitamente le regole di reporting per garantire una valutazione trasparente e verificabile dei sistemi agenziali.

L'essenziale

Immagina di essere un critico gastronomico che recensisce un nuovo ristorante. Lo chef ti consegna un cartellino con scritto: "Questo pasto vale 9,5 su 10". Ma lo chef si rifiuta di mostrarti il cibo reale, la ricetta o le note su come hanno deciso quel punteggio. Ti dicono solo: "Fidati, è un 9,5".

Ora, immagina un altro critico assaggiare esattamente lo stesso pasto ma dargli un 6,0. Senza vedere il cibo o la ricetta, non hai modo di sapere chi ha ragione. Il primo critico ha usato una scala diversa? Ha ignorato il toast bruciato? Ha contato il dessert come parte del piatto principale?

Questo è esattamente il problema che le Rollout Cards (Schede di Esecuzione) mirano a risolvere nel mondo degli "agenti" AI (programmi informatici intelligenti che svolgono compiti come scrivere codice, navigare sul web o risolvere problemi matematici).

Ecco una semplice spiegazione di ciò che dice il documento, utilizzando analogie di tutti i giorni:

Il Problema: Il Punteggio "Scatola Nera"

Attualmente, quando i ricercatori pubblicano risultati sugli agenti AI, condividono solitamente solo il punteggio finale (il "9,5"). Scartano il registro di esecuzione (rollout).

• Il Registro di Esecuzione: Pensalo come la registrazione video completa dell'AI mentre svolge il compito. Include ogni passo compiuto, ogni strumento cliccato, ogni errore fatto, quanto tempo ha impiegato e se si è bloccato o è andato in crash.
• Il Problema: Diversi team di ricerca utilizzano "regole" diverse per trasformare quel video in un punteggio.
  • Team A potrebbe dire: "Se l'AI va in crash, ignoriamo quel tentativo."
  • Team B potrebbe dire: "Se l'AI va in crash, questo conta come zero."
  • Team C potrebbe dire: "Contiamo solo la risposta finale, ignorando i 50 passaggi necessari per arrivarci."

Il documento ha rilevato che nessuno dei 50 popolari repository di ricerca sull'AI controllati ha riportato quanti tentativi sono falliti o sono andati in crash insieme al loro punteggio principale. È come se una squadra sportiva dicesse: "Abbiamo vinto 3 partite!" ma nascondesse il fatto che ne hanno perse 10 e abbiano contato solo le 3 vinte.

Le Prove: Le Regole Cambiano il Gioco

Gli autori hanno auditato 50 diversi strumenti AI e hanno trovato 37 casi specifici in cui cambiare il "regolamento" cambiava completamente il punteggio, anche se l'AI faceva esattamente la stessa cosa.

• L'esempio "MMLU": Lo stesso modello AI (LLaMA-65B) ha ottenuto un punteggio di 63,7 secondo un insieme di regole e 48,8 secondo un altro. Questa è una differenza enorme dovuta solo a come è stato calcolato il punteggio, non perché l'AI sia cambiata.
• L'esempio "SWE-bench": Nei compiti di ingegneria del software, se si contano i "tentativi falliti" come parte del totale o se vengono scartati, il tasso di successo cambia di 15,6 punti percentuali.
• L'esempio "MLE-Bench": A seconda che si definisca un "passaggio" come ottenere una medaglia d'oro o semplicemente un voto di sufficienza, il tasso di successo delle stesse sottomissioni AI è sceso dal 34,2% al 13,3%.

Il documento sostiene che senza la registrazione video (il rollout), non possiamo capire se l'AI sia effettivamente migliore, o se il ricercatore abbia semplicemente usato un regolamento più indulgente.

La Soluzione: La "Rollout Card"

Per risolvere questo problema, gli autori propongono un nuovo standard chiamato Rollout Card.

Pensa a una Rollout Card come a una scatola di ricette trasparente e anti-manomissione che devi includere con il tuo piatto finale. Contiene:

1. Il Video Completo: Il registro completo delle azioni, degli errori e dei tempi dell'AI.
2. Il Regolamento: Una dichiarazione chiara di esattamente come è stato calcolato il punteggio (ad esempio, "Abbiamo ignorato i crash" o "Abbiamo contato ogni token").
3. La Lista dei "Pezzi Mancanti": Una nota onesta che dice: "Non abbiamo potuto condividere il video completo per motivi di privacy, quindi ecco esattamente cosa abbiamo tagliato".

Questo permette ad altri scienziati di guardare lo stesso video e porre domande diverse. Forse il documento originale si preoccupava solo di "Ha completato il compito?", ma un nuovo ricercatore vuole chiedere: "Ha usato troppi soldi?" o "Ha fatto chiamate a strumenti pericolose?". Con la Rollout Card, possono rispondere a queste domande senza dover eseguire di nuovo l'esperimento costoso.

Cosa Hanno Fatto Davvero (Gli Esperimenti)

Gli autori non ne hanno solo parlato; l'hanno testato con dati reali:

1. Riscoperta di Informazioni Nascoste: Hanno preso quattro dataset pubblici esistenti (da strumenti come GAP, MAESTRO, COPRA e Tree-of-Thought) pubblicati in precedenza. Applicando il metodo della Rollout Card, hanno scoperto nuovi fatti che i documenti originali avevano trascurato.

   • Esempio: Hanno scoperto che il 20% delle risposte AI che sembravano "sicure" nel testo facevano in realtà chiamate a strumenti proibite in background. Il punteggio originale aveva mancato questo perché guardavano solo il testo.
   • Esempio: Hanno scoperto che nei team multi-agente, i "fallimenti" coinvolgevano in realtà molto più lavoro di coordinamento rispetto ai "successi", suggerendo che il lavoro extra non significa sempre risposte migliori.

2. Rivalutazione dello Stesso Lavoro: Hanno preso sottomissioni AI pubbliche (come patch di codice o risposte matematiche) e le hanno riesaminate utilizzando diversi regolamenti.

   • Risultato: Cambiare solo la regola di punteggio ha modificato i punteggi riportati fino a 20,9 punti percentuali. In alcuni casi, ha ribaltato la classifica, facendo apparire un AI "peggiore" come il "vincitore" solo perché il regolamento era cambiato.

Il Punto Fondamentale

Il documento conclude che pubblicare solo un punteggio è come pubblicare un voto d'esame finale senza il foglio d'esame. Nasconde i dettagli che contano.

Introducendo le Rollout Cards, gli autori vogliono rendere la ricerca sull'AI riproducibile. Hanno già rilasciato uno strumento gratuito e open-source (chiamato ERGON) e 21 dataset pubblici (Rollout Cards) che coprono compiti come ingegneria del software, navigazione web e matematica. Questo permette a chiunque di ispezionare la "registrazione video" dietro i punteggi, assicurandosi che quando diciamo che un'AI è intelligente, sappiamo effettivamente perché e come l'abbiamo misurata.

Cosa il documento NON afferma:

• Non afferma che questo renderà l'AI più sicura o potente di per sé.
• Non afferma che questo risolve tutti i problemi di privacy (devi ancora decidere cosa nascondere).
• Non afferma che questo è un nuovo modo per addestrare l'AI; è un nuovo modo per segnalare e auditare i risultati dell'addestramento dell'AI.

Sommario tecnico

Riepilogo Tecnico: Rollout Cards: Uno Standard di Riproducibilità per la Ricerca sugli Agenti

Enunciato del Problema

Il documento identifica una crisi critica di riproducibilità emergente nella ricerca sugli agenti, che rispecchia problemi storici nell'apprendimento automatico e nell'apprendimento per rinforzo. Le pratiche attuali danno priorità alla pubblicazione dei punteggi riportati (ad esempio, accuratezza, tassi di superamento) mentre scartano i registri di rollout sottostanti (la traccia completa delle interazioni agente-ambiente) e le specifiche regole di reporting utilizzate per calcolare tali punteggi.

Questa frammentazione crea due modalità di fallimento primarie:

1. Fallimento di Registrazione: I batch di rollout vengono valutati una volta e scartati. Senza i registri grezzi, i ricercatori successivi non possono riesaminare gli stessi episodi per studiare comportamenti omessi dal rapporto originale (ad esempio, violazioni di sicurezza nelle chiamate agli strumenti, sovraccarico di coordinamento nei sistemi multi-agente) o applicare nuove prospettive ai dati. Riavviare questi esperimenti è spesso proibitivamente costoso a causa dell'aumento dei costi di inferenza dei modelli all'avanguardia e della rapida obsolescenza delle infrastrutture di valutazione.
2. Fallimento di Reporting: Le regole di reporting (le procedure che convertono le prospettive dei rollout in punteggi) variano tra i framework e sono raramente divulgate. Ciò porta a significative discrepanze nei punteggi per comportamenti sottostanti identici. L'audit degli autori su 50 repository popolari ha rilevato che nessuno riporta i rollout falliti, errati o saltati insieme ai punteggi principali. Inoltre, hanno documentato 37 casi in cui regole di reporting diverse (ad esempio, contabilità dei token, gestione degli errori, modelli di prompt) hanno portato a variazioni drammatiche dei punteggi, a volte modificando le classifiche dei modelli o i tassi di successo di oltre 20 punti percentuali.

Metodologia

Gli autori propongono un cambiamento nell'unità di riproducibilità dal "punteggio riportato" al registro di rollout, accompagnato da dichiarazioni esplicite su come tale registro viene elaborato.

La Rollout Card

Il contributo principale è la Rollout Card, un pacchetto di pubblicazione progettato come specifica minima-sufficiente. È composta da:

• Registro di Rollout: Un archivio auto-descrittivo contenente le prove dell'episodio: specifica del compito, stato dell'ambiente, azioni dell'agente (messaggi, chiamate agli strumenti), artefatti, tempistiche e stato terminale. Crucialmente, tratta i fallimenti come cambiamenti di stato all'interno del registro piuttosto che come eccezioni che bypassano la registrazione.
• Registro delle Regole di Reporting: Una dichiarazione di ogni prospettiva e regola di reporting applicata al registro per generare un punteggio riportato, inclusi dettagli implementativi e versioni.
• Manifesto delle Rimozioni (Drops Manifest): Un registro tipizzato che specifica quali campi, righe o flussi sono stati letti, filtrati o compressi da un'analisi specifica. Questo documenta esplicitamente quali informazioni sono state omesse, permettendo ai ricercatori futuri di comprendere i limiti di una prospettiva riportata.
• Metadati di Ambito di Rilascio: Dichiarazioni riguardanti la redazione, la licenza e i limiti di accesso.

Gli autori hanno implementato una specifica di riferimento in ERGON, una palestra di apprendimento per rinforzo open-source, che funge da adattatore di dataset leggero per validare, mappare ed esportare questi pacchetti.

Valutazione Empirica

Il documento convalida l'utilità delle Rollout Card attraverso due esperimenti retrospettivi utilizzando artefatti pubblici:

1. RQ1 (Riutilizzabilità dei Registri Preservati): Gli autori hanno analizzato quattro release pubbliche (GAP, MAESTRO, log COPRA miniF2F e Tree-of-Thought) che hanno preservato prove di rollout sufficienti. Hanno calcolato analisi secondarie non riportate nei documenti originali:

   • GAP: Ha rilevato che il 20,6% delle risposte certificate come "sicure per il testo" conteneva effettivamente chiamate agli strumenti vietate, un fallimento invisibile ai punteggi di sicurezza basati solo sul testo.
   • MAESTRO: Ha rivelato che le esecuzioni multi-agente fallite hanno comportato 5 volte più span di coordinamento e 7 volte più token rispetto alle esecuzioni riuscite, contraddicendo l'assunzione che la collaborazione aggiuntiva migliori sempre i risultati.
   • COPRA: Ha mostrato che i passaggi estesi di ricerca di prove si correlavano negativamente con il successo, suggerendo che i passaggi ripetuti indicano spesso un recupero fallito piuttosto che un ragionamento utile.
   • Tree-of-Thought: Ha dimostrato che le strategie di potatura potevano preservare le ricompense finali riducendo significativamente l'esplorazione sprecata, una sfumatura nascosta dalle sole metriche di ricompensa finale.

2. RQ2 (Impatto delle Regole di Reporting): Gli autori hanno mantenuto fissi gli artefatti di benchmark (ad esempio, le sottomissioni di GPT-4o a SWE-bench, le sottomissioni Kaggle per MLE-Bench) e hanno applicato regole di reporting alternative.

   • Cambiare la definizione di "successo" o la gestione delle patch mancanti in SWE-bench ha alterato il divario di capacità riportato tra gli agenti di 2,3 punti percentuali.
   • Cambiare il valutatore su $\tau$-bench ha invertito la classifica dei modelli all'avanguardia (GPT-4o vs. Claude 3.5 Sonnet) di 16,9 punti percentuali.
   • Cambiare la definizione di medaglia/passaggio per MLE-Bench ha fatto scendere il tasso di superamento dal 34,2% al 13,3% (un divario di 20,9 punti).

Contributi Chiave

1. Diagnosi dei Fallimenti di Pubblicazione: Un audit strutturato di 50 repository e un catalogo di 37 discrepanze nelle regole di reporting che dimostrano come le pratiche attuali nascondano i fallimenti e offuschino la natura convenzionale dei divari nei punteggi.
2. Specificazione Rollout Card: Uno standard di pubblicazione formale che preserva il registro di rollout, dichiara le prospettive e le regole applicate e documenta le omissioni tramite manifesti delle rimozioni.
3. Implementazione di Riferimento e Rilascio Dati: Un'implementazione open-source in ERGON e il rilascio pubblico di 21 esportazioni di rollout card (17 esportazioni di pubblicazione di tracce e 4 esportazioni di viste analitiche/recuperate) che coprono l'uso degli strumenti, l'ingegneria del software, la sicurezza e la ricerca.

Risultati

• Riuso Scientifico: I registri di rollout preservati hanno permesso di scoprire fallimenti di sicurezza, sovraccarichi di coordinamento e inefficienze di ricerca non visibili nei punteggi riportati originali.
• Sensibilità alle Convenzioni: Gli esperimenti hanno confermato che le regole di reporting non sono neutre; cambiarle su prove fisse può alterare i punteggi riportati fino a 20,9 punti percentuali e invertire le classifiche dei modelli.
• Trasparenza: La struttura della Rollout Card rende trasparente la "scatola nera" della valutazione, permettendo di tracciare i disaccordi a scelte di reporting specifiche piuttosto che a comportamenti ambigui del modello.

Significato e Affermazioni

Il documento afferma che pubblicare solo i punteggi estrae solo una frazione del valore degli esperimenti sugli agenti. Trattando i registri di rollout come unità di riproducibilità, la comunità può:

• Mitigare il Problema di Registrazione: Permettere di porre nuove domande scientifiche su dati esistenti e costosi senza riavviare agenti all'avanguardia.
• Mitigare il Problema di Reporting: Rendere ispezionabili i cambiamenti nei punteggi guidati dalle convenzioni, permettendo ai ricercatori di distinguere tra il comportamento dell'agente e le regole utilizzate per registrarlo.

Gli autori sono modesti riguardo alla portata, notando che le Rollout Card non prevengono la scelta selettiva delle metriche, i vincoli sulla privacy o la redazione. Il loro ruolo è invece rendere il registro, la regola e le omissioni ispezionabili, assicurando che i disaccordi possano essere tracciati fino a prove preservate, scelte di reporting o al comportamento effettivo dell'agente. Il lavoro mira a supportare la ricerca futura, le meta-analisi e i confronti delle regole di reporting senza richiedere nuovi e costosi budget di rollout all'avanguardia.