Riepilogo Tecnico: AuditRepairBench

Enunciato del Problema

Il documento identifica una specifica modalità di fallimento nelle classifiche di riparazione degli agenti: Instabilità del Ranking del Canale dell'Valutatore. Sebbene la stabilità delle benchmark sia spesso attribuita al rumore generico degli valutatori o all'affidabilità limitata degli LLM come giudici, gli autori dimostrano che una parte misurabile del riordinamento delle classifiche si verifica quando i sistemi di riparazione degli agenti consultano segnali derivati dall'valutatore (ad esempio, token di motivazione del giudice, confidenza del verdetto, logit di riordinamento) durante la loro selezione interna dei candidati di riparazione.

Quando la configurazione dell'valutatore cambia (ad esempio, sostituendo il modello giudice o la regola di aggregazione), gli agenti che accoppiano la loro logica di selezione interna a questi specifici output dell'valutatore subiscono uno spostamento significativo del rango. Ciò è distinto dall'instabilità generica; si tratta di un accoppiamento architetturale tra il selettore dell'agente e l'valutatore. Le attuali benchmark e metodologie di valutazione non isolano questo specifico canale di interazione, rendendo difficile distinguere tra miglioramenti genuini di riparazione e artefatti derivanti da una fuoriuscita di segnali specifici dell'valutatore.

Metodologia

Gli autori introducono AuditRepairBench, un corpus di tracce di esecuzione accoppiata e un'architettura di screening modulare progettata per operationalizzare e misurare questa instabilità.

1. Definizione del Corpus

La risorsa è un prodotto cartesiano di:

• 60 Sistemi di Agenti: Che coprono cinque famiglie di metodi (pianificazione-esecuzione, shell-strumento, raffinamento iterativo, esplorazione autonoma, dibattito multi-agente).
• 80 Compiti: Provenienti da 8 famiglie di compiti.
• 6 Famiglie di Valutatori: Compresi LLM proprietari, LLM a pesi aperti e valutatori basati su regole con varie regole di aggregazione.
• Interventi: 5 famiglie di interventi registrati.
• Scala: 576.000 celle di traccia registrate, di cui 96.000 eseguite come tracce accoppiate. Un sottoinsieme "Lite" di 12.000 celle funge da principale punto di ingresso a basso costo.

2. Obiettivo Operativo e Metriche

La metrica fondamentale è il funzionale di inversione a livello di cella ($\hat{q}(x)$), un'aspettativa a posteriori che rappresenta la probabilità che un intervento (bloccando il percorso da valutatore a selettore) cambi il vincitore di una selezione di riparazione.

• Intervento: Un operatore di "cecità" azzera le caratteristiche derivate dall'valutatore al confine di input del selettore, mantenendo fissi l'valutatore finale e il resto della pipeline.
• Output: Un'etichetta a valore insiemistico ($L(x)$) che indica se il sistema è accoppiato (spostamento del rango > soglia), non accoppiato o ambiguo.
• Classifica: Una classifica a valore insiemistico che fornisce intervalli di rango piuttosto che stime puntuali, tenendo conto dell'incertezza dello screening.

3. Architettura di Screening Modulare

Per evitare di vincolare la benchmark a un singolo modello appreso, la decisione di screening avviene tramite una pila logistica calibrata di quattro implementazioni eterogenee:

1. Proxy di Influenza Appresa: Un MLP che analizza gli embedding dello stato del selettore (pesi di attenzione, magnitudini di attivazione) per stimare l'influenza del percorso.
2. Rapporto di Esposizione del Canale Basato su Regole: Uno strumento di analisi statica/dinamica del programma che calcola il rapporto dei token derivati dall'valutatore che entrano nell'input del selettore senza alcun modello addestrato.
3. Proxy di Sensibilità Controfattuale: Calcola gli effetti locali di mascheramento dell'input utilizzando la divergenza di Kullback-Leibler e i tassi di inversione dell'argmax.
4. Proxy di Audit Umano Sparsa: Un albero decisionale potenziato dal gradiente addestrato su un piccolo sottoinsieme di casi auditati da umani, che propaga le decisioni alle celle non raggiunte.

4. Strategia di Validazione

Il documento adotta un protocollo di validazione multistrato:

• Validazione Ancorata al Meccanismo: 80 casi di "chirurgia del canale" a livello di sorgente in cui il codice viene modificato esplicitamente per bloccare i percorsi, verificati da giudizi di doppio audit.
• Scoperta Indipendente: Due gruppi di annotatori, separati dagli sviluppatori della pipeline, scoprono pattern di accoppiamento secondo un protocollo in cieco.
• Trasferimento Avanzato: Valutazione su regimi esterni (diverse famiglie di valutatori, ritardi temporali, sottoinsiemi cross-piattaforma) per valutare la generalizzabilità.
• Propagazione dell'Incertezza: Un bootstrap gerarchico propaga l'incertezza dalle implementazioni di screening, dai semi dei modelli e dalle soglie per garantire una copertura del 95% degli intervalli di rango.

Risultati Chiave

1. Prestazioni di Rilevamento

• Sottoinsieme di Chirurgia: Lo screening ensemble raggiunge un AUROC di blocco del percorso di 0,96 sui 80 casi di chirurgia a livello di sorgente.
• Scoperta Indipendente: Su 79 casi scoperti da gruppi indipendenti (inclusi nuovi tipi di accoppiamento come "eco memoria-ricompensa" e "fuoriuscita di entropia del verdetto"), l'ensemble congelato ottiene un AUROC raggruppato di 0,83.
• Categorie Tenute da Parte: Su 180 categorie di accoppiamento tenute da parte provenienti da codebase pubblici, l'AUROC raggruppato è 0,88.
• Falsi Positivi: L'ensemble mantiene un basso tasso di falsi positivi (0,07) sui controlli negativi (interventi che cambiano i vincitori ma non sono mediati dall'valutatore), superando significativamente i rilevatori ingenui di cambiamenti del vincitore.

2. Trasferimento Avanzato e Stabilità

• Il punteggio di screening dimostra un trasferimento avanzato da debole a moderato verso regimi esterni, con un $\rho$ di Spearman raggruppato che varia da 0,62 a 0,76 a seconda della gravità dello spostamento.
• Il segnale degrada con eleganza man mano che gli spostamenti diventano più esterni (ad esempio, da spostamenti di protocollo a spostamenti cross-piattaforma), coerente con uno strumento diagnostico circoscritto piuttosto che un predittore universale.
• Calibrazione della Fiducia: Il documento fornisce livelli di fiducia stratificati basati sulla "completezza dell'aggancio" (osservabilità). Per sistemi con completezza dell'aggancio $\ge 0,90$, il trasferimento esterno $\rho$ raggiunge 0,74; per una minore osservabilità, scende a 0,44.

3. Azionabilità e Riparazione

• Riparazione Mirata: Patch di cecità guidate dallo screening (meno di 50 righe di codice) riducono lo spostamento del rango del 55–74% (media 62%) con un impatto trascurabile sull'accuratezza del compito.
• Confronto: Al contrario, il retraining generico riduce lo spostamento al massimo del 13% e la cecità casuale del canale al massimo del 7%. La cecità universale del canale riduce lo spostamento del 44% ma causa una significativa degradazione dell'accuratezza del compito (media -5,1% del tasso di passaggio).

4. Efficienza

• AuditRepairBench-Lite: Una configurazione basata solo su regole sul sottoinsieme di 12.000 celle preserva la classifica completa della benchmark a Kendall $\tau = 0,88$ richiedendo solo 22 ore-GPU (contro le 2.400 della benchmark completa) e nessun modello addestrato.

Significato e Affermazioni

Il documento posiziona AuditRepairBench non come una benchmark a scopo generale per il ranking delle prestazioni degli agenti, ma come uno strumento diagnostico per una specifica modalità di fallimento.

• Ambito Operativo: La risorsa limita esplicitamente le sue affermazioni a una "completezza dell'aggancio" (copertura AST statica e taint dinamico) di almeno 0,80. Non afferma di recuperare costrutti causali latenti o di certificare meccanismi universalmente.
• Interpretabilità del Meccanismo: Il valore principale non è solo il punteggio di previsione, ma la capacità di identificare il canale di accoppiamento specifico (ad esempio, "lettura del token di motivazione"), consentendo riparazioni mirate e a basso costo che le correzioni generiche dell'instabilità non possono raggiungere.
• Validazione Pluralistica: Utilizzando un'architettura modulare con implementazioni eterogenee e protocolli di scoperta indipendenti, il documento sostiene che l'identità della benchmark è il protocollo e la posteriore, non un singolo modello appreso, riducendo così il rischio di overfitting su un specifico artefatto di misurazione.
• Modestia: Gli autori dichiarano esplicitamente che il segnale di trasferimento avanzato è "da debole a moderato" e che la risorsa non rivendica una forte validità prospettica. L'obiettivo è fornire una base stabile e auditabile per comprendere l'accoppiamento valutatore-selettore, piuttosto che un classificatore definitivo per tutti i sistemi di agenti.

In sintesi, AuditRepairBench fornisce il primo quadro operativo per misurare, validare e riparare l'instabilità specifica causata dagli agenti che si affidano eccessivamente a segnali derivati dall'valutatore, offrendo una strada verso classifiche di riparazione degli agenti più robuste e trasparenti.