Riepilogo Tecnico: AGENTLENS: Rivelare il Problema del "Passaggio Fortunato" nella Valutazione degli Agenti SWE

1. Enunciato del Problema

La valutazione attuale degli agenti di Ingegneria del Software (SWE) è dominata da un segnale binario: se la patch finale supera la suite di test (ad esempio, SWE-bench). Questa visione basata esclusivamente sull'esito tratta una soluzione principiale ed efficiente e un processo caotico basato su tentativi ed errori come equivalenti. Gli autori sostengono che questa equivalenza è empiricamente falsa e insufficiente per valutare il comportamento degli agenti.

Nello specifico, il documento identifica il problema del "Passaggio Fortunato": un sottoinsieme di traiettorie di successo che raggiungono una patch corretta attraverso processi deboli, fragili o inefficienti. Questi includono:

• Cicli di regressione: Ripetuti fallimenti e nuovi tentativi di modifiche simili.
• Ritenti ciechi: Ripetizione di azioni senza nuove informazioni.
• Mancata verifica: Applicazione di fix senza eseguire i test.
• Esplorazione temporalmente disordinata: Esecuzione di passaggi di verifica prima dell'implementazione o esplorazione di file irrilevanti dopo che un fix è stato verificato.

Il documento ipotizza che trattare tutte le traiettorie di successo come dati di supervisione di uguale valore (come fatto in dataset come SWE-Gym) sia un proxy grossolano per la qualità delle dimostrazioni. Inoltre, man mano che i modelli convergono verso benchmark basati sui tassi di successo, la qualità del processo diventa un asse necessario per il confronto dei modelli e la valutazione del rischio, poiché gli agenti che hanno successo tramite tentativi ed errori potrebbero comportarsi in modo imprevedibile in implementazioni complesse e reali.

2. Metodologia: Il Framework AGENTLENS

Gli autori introducono AGENTLENS, un framework per la valutazione a livello di processo delle traiettorie degli agenti SWE. Opera in quattro fasi:

A. Dai Log Grezzi agli Stati Etichettati

I log grezzi degli agenti vengono analizzati in sequenze di stati strutturati. Ogni stato riceve un'etichetta di fase-intento da quattro fasi cognitive:

1. Esplorazione (E): Lettura di file, ricerca, elenco di directory.
2. Implementazione (I): Modifica o creazione di file sorgente.
3. Verifica (V): Esecuzione di test, controllo degli errori, rilettura dei file modificati.
4. Orchestrazione (O): Passaggi di registrazione e ragionamento.

Crucialmente, AGENTLENS impiega un etichettatore di fasi-intento sensibile al contesto. A differenza di approcci ingenui che etichettano le azioni basandosi esclusivamente sull'identità dello strumento (ad esempio, assumendo che grep sia sempre esplorazione), questo etichettatore utilizza la storia della traiettoria. Ad esempio, grep viene etichettato come Esplorazione prima che una patch venga scritta, ma come Verifica se eseguito dopo un passaggio di implementazione per controllare una modifica specifica. Questo risolve le ambiguità nei comandi del terminale, validato con un $\kappa$ di Fleiss = 0,933 tra sette annotatori.

B. Costruzione di un Riferimento PTA

Invece di confrontare una traiettoria candidata con un'unica traccia di riferimento, AGENTLENS costruisce un Accettore di Albero dei Prefissi (PTA) da $k \ge 2$ traiettorie di successo per la stessa attività.

• Fusione: I prefissi condivisi vengono fusi in nodi comuni.
• Diramazione: Strategie divergenti ma di successo formano rami.
• Risultato: Il PTA è un Grafo Aciclico Diretto (DAG) che codifica uno spazio di strategie di soluzione "noto-buono" piuttosto che un singolo esempio. Ciò permette al sistema di riconoscere percorsi alternativi validi, segnalando al contempo le deviazioni dai processi di successo noti.

C. Punteggio delle Traiettorie Candidate

Una traiettoria candidata viene valutata rispetto al PTA a livello di attività utilizzando quattro segnali complementari, combinati in un punteggio di qualità da 0 a 100:

1. Allineamento Strutturale ($\Phi_{struct}$): Misura se la candidata visita gli stati del PTA nell'ordine sostanzialmente corretto (recall ordinato + precisione non ordinata).
2. Copertura dell'Insieme ($\Phi_{cov}$): Misura la frazione di stati del PTA corrispondenti dalla candidata, indipendentemente dall'ordine.
3. Coerenza della Traiettoria ($\Phi_{coh}$): Riassume la sequenza di fasi-intento, premiando il progresso in avanti (ad esempio, $E \to I \to V$) e penalizzando i ritorni e i tentativi ciechi.
4. Somiglianza del Profilo Temporale ($\Phi_{temp}$): Confronta la distribuzione delle fasi nei segmenti iniziale, centrale e finale della traiettoria rispetto al PTA utilizzando la divergenza di Jensen-Shannon.

Il punteggio finale è una somma ponderata:
$$f(\tau_c, G) = 0,20 \cdot \Phi_{struct} + 0,15 \cdot \Phi_{cov} + 0,30 \cdot (100 \cdot \Phi_{coh}) + 0,35 \cdot (100 \cdot \Phi_{temp})$$
I segnali comportamentali (Coerenza e Profilo Temporale) portano il 65% del peso, riflettendo il fatto che la copertura strutturale e la qualità del processo spesso falliscono su traiettorie diverse.

D. Rapporti e Classificazione

Le traiettorie vengono classificate in livelli in base al loro punteggio composito:

• Ideale ($\ge 70$): Principiale, basso spreco, ben ordinato.
• Solido ($47 \le punteggio < 70$): Imperfetto ma coerente.
• Fortunato ($< 47$): Processi deboli che casualmente passano (ad esempio, cicli di regressione, tentativi ciechi).
• Fallimento parziale / Fuori rotta: Per le traiettorie fallite.

Il sistema genera anche rapporti strutturati sull'inefficienza, localizzando lo "spreco" (cicli di regressione, tentativi ciechi, passaggi ridondanti, esplorazione non necessaria, pattern ciclici) su passaggi specifici della traiettoria.

3. Contributi Chiave

1. AGENTLENS-Bench: Il primo dataset di traiettorie di agenti SWE annotato a livello di processo. Contiene 1.815 traiettorie da 47 attività verificate di SWE-bench, con punteggi di qualità, annotazioni di spreco, metadati di divergenza e PTA di verità fondamentale.
2. La Scoperta del Passaggio Fortunato: Gli autori dimostrano che il 10,7% delle traiettorie di successo sono "Passaggi Fortunati". Questi sono scomposti in cinque meccanismi ricorrenti:
   • Minimale e Non Verificato (15,6%): Breve, nessuna verifica.
   • Convergenza con Forza Bruta (34,4%): Alto spreco, bassa coerenza.
   • Implementazione Incompleta (33,6%): Fix parziali che passano a causa di lacune nei test.
   • Esplorazione Eccessiva (4,1%): Lunga, non focalizzata.
   • Divergente ma Valido (12,3%): Approcci validi alternativi.
3. Etichettatura di Intento Sensibile al Contesto: Un etichettatore validato che risolve l'ambiguità tra esplorazione e verifica nei comandi del terminale, raggiungendo un accordo grezzo del 96,0%.
4. Riferimenti di Processo Basati su PTA: Un metodo per fondere più soluzioni di successo in uno spazio di riferimento di strategie noto-buono, consentendo la valutazione di nuove traiettorie rispetto a un insieme diversificato di comportamenti corretti.
5. Strumenti Open Source: Rilascio del SDK AGENTLENS e dell'interfaccia web, che supportano le tracce ATIF e OpenHands senza richiedere chiamate LLM per la valutazione.

4. Risultati

Il framework è stato valutato su 2.614 traiettorie provenienti da otto backend di modelli (inclusi GPT-4.1, GPT-4o, Claude Opus e Gemini 2.5 Pro) su 60 attività verificate di SWE-bench.

• Distribuzione delle Traiettorie di Successo: Tra 1.136 traiettorie di successo, il 20,2% è stato Ideale, il 69,1% Solido e il 10,7% Fortunato.
• Discrepanza nel Ranking dei Modelli: La valutazione consapevole del processo altera significativamente i ranking dei modelli rispetto al solo tasso di successo.
  • Esempio: GPT-4o si classifica 8° per tasso di successo ma 3° per punteggio di qualità.
  • Esempio: Claude Opus 4.6 si classifica 3° per tasso di successo ma 6° per punteggio di qualità, con un tasso di Passaggi Fortunati del 18,7% (il più alto tra i modelli di fascia alta).
  • I tassi di Passaggi Fortunati tra i modelli variano dallo 0,5% (Opus 4.5) al 23,2% (GPT-4.1).
• Specificità della Tassonomia: Esiste un'associazione significativa tra tipo di modello e categoria di Passaggio Fortunato ($\chi^2(28) = 102,47, p < 0,0001$). Ad esempio, Opus 4.6 produce in modo sproporzionato passaggi "Minimale e Non Verificato", mentre GPT-4.1 domina le categorie "Forza Bruta" ed "Esplorazione Eccessiva".
• Potere Discriminante: Il punteggio composito separa le traiettorie di successo e fallite con un AUROC di 0,766 ($p=0,0017$). Nessun singolo segnale ha raggiunto da solo la significatività statistica, evidenziando la necessità di fondere segnali strutturali e comportamentali.
• Implicazioni sui Costi: I Passaggi Fortunati comportano costi computazionali significativamente più elevati. Le traiettorie "Forza Bruta" costano circa 25 volte più token di quelle "Minimali", e l'"Esplorazione Eccessiva" costa circa 40 volte di più, nonostante ricevano identici etichette binarie di successo/fallimento.

5. Significato e Affermazioni

Il documento afferma che AGENTLENS fornisce un livello necessario di valutazione oltre gli esiti binari. Il suo significato risiede in tre aree:

1. Cura dei Dati: Mette in discussione la pratica di filtrare i dati di formazione esclusivamente in base al tasso di successo, mostrando che le traiettorie "di successo" variano enormemente in qualità. Utilizzare traiettorie "Fortunate" di bassa qualità per la supervisione potrebbe rafforzare comportamenti fragili.
2. Confronto dei Modelli: Offre un nuovo asse per confrontare i modelli. Man mano che i modelli convergono su alti tassi di successo, la capacità di risolvere attività attraverso processi coerenti e a basso spreco diventa un fattore differenziante. Il documento dimostra che il ranking basato sul punteggio di qualità può spostare le posizioni dei modelli fino a cinque ranghi.
3. Rischio di Implementazione: Evidenzia che gli agenti che hanno successo tramite tentativi ed errori potrebbero essere imprevedibili in ambienti con test costosi o azioni irreversibili. Esponendo i "Passaggi Fortunati", AGENTLENS aiuta i praticanti a identificare modelli che si affidano a un'esplorazione fragile piuttosto che a un ragionamento principiale.

Gli autori posizionano AGENTLENS non come sostituto dei controlli di correttezza funzionale, ma come strumento diagnostico complementare per migliorare la valutazione, l'analisi e l'addestramento degli agenti di ingegneria del software. Rilasciano il dataset e gli strumenti per rendere l'analisi consapevole del processo una componente standard della pipeline di valutazione degli agenti SWE.