Riepilogo Tecnico: TrajAudit

Enunciato del Problema

I sistemi di codifica agenziali, potenziati da Modelli Linguistici su Larga Scala (LLM), sono sempre più impiegati per compiti di manutenzione software a livello di repository, come la correzione di bug e lo sviluppo di funzionalità. Sebbene efficaci in modifiche semplici a file singolo, questi agenti spesso falliscono in scenari complessi a più file che richiedono ragionamento su orizzonti temporali lunghi. Comprendere dove e perché si verificano questi fallimenti è fondamentale per il raffinamento iterativo e l'affidabilità operativa.

I metodi esistenti per la diagnosi automatica dei fallimenti affrontano due sfide principali quando applicati a traiettorie di codifica a livello di repository:

1. Rumore Osservazionale: Le traiettorie di esecuzione sono cariche di informazioni irrilevanti, come strutture di programma ridondanti e contesti di codice verbosi (che spesso costituiscono oltre il 70% della traiettoria). Questo rumore interferisce con le capacità di ragionamento degli LLM.
2. Lunghezza Eccessiva: Le traiettorie per compiti complessi spesso si estendono da 20 a oltre 100 passaggi, con ogni passaggio contenente migliaia di caratteri. Gli LLM all'avanguardia faticano a mantenere la qualità del ragionamento quando elaborano contesti così lunghi, portando a un degrado significativo delle prestazioni diagnostiche (scendendo sotto il 40% di accuratezza su compiti a orizzonte lungo).

Gli approcci attuali consumano tipicamente passivamente intere traiettorie o segmenti fissi, trattando tutti i passaggi come ugualmente rilevanti, il che non affronta la natura specifica dei fallimenti agenziali in ambienti rumorosi e a orizzonte lungo.

Metodologia: TrajAudit

Per affrontare queste sfide, gli autori propongono TrajAudit, il primo framework di diagnosi automatica dei fallimenti specificamente progettato per le traiettorie di codifica a livello di repository. TrajAudit impiega un Agente Investigatore supportato da due moduli sinergici per esplorare attivamente e recuperare frammenti rilevanti da traiettorie lunghe e rumorose.

Componenti Principali

1. Modulo di Ragionamento sul Fallimento Preliminare:

   • Funzione: Genera una diagnosi preliminare prima che l'agente elabori l'intera traiettoria.
   • Meccanismo: Invita un LLM ad analizzare il codice di test fallito e la sua corrispondente descrizione dell'errore per identificare la regione più sospetta (ad esempio, fasi specifiche come "Esplorazione" o "Implementazione del Codice") responsabile del fallimento.
   • Obiettivo: Questa diagnosi preliminare funge da conoscenza preliminare, indirizzando il focus dell'Agente Investigatore verso i segmenti di fallimento più probabili e mitigando il degrado dovuto a contesti lunghi.

2. Modulo di Folding della Saliency Semantica:

   • Funzione: Comprime selettivamente le osservazioni della traiettoria per ridurre il rumore.
   • Meccanismo: Impiega il matching di pattern (ad esempio, rilevando intestazioni di patch di codice come --- a e +++ b) e il rilevamento di parole chiave (ad esempio, "eccezione", "fallimento", "errore") per identificare il contesto rilevante per il fallimento.
   • Azione: Le osservazioni contenenti questi segnali vengono preservate. Le osservazioni irrilevanti (ad esempio, log verbosi di creazione di file, alberi di directory) vengono "piegate" in un segnaposto di un singolo token, rimuovendo efficacemente il rumore pur mantenendo la capacità di recuperare l'intero contenuto su richiesta.

3. Agente Investigatore:

   • Funzione: Agisce come hub centrale per la diagnosi.
   • Meccanismo: Riceve la diagnosi preliminare e la traiettoria piegata. Valuta dinamicamente se il contesto corrente è sufficiente per la localizzazione. In caso contrario, invoca iterativamente le API per recuperare l'intero contenuto di specifiche osservazioni piegate su richiesta.
   • Strategia: Questo abilita un approccio diagnostico dall'alto verso il basso, iniziando con una panoramica di alto livello e approfondendo selettivamente i dettagli solo quando necessario, garantendo che le informazioni critiche siano preservate mentre si minimizza il rumore.

Contributi Chiave

Il documento introduce tre contributi principali:

1. Framework: TrajAudit, un framework automatizzato che localizza il "primo passo decisivo di errore" (il primo passaggio in cui un'azione errata porta al fallimento del compito) e fornisce giustificazioni per la diagnosi delle traiettorie di codifica agenziali.
2. Benchmark (RootSE): Il primo benchmark dedicato alla valutazione della diagnosi dei fallimenti nella programmazione agenziale.
   • Scala: Comprende 93 istanze complesse di fallimento tratte da compiti reali di manutenzione software (SWE-bench e SWE-bench Pro).
   • Complessità: Contiene oltre 4.500 passaggi di esecuzione e circa 27 milioni di caratteri, rappresentando il benchmark di diagnosi di traiettorie più complesso finora.
   • Annotazione: Include etichette ground-truth per il primo passo decisivo di errore e giustificazioni testuali, curate da esperti con un accordo inter-valutatore sostanziale (Kappa di Cohen = 0,78).
3. Valutazione: Una valutazione completa di TrajAudit rispetto a baseline esistenti su RootSE, che dimostra miglioramenti significativi nell'accuratezza di localizzazione e nell'efficienza dei token.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark RootSE utilizzando vari LLM di base (Claude-Sonnet, GPT-5.2, DeepSeek-R1) e confrontati con baseline tra cui Attribuzione Casuale, Tutto-in-Un-Volta, Passo-passo e Ricerca Binaria.

• Accuratezza di Localizzazione: TrajAudit ha superato la baseline più forte (Tutto-in-Un-Volta) di 24,4 punti percentuali nell'Accuratezza Esatta a Livello di Passo nella configurazione senza riferimento (50,9% contro 26,9%). Il divario di prestazioni si è ampliato significativamente all'aumentare della lunghezza della traiettoria, con TrajAudit che mostra un divario di accuratezza superiore al 70% rispetto alle baseline su traiettorie superiori a 80 passaggi.
• Efficienza dei Token: TrajAudit ha dimostrato un'efficienza superiore, riducendo il consumo di token di almeno 18% rispetto alla baseline più efficiente (Tutto-in-Un-Volta) e di oltre 1200% rispetto all'approccio Passo-passo.
• Qualità della Giustificazione: TrajAudit ha raggiunto la più alta Accuratezza delle Giustificazioni (71,0% totale), superando significativamente le baseline, in particolare su traiettorie più lunghe.
• Studio di Ablazione: La rimozione del Modulo di Folding della Saliency Semantica ha causato il calo più significativo di accuratezza (11,4%), evidenziando il suo ruolo critico nella riduzione del rumore. Anche la rimozione del Ragionamento sul Fallimento Preliminare ha ridotto l'accuratezza (3,5–3,9%), confermando il valore della guida preliminare.

Significato e Affermazioni

Il documento afferma che TrajAudit fornisce una risorsa fondamentale per la comunità per affrontare la gestione dei fallimenti nell'ingegneria del software agenziale. Introducendo un framework che filtra attivamente il rumore e sfrutta il ragionamento preliminare, supera i limiti dell'elaborazione passiva a contesto lungo. Gli autori posizionano RootSE come un passo necessario avanti, sostenendo che i benchmark esistenti (come Who&When) non riescono a catturare la complessità e la lunghezza dei compiti reali a livello di repository, oscurando così i limiti dei metodi di diagnosi attuali.

Il lavoro sottolinea che una diagnosi efficace dei fallimenti nei sistemi agenziali richiede di andare oltre la semplice analisi delle traiettorie per passare a un'indagine attiva e consapevole del rumore, una capacità che TrajAudit dimostra attraverso la sua superiore accuratezza ed efficienza su fallimenti complessi di manutenzione software nel mondo reale.