Sintesi Tecnica: Dal Laboratorio alle Applicazioni Reali: Valutazione del Ragionamento Agente sul Codice a Livello di Repository

Enunciato del Problema

Mentre i Modelli Linguistici di Grande Dimensione (LLM) evolvono in agenti software autonomi, la competenza fondamentale richiesta è passata dall'esecuzione di ragionamenti localizzati all'interno di frammenti di codice isolati al mantenimento della coerenza logica attraverso estesi sistemi di file interdipendenti. Gli autori definiscono questa capacità come Ragionamento a Livello di Repository.

I metodi di valutazione attuali soffrono di un divario critico:

1. Benchmark Isolati: Dataset come CRUXEval e REval operano in "ambienti di laboratorio" utilizzando frammenti isolati, privi delle dipendenze tra file e dei contesti architetturali complessi tipici del software reale.
2. Valutazioni Black-Box: Framework come SWE-bench valutano gli agenti in ambienti di repository reali ma funzionano come scatole nere, verificando solo se un problema è stato risolto senza fornire insight sul perché un agente fallisce.

Questa mancanza di diagnosi granulare oscura i colli di bottiglia cognitivi specifici che impediscono agli agenti di scalare verso compiti di ingegneria del software reali.

Metodologia: RepoReason

Per colmare queste lacune, gli autori introducono RepoReason, un benchmark diagnostico white-box incentrato sulla Verifica Abductiva delle Asserzioni. La pipeline di costruzione è progettata come un sistema di difesa a cinque fasi per garantire che i compiti siano logicamente autentici, resistenti alla contaminazione dei dati e privi di superficialità.

1. Filosofia di Progettazione: Le Asserzioni come Ancore Semantiche

A differenza della tradizionale previsione Input/Output o della query di tracce grezze (che permettono l'apprendimento tramite scorciatoie tramite analisi statica), RepoReason utilizza le asserzioni dei test unitari come ancore semantiche.

• Ragionamento Abductivo: Il compito è formulato come "Data la complessa storia di esecuzione, qual è lo stato attuale del sistema?". Il modello deve dedurre un valore deterministico per soddisfare un'asserzione mascherata (es. assert len(cache) == <mask>).
• Disaccoppiamento: Questo approccio separa il ragionamento logico fondamentale dal rumore sintattico (es. errori di formattazione, allucinazioni API), garantendo che i fallimenti riflettano carenze genuine di ragionamento.

2. Framework di Mutazione Guidata dall'Esecuzione (Anti-Memorizzazione)

Per impedire ai modelli di fare affidamento sui dati di pre-addestramento (memorizzazione mnemonica) o su correlazioni spurie, gli autori implementano un meccanismo di Mutazione Guidata dall'Esecuzione:

• Oracolo Semantico: L'ambiente di esecuzione del codice funge da Oracolo Semantico.
• Mutazione: Un LLM "insegnante" esegue mutazioni unificate visive e logiche (rinominazione di variabili, modifica di costanti, ristrutturazione del codice) preservando rigorosamente la sequenza originale delle chiamate API per mantenere invariata la complessità del ragionamento.
• Rigenerazione della Verità Fondamentale: Il codice mutato viene eseguito per catturare i valori reali di runtime. Questi valori vengono utilizzati per ricostruire asserzioni che corrispondono allo stile del codicebase originale (es. preservando l'uso di is rispetto a ==).
• Validazione: Un gate rigoroso garantisce l'esecutibilità, la validità dell'asserzione e la preservazione delle API.

3. Filtro Strutturale e Protocollo di Valore Deterministico

• Filtraggio Basato su Tracce: Per eliminare la superficialità logica, il sistema cattura le tracce di runtime utilizzando sys.settrace(). Un sistema di punteggio ponderato dà priorità all'intensità computazionale (conteggio delle chiamate), alla profondità di esecuzione (profondità dello stack) e alle dipendenze tra moduli. Vengono conservati solo i compiti ad alta complessità (Punteggio ≥ 0.30).
• Protocollo di Valore Deterministico: Per garantire la riproducibilità, il protocollo filtra i valori non deterministici (es. timestamp, indirizzi di memoria casuali) e impone che i valori mascherati rappresentino stati concreti di runtime (letterali, costanti globali o costruttori risolvibili tramite parametri).

4. Framework Diagnostico Cognitivo

Il benchmark quantifica la complessità del ragionamento utilizzando tre metriche ortogonali derivate dallo slicing dinamico del programma:

1. Carico di Lettura (ESV - Volume Tagliato Effettivo): Misura il volume di codice sorgente causalmente rilevante richiesto. Un ESV elevato indica Sovraccarico di Contesto.
2. Profondità di Simulazione (MCL - Lunghezza della Catena di Mutazione): Misura il numero di passaggi di aggiornamento dello stato dinamico. Un MCL elevato indica Carenze nel Tracciamento dello Stato.
3. Larghezza di Integrazione (DFI - Fan-in delle Dipendenze): Misura il numero di input logici a monte indipendenti che determinano il valore dell'asserzione. Un DFI elevato indica Carenze di Aggregazione.

Risultati Sperimentali

Gli autori hanno valutato modelli all'avanguardia (inclusi Claude-Sonnet-4.5, DeepSeek-v3.1-Terminus, GPT-5.2, Kimi-K2 e Qwen3-Coder) su sette repository Python diversificati (che vanno da ~1.2k a 776k righe di codice).

Risultati Chiave

• Degrado delle Prestazioni: Tutti i modelli hanno mostrato un chiaro declino dell'accuratezza all'aumentare della difficoltà del compito (Facile → Difficile).
• La Carenza di Aggregazione: La scoperta più significativa è una prevalente Carenza di Aggregazione. All'aumentare della Larghezza di Integrazione (DFI), l'accuratezza crolla bruscamente. Quando il DFI supera le 20 fonti a monte indipendenti, la maggior parte dei modelli (tranne Claude) scende sotto il 40% di accuratezza.
• Effetti di Barriera:
  • Lettura: Un netto declino delle prestazioni si verifica quando il Volume Tagliato Effettivo (ESV) supera le 600 righe di codice.
  • Simulazione: Una significativa perdita di coerenza si verifica oltre i 100 passaggi di esecuzione (MCL).
• Specifiche dei Modelli:
  • Claude-Sonnet-4.5 ha mantenuto la più alta accuratezza a tutti i livelli, ma ha mostrato comunque fragilità nell'integrazione multi-sorgente.
  • DeepSeek-v3.1 ha dimostrato l'architettura più equilibrata, mostrando un'eccezionale robustezza contro alti valori di DFI.
  • GPT-5.2 è stato il più vulnerabile in tutte le dimensioni.
• Correlazione Parziale: Anche controllando per il carico di lettura (ESV) e la profondità di simulazione (MCL), il DFI è rimasto l'unica metrica con una correlazione negativa statisticamente significativa con l'accuratezza, confermandolo come il principale collo di bottiglia cognitivo.

Contributi

Il paper rivendica quattro contributi principali:

1. Dalla Predizione alla Verifica Abductiva: Pionierismo di un paradigma a livello di repository che sposta la previsione diretta dell'esito alla verifica di asserzioni mascherate, disaccoppiando l'intelligenza architetturale dal rumore sintattico.
2. Il Framework dell'Oracolo Semantico: Risoluzione del "Dilemma Ricchezza-Contaminazione" tramite Mutazione Guidata dall'Esecuzione, garantendo che i compiti siano logicamente autentici ma non memorizzati.
3. Strumento Diagnostico White-Box: Introduzione di un sistema diagnostico granulare (ESV, MCL, DFI) che mappa i fallimenti del ragionamento su specifici colli di bottiglia cognitivi (sovraccarico di contesto, tracciamento dello stato, aggregazione).
4. Svelamento Empirico delle Carenze di Aggregazione: Fornitura della prima analisi quantitativa del ragionamento agente su massicce codebase, identificando la Larghezza di Integrazione (DFI) come la barriera primaria per gli agenti di prossima generazione.

Significato e Limitazioni

Significato:
Il paper sostiene che la strada per ottimizzare la prossima generazione di ingegneria del software agente richiede di andare oltre il ragionamento locale. I risultati suggeriscono che la ricerca futura deve dare priorità alla sintesi di informazioni ad alta ampiezza e alla coerenza dello stato a catena lunga per superare le carenze di aggregazione identificate. L'approccio diagnostico white-box offre una roadmap per individuare fallimenti cognitivi specifici, piuttosto che affidarsi a metriche di passaggio/fallimento end-to-end.

Limitazioni:
Gli autori riconoscono diversi vincoli:

• Ambito Linguistico: Attualmente limitato al Python, sebbene l'architettura sia progettata per essere portatile.
• Profondità Logica: La profondità del ragionamento è parzialmente limitata dalla complessità delle suite di test originali del repository, sebbene il motore di mutazione espanda questa diversità.
• Profondità della Traccia: Viene utilizzata una profondità massima di chiamate di 3 per il calcolo delle metriche per ottimizzare il rapporto segnale/rumore, filtrando le funzioni infrastrutturali di basso livello.
• Coinvolgimento degli LLM: Sebbene gli LLM siano utilizzati nelle fasi di mutazione e risoluzione delle variabili, i valori di verità fondamentale sono derivati strettamente dall'esecuzione concreta del codice, non dalla generazione del modello.