Riepilogo Tecnico: Benchmarking del Residuo

Definizione del Problema

I benchmark a lungo termine per gli agenti basati su modelli linguistici dimostrano costantemente che i tassi di successo diminuiscono all'aumentare della lunghezza dei compiti. Tuttavia, l'articolo sostiene che un calo grezzo delle prestazioni end-to-end sia insufficiente per diagnosticare i meccanismi di fallimento sottostanti. Un minor tasso di successo in un compito lungo può essere semplicemente il risultato di un ordinario accumulo di errori (la probabilità statistica di fallimento che aumenta con il numero di fasi indipendenti) piuttosto che di un limite specifico del "lungo termine" come la degradazione del contesto, la contaminazione dello stato o il collasso della pianificazione.

Gli attuali benchmark spesso confondono tre distinte fonti di degradazione delle prestazioni:

1. Accumulo di Errori (Error Compounding): Più fasi creano più opportunità di fallimento, anche se le singole fasi non cambiano in difficoltà.
2. Lavoro Locale Più Difficile: I compiti più lunghi possono contenere intrinsecamente fasi più ambigue o specializzate.
3. Dipendenza dalla Storia/Stato: Il contesto accumulato, gli output degli strumenti o gli errori precedenti rendono i passaggi successivi più difficili (terminata come degradazione indotta dalla traiettoria o deterioramento del contesto).

Senza distinguere questi fattori, una curva di declino delle prestazioni non può identificare se l'agente fallisce perché il compito è lungo, perché le fasi sono difficili o perché la sua storia degrada attivamente le sue prestazioni future.

Metodologia

L'articolo propone un framework diagnostico centrato sul Residuo dell'Orizzonte ($\Gamma_H$), una metrica che confronta le prestazioni end-to-end reali con una previsione baseline derivata da valutazioni di brevi fasi corrispondenti.

1. Decomposizione e Checkpoint

La metodologia richiede una decomposizione pre-specificata di un compito lungo in fasi semantiche verificabili (ad es. "trova il bug", "aggiorna l'API") piuttosto che in conteggi arbitrari di turni.

• Checkpoint: L'agente distribuito (modello, prompt, strumenti, memoria) viene eseguito da checkpoint dichiarati. Un checkpoint include lo stato specifico dell'ambiente, la cronologia visibile, le informazioni rivelate e il budget locale.
• Probabilità Condizionali ($q_i$): Per ogni fase $i$, la probabilità di successo è misurata dato che tutte le fasi precedenti richieste sono state completate e l'agente è partito dal checkpoint dichiarato: $q_i = \Pr(S_i = 1 \mid S_{<i} = 1, I)$.

2. La Baseline Prodotto ($P_{expected}$)

Utilizzando la regola della catena, l'articolo costruisce una previsione baseline verificabile per il tasso di successo del compito completo moltiplicando le probabilità condizionali delle fasi:
$$P_{expected} = \prod_i q_i$$
Questa baseline assume che se l'agente può avere successo in ogni fase indipendentemente in condizioni corrispondenti, il successo del compito completo dovrebbe essere il prodotto di queste probabilità. L'articolo riconosce che questo è un "modello nullo" che potrebbe non tenere conto del recupero, dei percorsi di ramificazione o dei cambiamenti di stato, e suggerisce estensioni (ad es. simulatori di checkpoint) per compiti eterogenei.

3. Il Residuo dell'Orizzonte ($\Gamma_H$)

La metrica centrale è il log-rapporto tra il successo atteso (dalla baseline) e il successo osservato ($P_{observed}$) di un rollout naturale end-to-end:
$$\Gamma_H = \log \left( \frac{P_{expected}}{P_{observed}} \right)$$

• $\Gamma_H > 0$: Il rollout naturale performa peggio della previsione della breve fase corrispondente, indicando un disallineamento (potenziale degradazione indotta dalla traiettoria).
• $\Gamma_H \approx 0$: Il rollout naturale si allinea alla previsione, suggerendo che il declino delle prestazioni sia dovuto all'ordinario accumulo di errori.
• $\Gamma_H < 0$: Il rollout naturale performa meglio della previsione (ad es. a causa di meccanismi di feedback o recupero omessi nella baseline).

4. Annotazioni Strutturali

Per separare la struttura del compito dalla difficoltà locale, l'articolo raccomanda di riportare due annotazioni complementari:

• Esposizione del Lavoro ($N_{work}$): Il numero di fasi richieste, separatamente verificabili.
• Profondità di Dipendenza ($H_{dep}$): La profondità della catena di dipendenza più lunga richiesta.
  Ciò consente ai benchmark di distinguere tra compiti che sono "lunghi" a causa del volume (molti passaggi indipendenti) rispetto a compiti che sono "lunghi" a causa di una profonda dipendenza tra le fasi.

Contributi Chiave

1. Distinzione Diagnostica: L'articolo sostiene di trattare il declino delle prestazioni grezze come un risultato descrittivo del deployment e il Residuo dell'Orizzonte come un separato diagnostico dipendente dal protocollo. Afferma che una rivendicazione di "fallimento a lungo termine" richiede prove che il rollout completo differisca da una baseline costruita da brevi fasi corrispondenti.
2. Proposta di Baseline Verificabile: Propone una semplice baseline prodotto verificabile ($P_{expected}$) e delinea le estensioni (modelli condizionali, simulatori di checkpoint) per compiti con ramificazioni o recupero. Sottolinea che la baseline deve essere dichiarata prima di valutare il rollout naturale.
3. Agenda di Reporting e Intervento: L'articolo articola requisiti di reporting specifici (decomposizione, stati di checkpoint, budget) e un'agenda di intervento. Pone che il residuo non è una spiegazione causale, ma un segnale per dirigere esperimenti mirati (ad es. reset della storia, riparazione dello stato, compressione del contesto) per identificare il meccano specifico di fallimento.

Risultati ed Evidenze

L'articolo non presenta nuovi risultati sperimentali ma sintetizza la letteratura esistente per dimostrare la necessità di questo framework:

• SWE-Milestone vs. Esecuzione Continua: I milestone indipendenti mostrano spesso un successo >80%, mentre l'evoluzione continua sullo stesso codebase scende a circa il 38%. L'articolo nota che senza comporre i punteggi indipendenti in una catena controfattuale a livello di livello, questo divario è ambiguo.
• ChainSWE: Mostra un calo dall'accuratezza del 58,9% (stato precedente oracle-corretto) al 36,5% (stato precedente generato dall'agente), illustrando il valore della riparazione dello stato ma notando la mancanza di una previsione a livello di catena composta.
• SWE-Marathon: Mostra che la compattazione del contesto correla con il fallimento, ma senza interventi corrispondenti, non è chiaro se la compattazione causi il fallimento o segni semplicemente le traiettorie fallimentari.
• Illusion: Manipolazioni controllate della storia mostrano che gli errori nella storia precedente riducono l'accuratezza successiva, isolando il contenuto dalla lunghezza.

L'articolo esamina benchmark rappresentativi (SWE-EVO, NL2Repo-Bench, SWE-Chain, ecc.) e conclude nella Tabella 4 che nessun studio esistente implementa la sequenza completa: misurazione locale corrispondente, composizione dichiarata, rollout naturale, gestione della compatibilità dello stato, intervento mirato e analisi della sensibilità al protocollo.

Significato e Rivendicazioni

Il significato dell'articolo risiede nel trasformare "più lungo è più difficile" da un'osservazione descrittiva in un programma di ricerca verificabile.

• Deployment vs. Diagnosi: Chiarisce che i benchmark di deployment chiedono se un sistema ha successo, mentre i benchmark diagnostici chiedono perché fallisce. Il Residuo dell'Orizzonte colma questo divario quantificando il gap tra competenza locale e performance globale.
• Disciplina Causale: Gli autori affermano che il residuo non è una risposta causale. Un residuo positivo indica solo un disallineamento con la baseline scelta. Esso dirige i ricercatori verso ipotesi specifiche (ad es. "È il deterioramento del contesto?") che devono poi essere testate tramite interventi mirati.
• Falsificabilità: La posizione è falsificabile se:
  1. Il segno di $\Gamma_H$ è instabile attraverso protocolli ammissibili.
  2. I checkpoint corrispondenti non possono essere costruiti a costi gestibili.
  3. Il residuo non fornisce informazioni diagnostiche incrementali oltre ai confronti esistenti tra persistente e reset.

In definitiva, l'articolo sostiene che finché una curva in declino non è accompagnata da una previsione compositiva pre-specificata e dal relativo residuo, le rivendicazioni sui meccanismi a lungo termine rimangono prive di licenza. Il framework trasforma l'osservazione del fallimento in un'indagine strutturata su storia, stato, informazione e recupero.