Riepilogo Tecnico: Smettere di Confrontare Agenti LLM Senza Rivelare l'Infrastruttura di Esecuzione

1. Enunciato del Problema

Le attuali pratiche di valutazione per gli agenti di Modelli Linguistici di Grande Dimensione (LLM) su compiti a lungo orizzonte confondono sistematicamente la capacità del modello con le prestazioni dell'infrastruttura di esecuzione (execution harness). L'infrastruttura di esecuzione è il livello infrastrutturale responsabile della costruzione del contesto, della mediazione delle interazioni con gli strumenti, della verifica dell'output, dell'orchestrazione (logica di ripetizione/escalation) e dei criteri di arresto.

Le classifiche standard (ad esempio SWE-bench, Terminal-Bench, AgentBench) riportano un singolo punteggio per ogni coppia {modello, benchmark}, attribuendo implicitamente il risultato esclusivamente al modello. Questo documento sostiene che, per compiti a lungo orizzonte che coinvolgono modelli all'avanguardia comparabili, l'infrastruttura di esecuzione è spesso il vincolo vincolante sulle prestazioni. Di conseguenza, i protocolli di valutazione attuali attribuiscono erroneamente i guadagni a livello di infrastruttura a miglioramenti del modello, rendendo i confronti tra modelli inaffidabili e potenzialmente fuorvianti. La confusione nasce perché:

1. Evidenza Osservazionale: Mantenere fisso un modello cambiando solo l'infrastruttura di esecuzione può produrre spostamenti nelle prestazioni (ad esempio, 15 punti percentuali) che sovrastano i miglioramenti riportati del modello (tipicamente 2–4 punti).
2. Realtà Strutturale: Gli agenti operano come sistemi dinamici in ciclo chiuso dove l'infrastruttura di esecuzione agisce come controllore e l'LLM come politica stocastica. L'affidabilità a lungo orizzonte dipende dalle proprietà del controllore (stabilità, gestione della deriva del contesto, ritardo di controllo) piuttosto che dalla sola capacità grezza della politica.

2. Metodologia e Quadro Teorico

La Tesi del Vincolo Vincolante

Il documento formalizza la Tesi del Vincolo Vincolante: Nel regime dei compiti a lungo orizzonte con modelli all'avanguardia comparabili, la varianza nei punteggi dei benchmark indotta dall'infrastruttura di esecuzione ($HV$) è spesso comparabile o superiore alla varianza indotta dalla scelta del modello ($MV$).

La varianza totale delle prestazioni è scomposta come segue:
$$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interazione})}_{\text{Interazione}}$$
La tesi afferma che $HV$ e il termine di interazione dominano $MV$ nelle valutazioni attuali.

Formalizzazione Teorica del Controllo

Gli autori ripropongono l'esecuzione degli agenti da un semplice ciclo di inferenza a un sistema dinamico in ciclo chiuso:

• L'LLM ($\pi_\theta$): Una politica stocastica in ciclo aperto che riceve una proiezione del contesto $c(s_t)$ ma non ha accesso diretto allo stato completo $s_t$.
• L'Infrastruttura di Esecuzione ($C_H$): Il controllore che aggiorna lo stato, filtra le osservazioni e gestisce il ciclo di feedback.
• Grandezze di Affidabilità: L'infrastruttura di esecuzione determina tre grandezze strutturali critiche:
  1. Stabilità: Se il sistema compie progressi attesi non decrescenti verso l'obiettivo (misura simile a Lyapunov).
  2. Deriva del Contesto ($\delta_t$): Il tasso con cui le informazioni rilevanti per il compito vengono perse dalla finestra del contesto.
  3. Ritardo di Controllo ($\tau$): Il ritardo tra il rilevamento di un'anomalia e l'arrivo di un segnale correttivo alla politica.

Approccio Empirico

Il documento sostiene la tesi attraverso due linee di evidenza:

1. Dati Osservazionali: Analisi delle classifiche pubbliche (SWE-bench Pro, Terminal-Bench, HAL) che mostrano come le variazioni "solo impalcatura" (cambiare l'infrastruttura di esecuzione mantenendo fisso il modello) risultino in oscillazioni delle prestazioni a due cifre e inversioni di classifica.
2. Esperimento Fattoriale Controllato: Un esperimento su griglia 3x3 che varia tre modelli all'avanguardia (GPT-5.4, Kimi K2.6, GLM-5.1) contro tre configurazioni distinte di infrastruttura di esecuzione ($H_1$: Minimale/In ciclo aperto, $H_2$: Migliorata/Ciclo chiuso di base, $H_3$: Completa/Ciclo chiuso avanzato) su un sottoinsieme stratificato di SWE-bench Verified.

3. Risultati Chiave

Evidenza Osservazionale

• SWE-bench Pro: Sotto un'impalcatura standardizzata, i modelli principali variano di 4,9 punti. Tuttavia, fissando il modello (Claude Opus 4.5) e passando dall'impalcatura SEAL a Claude Code, il punteggio aumenta di 9,5 punti.
• Inversioni di Classifica: Aggiungere un singolo sub-agente di ricerca (WarpGrep) alla stessa infrastruttura ha invertito la classifica tra MiniMax 2.5 e Claude Opus 4.6.
• Divari tra Impalcature: Su SWE-bench Verified Mini, lo stesso modello (ad esempio Claude Sonnet 4.5) ha mostrato un divario di 34 punti tra diverse impalcature (SWE-Agent vs HAL Generalist).

Risultati dell'Esperimento Fattoriale Controllato

• Dominanza della Varianza: La varianza indotta dall'infrastruttura di esecuzione ($HV$) è stata 7,80 volte superiore alla varianza indotta dal modello ($MV$).
  • Media $HV$: 18,48 pp²
  • Media $MV$: 2,37 pp²
• Spostamenti delle Prestazioni: Cambiare l'infrastruttura di esecuzione ha spostato i punteggi di 8,5-13,0 punti percentuali per modelli fissi, mentre cambiare il modello all'interno di un'infrastruttura di esecuzione fissa ha spostato i punteggi di soli 2,5-5,0 punti.
• Instabilità della Classifica: 6 su 9 possibili confronti tra coppie di modelli e coppie di infrastrutture hanno portato a inversioni di classifica.
• Analisi dei Meccanismi:
  • I guadagni da $H_1 \to H_2$ sono stati guidati dalla riduzione del rumore di controllo (miglior formattazione, recupero, gestione degli errori).
  • I guadagni da $H_2 \to H_3$ sono stati guidati dalla chiusura del ciclo di verifica e recupero (autoverifica, rilevamento delle anomalie, rollback).

4. Quadro Proposto: Valutazione Consapevole dell'Infrastruttura

Il documento propone un nuovo regime di valutazione che richiede tre componenti:

1. Scheda dell'Infrastruttura (Disclosure Strutturata): Ogni sottomissione al benchmark deve includere una disclosure organizzata secondo la tassonomia ETCSOVG:

   • Esecuzione (runtime, sandboxing, timeout)
   • Tool (elenco, schema, contratti di errore)
   • Contesto (limite finestra, compressione, recupero, memoria)
   • Scheduling (ciclo, ripetizione, escalation, rollback)
   • Osservabilità (logging, tracce)
   • Verifica (parsing, autoverifica, rilevamento delle anomalie)
   • Governance (permessi, effetti collaterali)

2. Protocollo di Scomposizione della Varianza: Le valutazioni dovrebbero impiegare uno dei seguenti:

   • Protocollo a Infrastruttura Bloccata: Un'unica infrastruttura specificata applicata a tutti i modelli per una classifica pulita.
   • Protocollo Fattoriale: Variare sia modelli che infrastrutture per riportare $HV$, $MV$, termini di interazione e conteggi delle inversioni di classifica.

3. Metriche a Livello di Traiettoria: Per attribuire gli spostamenti delle prestazioni a specifici livelli dell'infrastruttura, il documento propone:

   • Tasso di Recupero (RR): Probabilità di tornare a uno stato che avanza il compito dopo un'anomalia entro $k$ passi (misura la Stabilità).
   • Ritenzione del Contesto: Frazione di file/vincoli rilevanti per il compito presenti nel contesto (misura la Deriva).
   • Ritardo di Controllo ($\tau$): Passi tra il rilevamento di un'anomalia e l'arrivo del segnale correttivo.

5. Significato e Affermazioni

Il documento afferma che i punteggi dei benchmark per agenti a lungo orizzonte non sono validi per il confronto tra modelli a meno che l'infrastruttura di esecuzione non sia rivelata.

• Accuratezza Scientifica: Le classifiche attuali misurano un misto di modello e infrastruttura, portando a un'attribuzione sistematica errata dei guadagni. Questo distorce gli incentivi alla ricerca, dirigendo gli investimenti verso il scaling del modello mentre si investe poco nell'ingegneria dell'infrastruttura, che è la fonte maggiore di varianza.
• Impatto Pratico: Le decisioni di deployment basate sulle classifiche attuali sono difettose perché non isolano il contributo del modello. Il "vincolo vincolante" è spesso l'infrastruttura, non i pesi del modello.
• Appello all'Azione: Il settore deve passare dal trattare l'infrastruttura come una variabile nascosta al trattarla come una condizione sperimentale primaria. Finché le specifiche dell'infrastruttura non saranno divulgate e la scomposizione della varianza non diventerà routine, i confronti sulle classifiche dovrebbero essere considerati incompleti.

Il documento rifiuta esplicitamente l'idea che "migliori modelli risolveranno questo problema", notando che, man mano che i modelli migliorano, le infrastrutture diventano più complesse (ad esempio, Claude Code che ridisegna componenti anziché rimuoverli) per gestire la capacità aumentata. La soluzione è la disclosure strutturale, non solo la standardizzazione o lo scaling.