Sintesi Tecnica: Dal Question Answering al Completamento di Task: Un Survey sui Sistemi Agent e sulla Progettazione di Harness

1. Definizione del Problema

Il campo degli agenti basati su Large Language Model (LLM) si è spostato dal passivo question answering (QA) al completamento attivo di task multi-step. Mentre i modelli di frontiera hanno raggiunto la saturazione sui benchmark statici (es. MMLU, GPQA), essi mostrano significativi gap di affidabilità nei task agentici interattivi e a lungo orizzonte (es. SWE-bench, WebArena). Il problema centrale affrontato da questo survey è l'identificazione della fonte dei colli di bottiglia nelle prestazioni dei sistemi agentici. Gli autori sostengono che il collo di bottiglia non risieda più esclusivamente nella capacità di ragionamento del modello di base, ma risieda sempre più nell'execution harness (l'infrastruttura di esecuzione): il runtime che media l'interazione tra il modello e l'ambiente. Il paper postula che la qualità dell'agente (successo, efficienza, sicurezza, generalizzazione) sia una proprietà emergente dell'accoppiamento tra il modello e il suo harness, piuttosto che una funzione del solo modello.

2. Metodologia e Framework

Il survey utilizza una prospettiva modello-harness per analizzare l'evoluzione dell'ingegneria degli agenti. Non propone un nuovo algoritmo, ma sintetizza la letteratura esistente, i benchmark e i report industriali attraverso un framework concettuale specifico:

• Visione Funzionale vs. Implementativa: Il paper distingue tra la definizione funzionale di un agente (un sistema a ciclo chiuso guidato da obiettivi che esegue percezione, ragionamento, azione e adattamento) e la visione implementativa (un LLM accoppiato con un execution harness).
• Decomposizione Formale: L'execution harness ($H$) è formalizzato come una tupla di sei responsabilità di runtime accoppiate:
  1. Interfaccia di Osservazione ($I_{obs}$): Trasformare i segnali grezzi dell'ambiente (log, DOM, diff) in osservazioni utilizzabili dal modello.
  2. Gestore del Contesto ($C$): Curare, comprimere e aggiornare le informazioni che entrano nella finestra di contesto del modello.
  3. Ciclo di Controllo ($L$): Orchestrare il ciclo osserva-ragiona-agisci-feedback, inclusi lo scheduling dei passi, la delega e i criteri di arresto.
  4. Interfaccia di Azione ($I_{act}$): Mappare gli output del modello in operazioni eseguibili (API, comandi shell, tool call).
  5. Store di Stato e Artefatti ($S$): Persistere lo stato di esecuzione, i piani, i checkpoint e gli artefatti generati oltre la finestra di contesto attiva.
  6. Verifica e Governance ($V$): Verificare gli esiti, imporre vincoli di sicurezza, gestire i permessi e gestire il recupero/rollback.
• Analisi Evolutiva: La letteratura è organizzata in quattro paradigmi sequenziali di ingegneria degli agenti, analizzando come la leva dominante delle prestazioni si sia spostata attraverso le fasi:
  1. Prompt Engineering: Ottimizzare le istruzioni a turno singolo (affrontando il problema dell' "espressione").
  2. Workflow e Context Engineering: Curare il ciclo di vita delle informazioni e le definizioni dei tool (affrontando il problema dell' "informazione").
  3. Harness Engineering: Progettare l'infrastruttura di runtime per l'esecuzione guidata dal feedback, la persistenza dello stato e il recupero dagli errori (affrontando il problema dell' "esecuzione").
  4. Agent-Native Training e Co-Evoluzione: Internalizzare i comportamenti agentici (pianificazione, verifica) nei parametri del modello ed evolvere congiuntamente la coppia modello-harness.

3. Contributi Chiave

Il survey apporta tre distinzioni primarie rispetto al lavoro precedente:

1. Sintesi Basata sull'Evoluzione: Inve di una tassonomia statica dei componenti, traccia la migrazione dei colli di bottiglia ingegneristici dall'ottimizzazione dei prompt alla progettazione di sistemi di runtime e alla futura co-evoluzione.
2. Prospettiva Centrata sull'Harness: Tratta l'execution harness come un oggetto tecnico di primo ordine, scomponendolo nei sei componenti di runtime sopra elencati. Sostiene che il design dell'harness determini l'affidabilità e l'efficienza anche quando il modello sottostante è fisso.
3. Integrazione di Evidenze Empiriche: Collega i benchmark accademici con le pratiche industriali, utilizzando dati empirici per dimostrare come le scelte di design del runtime (es. shaping delle osservazioni, gestione del contesto) impattino direttamente sulle prestazioni dell'agente.

Contributi Specifici:

• Limiti dello Scaling Model-Centric: Il paper analizza come lo scaling del modello porti a rendimenti decrescenti nei task agentici a causa dei confini tra risorse e prestazioni e della saturazione delle misurazioni sui benchmark statici.
• Mappatura Task-Harness: Mappa le proprietà del task (orizzonte, tipo di ambiente, livello di autonomia) su configurazioni specifiche dell'harness. Ad esempio, i task di ingegneria del software mettono sotto stress la Verifica, mentre i task web/GUI mettono sotto stress le interfacce di Osservazione e Azione.
• Analisi dei Benchmark: Il survey fornisce un'analisi empirica dettagliata di SWE-bench, Terminal-Bench e WebArena, dimostrando che:
  • Lo stesso modello di backbone può raggiungere differenze di accuratezza a doppia cifra a seconda dell'harness utilizzato.
  • Scaffolding minimi (es. mini-SWE-agent) possono talvolta eguagliare o avvicinarsi alle prestazioni di runtime completi e complessi se il design dell'interfaccia è ottimale.
  • I punteggi riportati dai vendor superano spesso i risultati open-source a causa di ottimizzazioni dell'harness proprietario, evidenziando l'importanza dello "scaffold".

4. Risultati e Conclusioni

• Impatto dell'Harness: Le evidenze empiriche da SWE-bench Verified mostrano che, per un modello fisso (es. Claude 3.5 Sonnet), i tassi di risoluzione variano da circa il 33% al 53% a seconda dell'harness. Allo stesso modo, su Terminal-Bench 2.0, lo stesso modello (es. GPT-5.3-Codex) varia dal 64,7% al 78,4% tra diversi harness.
• Migrazione dei Colli di Bottiglia: Man mano che i task diventano più complessi (passando da L2 a breve orizzonte a L4 aperti), il collo di bottiglia si sposta dal ragionamento del modello alla capacità dell'harness di gestire lo stato, verificare gli esiti e recuperare dagli errori.
• Costo ed Efficienza: Una maggiore accuratezza è spesso correlata a costi di risorse più elevati (uso di token, latenza, timeout). Il paper nota che il "successo" è condizionato dalla configurazione del runtime, inclusi i budget di retry e le policy del contesto.
• Multi-Modello e Harness Apprendibili: Le tendenze recenti mostrano uno spostamento verso runtime composizionali (instradamento di diversi modelli per pianificazione, coding e verifica) e harness apprendibili dove le policy di runtime sono ottimizzate come artefatti.

5. Significato e Rivendicazioni

Il paper sostiene che il campo si sia evoluto oltre il "prompt craft" per diventare lo studio di sistemi completi. La sua importanza risiede nel riformulare lo sviluppo degli agenti:

• La Qualità dell'Agente è Emergente: Successo, efficienza e sicurezza non sono inerenti al modello, ma emergono dall'interazione tra la capacità del modello, l'infrastruttura di runtime, la struttura del task e il design della valutazione.
• Necessità di Valutazione Consapevole del Valore: Gli autori invocano un passaggio dai leaderboard centrati sul punteggio a una valutazione consapevole del valore (value-aware evaluation), che ottimizzi congiuntamente successo del task, costo, latenza, sicurezza e qualità del processo. Propongono una funzione obiettivo formale che bilanci l'utilità rispetto ai vincoli di costo, latenza e rischio.
• Direzione Futura: Il survey identifica la strada verso l'Agent-Native Training, dove i comportamenti di verifica e recupero vengono interiorizzati nei parametri del modello, e la Co-Evoluzione, dove il modello e l'harness vengono aggiornati congiuntamente a partire dalle tracce di esecuzione. Tuttavia, nota con modestia che il confine tra design del modello e design del sistema è ancora in fase di rinegoziazione, e che l'affidabilità in contesti realistici rimane al di sotto delle necessità di deployment.

In conclusione, il survey sostiene che comprendere l'execution harness sia ora la sfida centrale nell'ingegneria degli agenti, poiché esso governa il modo in cui le capacità del modello vengono tradotte in un completamento di task affidabile e a lungo orizzonte.