💻 computer science

From Failed Trajectories to Reliable LLM Agents: Diagnosing and Repairing Harness Flaws

Questo articolo introduce HarnessFix, un framework guidato dalle tracce che diagnostica i fallimenti degli agenti analizzando le tracce di esecuzione e il codice harness per generare patch mirate e validate che migliorano significativamente l'affidabilità degli agenti LLM attraverso molteplici benchmark.

Autori originali: Mengzhuo Chen, Junjie Wang, Zhe Liu, Yawen Wang, Qing Wang

Pubblicato 2026-06-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mengzhuo Chen, Junjie Wang, Zhe Liu, Yawen Wang, Qing Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente brillante ma talvolta confuso (l'Agente LLM) che cerca di risolvere enigmi complessi, come riparare un programma informatico guasto o pianificare un viaggio. Questo assistente non lavora da solo; lavora all'interno di una "stanza di controllo" costruita dagli ingegneri. Questa stanza di controllo è chiamata Harness (Imbracatura).

L'Harness è l'insieme di regole, strumenti e controlli di sicurezza che dicono all'assistente:

Quali strumenti può usare (come un cacciavite o un motore di ricerca).
Quali informazioni può vedere (come una mappa o un manuale).
Come riferire i propri progressi.
Quando fermarsi e dire: "Ho finito".

Il Problema: La "Scatola Nera" del Fallimento

A volte l'assistente fallisce. In passato, quando le cose andavano male, gli ingegneri cercavano di risolvere il problema in due modi:

Ritoccando le istruzioni dell'Assistente: "Ehi, cerca di essere più attento!" (Questo è come dire a un conducente di "guidare meglio" senza riparare i freni rotti).
Andando a tentativi: Guardando il risultato finale e sperando che un cambiamento casuale aiuti.

Il problema è che questi metodi spesso mancano il punto reale. Il fallimento potrebbe non essere colpa dell'assistente; potrebbe essere che l'Harness ha dato all'assistente lo strumento sbagliato, ha nascosto un messaggio di errore cruciale o ha permesso all'assistente di arrendersi prima di finire il lavoro. Poiché le azioni dell'assistente avvengono in una catena di eventi lunga e disordinata, è difficile individuare esattamente dove si sia rotto il controllo.

La Soluzione: HARNESSFIX (Il Detective)

Gli autori di questo articolo hanno creato un nuovo sistema chiamato HARNESSFIX. Pensatelo come un detective forense per la stanza di controllo. Invece di tirare a indovinare, investiga sulla scena del crimine (il tentativo fallito) passo dopo passo per trovare l'esatta parte rotta dell'Harness.

Ecco come funziona HARNESSFIX, usando un'analogia semplice:

1. Il "Traduttore" (HTIR)

Per prima cosa, il detective prende il registro disordinato e confuso di ciò che è accaduto (la "traccia") e il codice della stanza di controllo e li traduce in una mappa pulita e organizzata chiamata HTIR.

Analogia: Immaginate una scena del crimine caotica con indizi sparsi. Il detective li organizza in una linea temporale chiara: "Alle 10:00, l'agente ha chiesto uno strumento. Alle 10:01, lo strumento ha restituito un errore. Alle 10:02, l'agente ha ignorato l'errore". Questa mappa collega le azioni dell'agente direttamente alle regole che le hanno governate.

2. La "Diagnosi" (Trovare il Colpevole)

Successivamente, il detective osserva la mappa per trovare esattamente dove si è interrotta la catena.

Analogia: Il detective si chiede: "L'agente è fallito perché non conosceva la password? O perché la porta è stata bloccata dal sistema di sicurezza (l'Harness)?"
HARNESSFIX identifica se il problema risiedeva nell'Interfaccia degli Strumenti (istruzioni errate), nel Ciclo di Vita (lasciare che l'agente si arrendesse troppo presto) o nell'Osservabilità (nascondere i messaggi di errore). Crea un "Rapporto sui Difetti" specifico per i problemi ricorrenti.

3. L "Officina di Riparazione" (Riparazioni Mirate)

Una volta identificato il difetto, HARNESSFIX non permette a chiunque di riscrivere l'intera stanza di controllo. Questo sarebbe pericoloso e potrebbe rompere altre cose. Inveve, utilizza un insieme di Operatori di Riparazione.

Analogia: Pensate a questi come a strumenti specifici in un kit da meccanico. Se il problema è un bullone allentato, il meccanico usa una chiave inglese. Se il problema è una gomma a terra, usa un cric. HARNESSFIX usa solo la "chiave inglese" specifica necessaria per quel particolare difetto. Scrive una patch piccola e precisa per riparare solo quella parte rotta, assicurandosi di non rompere accidentalmente il motore.

4. L' "Ispettore della Sicurezza" (Validazione)

Prima che la nuova patch venga installata, un ispettore della sicurezza la controlla.

Analogia: L'ispettore pone due domande:
1. "Questa correzione ha risolto il problema specifico che abbiamo trovato?"
2. "Questa correzione ha accidentalmente rotto qualcos'altro che funzionava bene?"
Se la risposta alla seconda domanda è "Sì", la patch viene rifiutata. Questo evita che il sistema peggiori nel tentativo di migliorare.

Cosa hanno scoperto?

I ricercatori hanno testato questo sistema di detective su quattro diversi tipi di compiti difficili (riparare software, usare righe di comando, fare ricerca e automatizzare applicazioni).

I Risultati: HARNESSFIX ha migliorato il tasso di successo degli agenti dal 15% al 50% rispetto alla configurazione originale.
Il Confronto: Ha performato meglio di:
- Esperti umani che progettavano manualmente le stanze di controllo.
- Altri sistemi di IA che cercavano di ripararsi da soli cambiando semplicemente le istruzioni o andando a tentativi.
La Scoperta: Hanno scoperto che molti fallimenti non erano dovuti al fatto che l'IA fosse "stupida", ma perché la "stanza di controllo" aveva difetti nascosti, come nascondere i messaggi di errore o lasciare che l'IA si arrendesse troppo presto. HARNESSFIX ha trovato questi difetti nascosti e li ha riparati.

In sintesi

HARNESSFIX è un sistema che tratta un tentativo fallito dell'IA come una scena del crimine. Non si limita a incolpare l'IA; investiga l'ambiente in cui l'IA stava lavorando, trova la regola o lo strumento specifico che si è rotto e applica una correzione precisa e sicura. Questo rende l'IA molto più affidabile senza dover riaddestrare il "cervello" dell'IA o tirare a indovinare cosa sia andato storto.

Sintesi Tecnica: Dalle traiettorie fallite agli agenti LLM affidabili: Diagnosi e riparazione dei difetti dell'harness

1. Definizione del problema

Gli agenti basati su LLM si affidano sempre più a harness (impalcature/infrastrutture di supporto)—infrastrutture di runtime che forniscono ambienti di esecuzione, interfacce per gli strumenti, gestione del contesto, orchestrazione del ciclo di vita, osservabilità, verifica e governance (riassunti dalla tassonomia ETCLOVG). Sebbene i metodi esistenti di auto-miglioramento degli agenti e di evoluzione automatica dell'harness tentino di migliorare le prestazioni attraverso la supervisione del runtime, l'ottimizzazione dei prompt o la ricerca di workflow, essi spesso falliscono nel diagnosticare efficacemente le cause profonde dei fallimenti.

Gli approcci attuali soffrono di tre limitazioni primarie:

Evidenza frammentata: L'evidenza del fallimento è dispersa in traiettorie di esecuzione eterogenee, ricche di linguaggio e non deterministiche, rendendo difficile una diagnosi precisa.
Gap di mappatura: Anche quando un fallimento viene localizzato all'interno di una traiettoria, mappare tale fallimento alla specifica implementazione statica dell'harness (codice sorgente, prompt, configurazioni) responsabile di esso è complesso, poiché il comportamento a runtime e gli artefatti statici sono spesso non esplicitamente allineati.
Modifiche non circoscritte: Senza una diagnosi causale mirata, i miglioramenti sono spesso ampi, indiretti o scarsamente circoscritti. Inoltre, modificare i meccanismi dell'harness per correggere un difetto rischia di introdurre regressioni altrove, una sfida esacerbata dalle dipendenze implicite nei sistemi agentici.

I metodi esistenti ottimizzano spesso in base ai risultati finali senza identificare dove nell'intera traiettoria risieda l'evidenza o quale livello dell'harness sia fallito, portando a correzioni superficiali che non affrontano i difetti strutturali sottostanti.

2. Metodologia: HARNESSFIX

Il paper propone HARNESSFIX, un framework guidato dalle tracce progettato per diagnosticare i fallimenti degli agenti e riparare gli harness attraverso una pipeline a quattro agenti. La filosofia centrale è quella di guidare la riparazione dell'harness partendo da diagnosi di fallimento granulari e fondate sulle tracce.

A. Rappresentazione Intermedia delle Tracce consapevole dell'Harness (HTIR)

Per affrontare l'eterogeneità delle tracce di esecuzione grezze, HARNESSFIX compila le tracce grezze e il codice dell'harness in una HTIR unificata. Questa rappresentazione normalizza l'evidenza frammentata e cattura:

Nodi (TraceSteps): Passaggi di esecuzione recuperabili (chiamate al modello, azioni degli strumenti, validazioni) con identificatori unici.
Attributi: Messaggi di richiesta/risposta, stato di esecuzione ed effetti sugli artefatti/stato (lettura/scrittura/ignoto).
Collegamenti (Links):
- Collegamenti temporali: Preservano l'ordine di esecuzione.
- Collegamenti di provenienza dell'input: Tracciano come una richiesta è stata costruita a partire dal contenuto precedente della traiettoria e dalla logica dell'harness (es. assemblaggio della memoria, costruzione del prompt).
- Collegamenti di flusso di controllo: Spiegano perché un passaggio è stato innescato dal controller dell'harness (es. retry, delega, terminazione).
Evidenza diagnostica locale al nodo: Una vista localizzata per ogni passaggio che combina provenienza dell'input, flusso di controllo ed effetti sugli artefatti.
Faccetta di responsabilità del livello dell'Harness: Mappa ogni passaggio al relativo livello ETCLOVG (Esecuzione, Strumentazione, Contesto, Ciclo di vita, Osservabilità, Verifica, Governance) in base all'evidenza allegata.

B. Diagnosi dei difetti dell'Harness

Un Agente di Diagnosi elabora la HTIR per produrre record di diagnosi strutturati:

Localizzazione del sintomo: Identifica il sintomo del fallimento dal risultato finale della valutazione.
Backtracking dell'evidenza: Utilizza i collegamenti temporali, di provenenza e di flusso di controllo per generare un set classificato di passaggi candidati responsabili.
Adjudicazione dei candidati: Ispeziona l'evidenza locale del nodo e i riferimenti al codice dell'harness per selezionare il passaggio (o i passaggi) responsabile finale.
Mappatura del livello: Assegna i livelli ETCLOVG implicati ai passaggi responsabili.
Consolidamento dei difetti: Raggruppa i record di diagnosi attraverso molteplici esecuzioni per identificare pattern di difetti ricorrenti, riassumendoli in Record di Difetto azionabili.

C. Riparazione Circoscritta

Per prevenire modifiche instabili e rotture architettoniche, HARNESSFIX impiega Operatori di Riparazione invece di un editing libero.

Mappatura: I record di difetto vengono mappati su specifici operatori di riparazione (es. "Restrizione dello schema dello strumento", "Protezione dei loop") distillati dai record di variazione delle versioni nei repository degli agenti.
Specifica di riparazione: L'operatore selezionato viene istanziato in una specifica legata al difetto che definisce:
- Target e Ambito: Artefatti concreti dell'harness da modificare.
- Vincoli di modifica: Risorse proibite (es. dati di benchmark, valutatori).
- Comportamento richiesto: Il comportamento specifico che la patch deve implementare.
- Validazione e Rischio: Criteri di accettazione, inclusa la riduzione del target del difetto e i limiti di regressione.

D. Validazione della Patch e Memoria dell'Harness

Un Agente di Validazione garantisce sicurezza ed efficacia:

Pre-validazione: Verifica la conformità del diff candidato alla specifica di riparazione e la sintassi di base.
Valutazione del set di validazione: Valuta la patch su un set di validazione tenuto separato per garantire che riduca l'occorrenza del difetto target ( $\Delta D_{target} \ge \delta_{min}$ ) senza introdurre regressioni inaccettabili ( $R_{new} \le r_{max}$ ).
Memoria dell'Harness: Registra gli esiti (accettati o rifiutati) per informare le iterazioni future, fornendo esempi per difetti simili o spiegando le ragioni del rifiuto.

3. Contributi Chiave

Framework HARNESSFIX: Un framework guidato dalle tracce e dalla diagnosi che collega esplicitamente l'evidenza del fallimento alla diagnosi consapevole dell'harness e ai cambiamenti circoscritti dell'harness, andando oltre l'evoluzione dei prompt basata solo sul risultato.
HTIR: Una rappresentazione delle tracce consapevole dell'harness che normalizza le traiettorie eterogenee degli agenti in strutture di evidenza a livello di passaggio, consentendo un'attribuzione e una pianificazione della riparazione precise.
Valutazione Empirica: Valutazione completa su quattro benchmark (SWE-Bench Verified, Terminal-Bench 2.0 Verified, GAIA, AppWorld) che dimostra guadagni significativi nelle prestazioni.
Analisi Sistematica: Un'analisi dettagliata delle riparazioni accettate che rivela pattern ricorrenti di difetti dell'harness attraverso i livelli ETCLOVG e i punti di stress specifici dei diversi setting di task.

4. Risultati Sperimentali

Gli autori hanno valutato HARNESSFIX su quattro benchmark, confrontandolo con gli harness iniziali ( $H_0$ ), harness progettati da umani e baseline di auto-evoluzione (GEPA, SCOPE, ReCreate).

Guadagni di Prestazione: HARNESSFIX ha migliorato le prestazioni sui test tenuti separati rispetto agli harness iniziali tra il 15,2% e il 50,0% attraverso i benchmark:
- SWE-Bench Verified: 45,0% $\to$ 57,0% (miglioramento relativo del 26,7%).
- Terminal-Bench 2.0 Verified: 17,6% $\to$ 26,5% (miglioramento relativo del 50,0%).
- GAIA: 43,3% $\to$ 61,7% (miglioramento relativo del 42,3%).
- AppWorld: 36,7% $\to$ 42,2% (miglioramento relativo del 15,2%).
Confronto con le Baseline: HARNESSFIX ha superato tutte le baseline di auto-evoluzione e i più forti harness progettati da umani su ogni benchmark. Ad esempio, su SWE-Bench, ha risolto 57 task rispetto ai 48 dell'harness umano più forte (Trae-Agent).
Studio di Ablazione: La rimozione di componenti chiave ha degradato significativamente le prestazioni:
- La riparazione basata solo su prompt non è riuscita a migliorare Terminal-Bench e ha prodotto guadagni minimi altrove, evidenziando l'insufficienza della sola guida "soft".
- Senza diagnosi basata sulle tracce, si sono ottenuti miglioramenti intermedi ma si è restati indietro rispetto al sistema completo, confermando la necessità di un'attribuzione precisa a livello di passaggio.
- Senza operatori di riparazione circoscritti, si sono verificate regressioni, dimostrando la necessità di vincolare le modifiche a specifici operatori.
- Senza l'accettazione consapevole delle regressioni, i punteggi finali sono diminuiti, provando che la validazione è critica per convertire i candidati utili in cambiamenti sicuri dell'harness.

5. Significato e Rivendicazioni

Il paper sostiene che la riparazione dell'harness sia una sfida distinta e critica rispetto all'ottimizzazione dei prompt. La significatività di HARNESSFIX risiede nella sua capacità di:

Colmare il Gap Runtime-Statico: Utilizzando HTIR, mappa efficacemente i fallimenti dinamici di esecuzione ai prodotti dell'implementazione statica dell'harness.
Permettere una Riparazione Mirata e Sicura: L'uso di operatori di riparazione circoscritti e validazione consapevole delle regressioni consente modifiche profonde ai meccanismi di runtime (interfacce degli strumenti, guardie del ciclo di vita, osservabilità) senza l'instabilità associata all'auto-editing ricorsivo.
Generalizzare tra i Domini: Il successo del framework in domini diversi (ingegneria del software, workflow del terminale, QA della ricerca e automazione delle applicazioni) suggerisce che la riparazione dell'harness basata sulle tracce sia un approccio generalizzabile per migliorare l'affidabilità degli agenti.
Rivelare Difetti Sistemici: L'analisi rivela che diversi domini di task mettono sotto stress diversi livelli dell'harness (es. AppWorld mette sotto stress Verifica e Ciclo di vita, mentre GAIA mette sotto stress l'Interfaccia dello Strumento e l'Osservabilità), suggerendo che l'ingegneria degli agenti richiede una calibrazione dell'harness specifica per il dominio piuttosto che un prompt engineering universale.

Gli autori concludono che, man mano che gli agenti affrontano compiti sempre più complessi, l'harness diventa un determinante primario dell'affidabilità del sistema e HARNESSFIX fornisce un metodo sistematico per diagnosticare e riparare questi difetti infrastrutturali.