Riepilogo Tecnico: TraceGraph – Paesaggi Decisionali Condivisi per la Diagnosi e il Miglioramento delle Traiettorie degli Agenti

1. Definizione del Problema

Gli attuali benchmark per agenti registrano sempre più traiettorie di interazione ricche e intercalate (pensieri, chiamate a strumenti, feedback dall'ambiente). Tuttavia, le pratiche di valutazione tipicamente collassano questi processi complessi in un singolo metrica scalare (ad esempio, tasso di successo/fallimento o punteggio di ricompensa). Sebbene tali punteggi classifichino i sistemi, essi oscurano la dinamica sottostante del processo: non riescono a rivelare come i modelli navigano gli spazi dei compiti, dove divergono nelle strategie, o se evitano le regioni di fallimento o se ne recuperano.

La sfida principale è la mancanza di un sistema di coordinate condiviso per confrontare le traiettorie tra diversi modelli. Gli stati degli agenti sono lunghi, ramificati e specifici del benchmark, mescolando scelte di strumenti, indizi dai file e prove parziali. Senza un allineamento, è difficile determinare se il Modello A abbia raggiunto uno stato analogo al Modello B, se abbia evitato la stessa regione di fallimento o se sia recuperato tramite una rotta differente. I metodi esistenti spesso ispezionano le singole traiettorie in isolamento o si affidano a punteggi aggregati che nascondono la diversità del processo.

2. Metodologia: Il Framework TraceGraph

TraceGraph è un framework basato su grafi che trasforma i rollout degli agenti raggruppati in un paesaggio decisionale condiviso. Opera in tre fasi, costruendo una mappa del campo di attività indipendente dal modello prima di analizzare i comportamenti specifici dei modelli.

Fase 1: Costruzione del Paesaggio Condiviso

Il framework ingerisce step di azione-osservazione da molteplici modelli e compiti.

• Codifica: Ogni step $i$ è codificato come un insieme sparso di chiavi osservabili $K_i$, inclusi tipi di strumenti/azioni, classi di comandi, pattern di osservazione (es. tracce di errore), indizi dai file e fasi temporali. Per i compiti di ricerca, vengono aggiunte chiavi specifiche per i domini URL e la novità delle query.
• Similarità e Costruzione del Grafo: La similarità a coppie viene calcolata utilizzando una sovrapposizione di Jaccard pesata con IDF sui set di chiavi. Le chiavi rare e informative (es. pattern specifici di traceback) pesano più di quelle generiche.
• Topologia: Un grafo mutual-$k$NN viene costruito su tutti i passi raggruppati. Questo grafo viene decomposto in Componenti Biconnesse (BCC) e punti di articolazione (gate).
  • Le BCC raggruppano step con densa similarità mutua, rappresentando stati macroscopici condivisi dell'agente.
  • I punti di articolazione segnano transizioni di strategia o di fase in cui un rollout può ramificarsi in continuazioni qualitativamente diverse.
• Indipendenza dal Modello: L'identità del modello è esclusa dalla firma e dalla costruzione del grafo. Il paesaggio è definito esclusivamente dallo spazio degli stati osservabili.

Fase 2: Overlay Informati dal Risultato

Una volta fissata la struttura del grafo, il framework sovrappone i dati relativi ai risultati per identificare "nuclei produttivi" e "regioni trappola".

• Diffusione della Ricompensa: Per ogni blocco BCC, viene assegnato un valore di ricompensa smussato tramite Laplace basato sugli esiti terminali dei rollout che visitano quel blocco. Tale ricompensa viene poi diffusa attraverso il grafo dei quozienti dei blocchi per smussare il rumore locale.
• Definizione delle Regioni:
  • Nucleo Produttivo ($C_t$): Quantili positivi elevati del campo di ricompensa diffuso.
  • Regioni Trappola ($B_t$): Quantili negativi bassi del campo di ricompensa diffuso.
• Questi overlay sono descrittivi, localizzando dove si concentra il traffico ad alto e basso esito, piuttosto che predire gli esiti per esecuzioni non viste.

Fase 3: Riassunto degli Eventi di Rollout

Ogide traiettoria di un modello viene riassunta da tre eventi discreti definiti sugli overlay di nucleo/trappola:

1. Accesso ($A_r$): Il rollout ha intersecato il nucleo produttivo?
2. Esposizione alla Trappola ($E_r$): Il rollout ha intersecato una regione trappola?
3. Riparazione ($R_r$): Il rollout ha visitato una trappola e successivamente ha raggiunto un nucleo?

Analisi: Profili di Offerta e Domanda

TraceGraph genera due profili descrittivi:

• Offerta del Modello: La media del compito di un modello rispetto alla media del modello per quanto riguarda gli eventi, rivelando lo "stile di navigazione" di un modello (es. alto accesso/alta riparazione vs. conservativo/superficiale).
• Domanda del Benchmark: Il contrasto pesato sulla ricompensa tra il traffico ad alto e basso esito. Questo rivela cosa un particolare benchmark premia (es. l'evitamento delle trappole vs. il recupero).

3. Contributi Chiave

1. Framework TraceGraph: Un metodo per costruire grafi di attività indipendenti dal modello partendo da rollout raggruppati e sovrapporre regioni informate dai risultati per creare un paesaggio decisionale condiviso.
2. Profili di Processo Compatti: Una dimostrazione che, attraverso cinque split di benchmark (7.329 record, 427 compiti, 5 modelli), gli eventi di Accesso, Esposizione alla Trappola e Riparazione separano stili di navigazione dei modelli e domande dei benchmark che i punteggi aggregati collassano.
3. Pipeline di Recupero Guidata da TraceGraph: Un'applicazione pratica su SWE-bench dove le regioni trappola derivate dal grafo fungono da trigger a runtime. Quando un agente live entra in una regione trappola storica, viene attivata una politica di recupero leggera.

4. Risultati Sperimentali

Approfondimenti Diagnostici

• Diversità dei Modelli: I punteggi aggregati spesso nascondono differenze di processo. Ad esempio, su un paesaggio condiviso, DeepSeek-V3.2 mostra uno stile "alto accesso, alta riparazione", mentre Qwen3-Next mostra uno stile "basso accesso, bassa riparazione" (navigazione conservativa e superficiale).
• Eterogeneità del Benchmark: I benchmark impongono diverse domande di processo:
  • $\tau^2$-bench, MCPBench, TerminalBench: Fortemente avversi alle trappole (gli esiti elevati correlano con l'evitare regioni a basso esito).
  • SWE-bench: Fortemente esigenti di riparazione (gli esiti elevati correlano con il recupero da stati simili a trappole dopo un fallimento iniziale).
  • Ricerca: Premia l'accesso a prove produttive con occasionali recuperi.

Esperimento di Recupero (SWE-bench)

Gli autori hanno istanziato una pipeline di fork-prefix consapevole delle trappole su istanze SWE-bench Verified (500 totali).

• Meccanismo: Un rilevatore scatta quando un rollout live corrisponde a una firma di trappola canonizzata. Al momento dell'attivazione, l'agente continua dallo stesso stato sotto tre politiche:
  1. Baseline: Continuazione standard ($T=0.6$).
  2. Hot: Maggiore diversità di campionamento ($T=0.9$).
  3. Note: Una nota di diagnosi conservativa e basata sull'evidenza apposta al contesto (senza patch gold).
• Risultati:
  • Sul sottoinsieme per provider attivato ($n=616$), la migliore politica raggruppata (Hot) ha aumentato il tasso di risoluzione dal 40,4% al 43,5% (+3,1 pp, $p=0,016$).
  • Sul sottoinsieme di attivazione comune ($n=288$), la politica Hot ha aumentato il tasso dal 41,0% al 44,8% (+3,8 pp, $p=0,045$).
  • Specificità del Provider: La componente di recupero attiva variava per provider. Qwen3.6-35B-A3B ha beneficiato maggiormente della nota di diagnosi, mentre GLM-5.1 e DeepSeek-V4-Pro hanno beneficiato maggiormente dell'incremento della temperatura.

5. Significato e Rivendicazioni

Il paper posiziona TraceGraph non come un nuovo punteggio scalare o un cieco predittore di successo, ma come un vocabolario di processo per la valutazione degli agenti.

• Potere Descrittivo: Rivela cosa testa un benchmark (es. evitamento vs. recupero) e dove i modelli divergono su un paesaggio condiviso.
• Guida Azionabile: Dimostra che le trappole derivate dal grafo possono guidare interventi a valle. Identificando le regioni di fallimento storiche, il framework consente politiche di recupero mirate che migliorano i tassi di risoluzione dei compiti senza richiedere informazioni oracle o un pieno riaddestramento.
• Modestia: Gli autori sottolineano che la pipeline di recupero è un intervento locale su un sottoinsieme specifico di SWE-bench e non viene rivendicata come un meccanismo di riparazione universale per gli agenti. Il framework è uno strumento analitico per spiegare la concentrazione del traffico, non un controllore per tutti i comportamenti degli agenti.

In sintesi, TraceGraph sposta l'attenzione da "quanti compiti ha risolto l'agente?" a "come ha navigato l'agente il paesaggio dei compiti, e dove si è bloccato o ha recuperato?", fornendo una base strutturale per comprendere e migliorare le traiettorie degli agenti.