TraceSIR: A Multi-Agent Framework for Structured Analysis and Reporting of Agentic Execution Traces

Titolo: TraceSIR: Un Framework Multi-Agent per l'Analisi Strutturata e la Generazione di Report delle Tracce di Esecuzione Agentiche

1. Il Problema

I sistemi agentici, che potenziano i Large Language Models (LLM) con strumenti esterni e processi decisionali iterativi, sono diventati fondamentali per compiti complessi come la ricerca approfondita, le chiamate di funzioni e la programmazione. Tuttavia, la loro adozione su larga scala si scontra con sfide critiche nell'analisi e nel debugging:

• Complessità delle Tracce: Le tracce di esecuzione sono lunghe, intricate e possono contenere migliaia di invocazioni di strumenti, rendendo l'ispezione manuale non scalabile.
• Limiti degli LLM Diretti: Applicare direttamente un LLM alle tracce grezze è spesso inefficace a causa dei limiti di lunghezza dell'input e della tendenza a generare contenuti incoerenti o allucinazioni quando il contesto è eccessivo.
• Perdita di Informazione: I metodi esistenti focalizzati solo sul risultato finale (outcome-oriented) ignorano i segnali comportamentali intermedi cruciali per l'individuazione precisa dei problemi (issue localization) e l'analisi delle cause radice (root cause analysis).
• Mancanza di Report Sistemici: Esistono pochi approcci capaci di aggregare l'analisi su più istanze di task per generare report coerenti e azionabili che soddisfino le esigenze industriali.

2. Metodologia: Il Framework TraceSIR

Per affrontare queste sfide, gli autori propongono TraceSIR, un framework multi-agent che coordina tre agenti specializzati per trasformare tracce grezze in report analitici strutturati.

A. Rappresentazione dei Dati: TraceFormat
Prima dell'analisi, le tracce vengono convertite in un formato astratto chiamato TraceFormat.

• Questo formato comprime le tracce mantenendo le informazioni comportamentali essenziali.
• Struttura l'interazione in round sequenziali composti da: Thought (ragionamento), Action (azione/invocazione strumento) e Observation (risultato/feedback).
• Preserva l'ordine temporale e l'allineamento causale, riducendo la ridondanza senza oscurare i segnali critici.

B. Gli Agenti Specializzati
Il framework opera attraverso tre agenti distinti che collaborano:

1. StructureAgent:

   • Riceve le tracce in formato TraceFormat.
   • Esegue un'astrazione a livello di traccia utilizzando un operatore sensibile alla lunghezza (parametrizzato da una soglia $\theta$).
   • Comprime contenuti verbosi (es. snippet di codice lunghi, output di strumenti estesi) preservando la semantica esecutiva, rendendo le tracce gestibili per gli agenti successivi.

2. InsightAgent:

   • Esegue un'analisi diagnostica fine-granulare su ogni singola istanza di task.
   • Non si basa solo sul risultato finale, ma analizza l'intera traccia strutturata per identificare:
     • Valutazione complessiva: Un punteggio di completamento (0-100).
     • Rilevamento Errori: Distinzione tra errori fatali principali e secondari.
     • Identificazione Debolezze: Punti di forza e limiti emersi.
     • Analisi delle Cause Radice (RCA): Spiegazioni approfondite del perché si sono verificati i fallimenti.
     • Suggerimenti di Ottimizzazione: Raccomandazioni concrete e campioni per il fine-tuning.

3. ReportAgent:

   • Opera a un livello superiore, aggregando i risultati diagnostici di InsightAgent su più istanze di task.
   • Determina se è necessario generare un report basato sul numero di casi disponibili.
   • Esegue analisi statistiche mirate (es. stima della frequenza degli errori, modellazione della distribuzione dei punteggi).
   • Genera report completi in formato Markdown che integrano dati quantitativi e insight qualitativi, includendo appendici con le tracce strutturate di riferimento per garantire la tracciabilità.

3. Contributi Chiave

• Framework Multi-Agent: Introduzione di un'architettura collaborativa (Structure, Insight, Report) specifica per l'analisi di tracce agentiche.
• TraceFormat: Una nuova astrazione che bilancia compressione e conservazione delle informazioni comportamentali critiche.
• TraceBench: La costruzione di un benchmark unificato composto da 150 casi di fallimento reali provenienti da tre scenari: Deep Research (BrowseComp), Function Calling (Tau2Bench) e Agentic Coding (SWE-bench).
• ReportEval: Un protocollo di valutazione specifico per la qualità e l'utilità dei report di analisi, definito secondo principi industriali (Struttura, Analisi Errori, RCA, Ottimizzazione, Impatto).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti confrontando TraceSIR con una baseline forte (ClaudeCode) utilizzando due modelli backbone (GLM-5 e Claude-4.6) e due metodi di valutazione (valutazione umana da esperti e LLM-as-a-judge).

• Prestazioni Superiori: TraceSIR ha superato costantemente ClaudeCode in tutti e tre gli scenari e su tutte le dimensioni di valutazione.
• Miglioramenti Quantitativi:
  • Nella valutazione umana, TraceSIR ha mostrato un miglioramento medio del 9.7% nella qualità complessiva del report rispetto alla baseline.
  • Nella valutazione tramite LLM, il miglioramento medio è stato del 7.5%.
  • Il guadagno relativo più alto è stato del 26.0% nello scenario di Agentic Coding con un modello backbone più debole (GLM-5), dimostrando la robustezza del framework anche con capacità di modello limitate.
• Qualità Diagnostica: I miglioramenti più significativi sono stati osservati nelle dimensioni di Analisi degli Errori (EA) e Analisi delle Cause Radice (RCA), indicando che TraceSIR fornisce diagnosi più accurate e approfondite.

5. Significato e Impatto

TraceSIR rappresenta un passo avanti fondamentale nell'ingegneria dei sistemi agentichi:

• Scalabilità: Risolve il problema della scalabilità nell'analisi delle tracce, permettendo di gestire volumi di dati che sarebbero ingestibili manualmente o con approcci diretti agli LLM.
• Decisioni Informate: Fornisce a ricercatori e ingegneri report strutturati e basati su evidenze, facilitando il debugging, l'ottimizzazione e la comprensione del comportamento degli agenti.
• Standardizzazione: Introduce un protocollo di valutazione (ReportEval) che allinea la ricerca accademica alle esigenze pratiche dell'industria, spostando il focus dalla semplice misurazione del successo del task all'analisi profonda del processo decisionale.

In sintesi, TraceSIR trasforma il processo di debugging da un'attività manuale e frammentata in un flusso di lavoro automatizzato, strutturato e scalabile, essenziale per lo sviluppo di sistemi agentichi affidabili e complessi.