Knowledge-Based Zero-Replay Debugging of Multi-Agent LLM Traces

Sintesi Tecnica: Debugging basato sulla conoscenza con zero-replay delle tracce di LLM multi-agente

Definizione del Problema
Il funzionamento affidabile dei sistemi multi-agente basati su Large Language Model (LLM) richiede il debugging di lunghe tracce di esecuzione che contengono messaggi, rotte, scritture in memoria e chiamate a strumenti (tool calls). L'approccio standard, il replay controfattuale (riavvolgimento, editing e ri-esecuzione delle traiettorie per misurare gli effetti degli eventi), è affidabile ma computazionalmente proibitivo su larga scala. Il suo costo cresce linearmente con il numero di eventi candidati e di famiglie di intervento ($O(T \cdot |F| \cdot N)$), rendendo il replay esaustivo impraticabile per i sistemi in produzione. Gli autori inquadrano questo problema non come un problema di progettazione di un oracolo, ma come un problema di supporto decisionale basato sulla conoscenza: dato un oracolo di replay controfattuale fisso come riferimento di verità fondamentale (ground-truth), come si può prevedere quali eventi siano causalmente decisivi senza incorrere nel costo del replay?

Metodologia
Il metodo proposto, BranchPoint-Latent, opera in due livelli distinti: un oracolo deterministico utilizzato solo per l'addestramento offline e un predittore a zero-replay utilizzato in fase di deployment.

1. Rappresentazione della Conoscenza della Traccia:
   Le tracce grezze multi-agente vengono compilate in un Grafo di Conoscenza degli Eventi ($G = (V, E, A)$).

   • Nodi ($V$): Eventi della traccia (messaggi, rotte, scritture in memoria, chiamate a strumenti, decisioni).
   • Archi ($E$): Routing e adiacenza causale.
   • Attributi ($A$): Campi tipizzati che includono la posizione nel grafo di routing, persistenza di memoria/recupero (RAG), metadati delle chiamate agli strumenti, proxy di incertezza e payload latenti/nascosti opzionali.
     Questa rappresentazione garantisce che tutta l'evidenza utilizzata per il processo decisionale sia esplicita e verificabile.

2. Predizione Zero-Replay:
   Il contributo principale è un predittore che stima il verdetto di "alto effetto" dell'oracolo senza chiamare l'oracolo stesso.

   • Estrazione delle Caratteristiche: 13 caratteristiche vengono estratte dal grafo della conoscenza in millisecondi su una CPU. Queste includono la centralità del grafo, i colli di bottiglia del routing, il disaccordo tra agenti, la persistenza di memoria/RAG, la novità, l'incertezza e le transizioni latenti.
   • Architettura del Predittore: Gli autori confrontano uno scorer lineare (baseline interpretabile) con un Gradient-Boosted Machine (GBM) per il Learning-to-Rank. Il GBM utilizza un obiettivo di learning-to-rank per prevedere il ranking interno alla traccia dell'effetto dell'oracolo, impiegando pesi bilanciati per famiglia per gestire i cambiamenti di regime.
   • Supporto Decisionale: Il predittore restituisce un'agenda di replay classificata e limitata dal budget (Top-K eventi). È calibrato utilizzando metriche come Spearman $\rho$, AUPRC e Branch Recall@K per supportare il triage e l'allocazione del budget.

Contributi Chiave

1. Predizione dell'Effetto Controfattuale Zero-Replay: Un compito distinto posizionato sulla frontiera costo-accuratezza, che prevede i risultati dell'oracolo senza ri-esecuzione o giudizio tramite LLM.
2. Rappresentazione Event-Knowledge-Graph: Una pipeline strutturata che converte i log grezzi in un grafo che codifica routing, memoria, uso di strumenti ed evidenza latente, consentendo il supporto decisionale senza l'elaborazione di testo grezzo.
3. Guadagni di Performance: Un singolo learning-to-rank GBM su 13 caratteristiche aumenta la Branch Recall@5 da 0.73 a 0.93–0.95 su famiglie non viste e la NDCG@5 da 0.83 a 0.92, il tutto a costo di zero-replay dell'oracolo. Questo supera i precedenti scorer lineari e le euristiche basate sulla centralità.
4. Analisi dei Regimi: Il documento caratterizza quando la centralità del grafo è sufficiente (tracce dominate dal grafo come GSM8K) rispetto a quando sono necessarie evidenze apprese (tracce ricche di tool/latenti come MBPP e ARC). Dimostra che un singolo predittore non lineare può assorbire questi regimi meglio di un tentativo di instradare le tracce verso il miglior selettore basandosi su statistiche strutturali.
5. Validazione Esterna: La validazione include un caso studio su agenti live (tracce scritte da modelli) e un confronto diretto sul leaderboard Who&When, dove il modello privo di LLM raggiunge o supera gli LLM sottoposti a RL-fine-tuning e i giudici LLM di frontiera in termini di accuratezza di localizzazione a livello di step, con costi di inferenza significativamente inferiori.

Risultati

• Frontiera Costo-Accuratezza: Al costo di zero-replay, il predittore appreso raggiunge una Branch Recall@5 di 0.73 (lineare) e 0.93 (GBM), recuperando l'80% della recall dell'oracolo di active-replay (0.91), il quale richiede circa 11.8 chiamate per traccia.
• Generalizzazione: Il modello si generalizza attraverso 37 famiglie di tracce (163.815 eventi). Su famiglie non viste, migliora la Recall@5 da 0.00 a 1.00 sulle tracce tool di MBPP e da 0.23 a 0.98 su GSM8K.
• Benchmark Who&When: Sul dataset Who&When, il GBM basato su CPU e privo di LLM raggiunge l'Acc@1 = 0.37 sugli split generati da algoritmi (eguagliando un LLM 8B sottoposto a RL-fine-tuning) e lo 0.24 sugli split creati manualmente (superando l'LLM 8B e i giudici LLM di frontiera), con i costi di inferenza ridotti da ore di GPU a secondi.
• Limiti dei Regimi: Il documento nota che, sebbene la centralità sia competitiva nei regimi dominati dal grafo, nessun singolo selettore domina tutte le famiglie. Crucialmente, i tentativi di instradare automaticamente le tracce al "miglior" selettore (centralità vs appreso) basandosi sulle statistiche strutturali non hanno superato il default sempre-appreso, poiché i falsi positivi hanno cancellato i guadagni.

Significatività e Rivendicazioni
Il documento posiziona esplicitamente il proprio contributo come un sistema di supporto decisionale calibrato e verificabile, piuttosto che come un nuovo oracolo o una rivendicazione di dominanza universale.

• Ambito: Non pretende di controllare gli stati nascosti (riporta la sensibilità, non il controllo) né di essere una soluzione universale (la centralità rimane competitiva in specifici regimi).
• Proposta di Valore: Il valore primario è abilitare un debugging efficiente in termini di costi nel regime a basso budget, dove il replay esaustivo è impraticabile. Predicendo il verdetto dell'oracolo, il sistema consente agli ingegneri di concentrare le risorse di replay sugli eventi più probabilmente decisivi.
• Riproducibilità: Gli autori forniscono una suite di rigenerazione con un unico comando, script di verifica delle affermazioni e confini di affermazione conservativi, garantendo che i risultati siano verificabili e riproducibili.

Il lavoro conclude che, sebbene il replay attivo domini strettamente ad alti budget, il predittore zero-replay proposto è il default robusto per il regime a basso budget, offrendo una significativa riduzione del costo computazionale pur mantenendo un'alta accuratezza di localizzazione.