Riepilogo Tecnico: Causal Agent Replay (CAR)

Problematica

Quando un agente LLM fallisce — sia che emetta un rimborso errato, chiami lo strumento sbagliato o perda dati — gli strumenti esistenti di osservabilità e valutazione possono solo descrivere cosa è accaduto o determinare se l'esito sia un successo o un fallimento. Essi non riescono a identificare quale specifico passaggio abbia causato il fallimento.

Le attuali euristiche di attribuzione sono fondamentalmente difettose:

1. Confusione tra Meccanica e Decisionale: Il passaggio che esegue un'azione dannosa (ad es. chiamare issue_refund) è spesso la mera conseguenza meccanica di una decisione presa in un passaggio precedente. Colpevolizzare il passaggio di esecuzione è un errore di categoria.
2. Giudici LLM inaffidabili: Utilizzare un LLM per giudicare la trascrizione è correlazionale piuttosto che causale. Sul benchmark "Who&When", l'accuratezza dell'attribuzione a livello di passaggio dei giudici LLM è di circa il 14%.

La sfida centrale è che gli agenti LLM operano tramite politiche stocastiche. Un semplice replay non rivela la causalità perché l'esito è il risultato di una complessa traiettoria di decisioni e osservazioni.

Metodologia: Causal Agent Replay (CAR)

CAR affronta la questione modellando l'esecuzione di un agente come un Modello Causale Strutturale (SCM) e determinando la causalità attraverso l'intervento piuttosto che la correlazione.

1. Formalizzazione

Una traiettoria dell'agente $\tau$ è modellata come una sequenza di stati, azioni, osservazioni e un esito:
$$\tau = [s_0, (a_1, o_1), (a_2, o_2), \dots, (a_n, o_n), y]$$
Dove $s_k$ è lo stato, $a_k \sim \pi(\cdot | s_k)$ è l'azione estratta dalla politica stocastica, $o_k$ è il risultato dello strumento e $y$ è il punteggio dell'esito.

2. Algebra degli Interventi

CAR implementa un'operazione do(·) su specifici passaggi, costringendo l'agente a ridecidere le azioni a valle sotto la stessa politica stocastica. Sono definiti cinque interventi:

• do_resample: Estrae nuovamente l'azione $a_k$ dalla politica invariata (l'intervento nullo). Misura la sensibilità causale intrinseca dell'esito rispetto a quel passaggio.
• do_action: Forza una specifica azione $a_k$.
• do_observation: Sostituisce l'osservazione $o_k$.
• do_context: Modifica la cronologia al passaggio $k$.
• do_policy: Sostituisce il modello dal passaggio $k$ in poi.

3. Replay Fedele e Nondeterminismo

Per intervenire al passaggio $k$, il sistema deve ricostruire esattamente lo stato $s_k$. CAR adotta una disciplina di record-replay, registrando tutti gli input nondeterministici. Riconosce che i provider ospitati non sono perfettamente deterministici (a causa della non-associatività del punto mobile e dei kernel batch). Di conseguenza, CAR riporta un tasso di corrispondenza delle azioni (action-match rate) per la fedeltà del replay, invece di asserire una perfetta riproducibilità. I modelli locali con seed fissi sono notati essere riproducibili esattamente, validando l'inquadramento distribuzionale.

4. Stimatori di Attribuzione

Poiché gli interventi producono una distribuzione di esiti piuttosto che un singolo percorso, CAR utilizza stimatori statistici con intervalli di confidenza.

• Stimatore Contrastivo a Singolo Passaggio:
  Per ogni passaggio $k$, il sistema mantiene i passaggi $[0, k)$ con le loro azioni fattuali, applica do_reslempale(k) ed esegue in avanti $K$ volte per stimare lo spostamento nella probabilità di un esito "negativo".

  • Il Confound del Run-Forward: Il campionamento (resampling) del passaggio $k$ provoca involontariamente il ricalcolo (re-roll) di tutti i passaggi stocastici a valle. Ciò causa l'attribuzione erronea di causalità a passaggi inizari irrilevanti, poiché essi innescano il ricalcolo di un passaggio a valle realmente cruciale.
  • Regola del Punto di Impegno (Point-of-Commitment Rule): Per risolvere questo problema, CAR identifica il locus causale come l'ultimo passaggio il cui effetto ha ancora un intervallo di confidenza che esclude lo zero. Questo è l'ultimo punto in cui il ricalcolo può ancora "salvare" l'esecuzione; oltre questo punto, l'esito è compromesso.

• Stimatore Shapley Monte-Carlo a Budget Limitato:
  I metodi a singolo passaggio falliscono nel catturare le interazioni (ad es. un fallimento di tipo AND dove due passaggi devono fallire entrambi). CAR utilizza i valori di Shapley per ripartire il merito tra i passaggi interagenti.

  • Stima i contributi marginali su tutti i contesti di coalizione utilizzando il campionamento per permutazione Monte-Carlo con accoppiamento di permutazione inversa antitetica.
  • Nessuna Cache: I valori $v(S)$ non vengono memorizzati nella cache tra le permutazioni per evitare che la varianza marginale per passaggio collassi a zero, il che produrrebbe una falsa fiducia.
  • Lo stimatore è limitato dal budget con un circuito di interruzione (circuit breaker) ed è eseguito on-demand.

Contributi Chiave

1. Formalizzazione SCM: Formalizzazione delle esecuzioni degli agenti come SCM e definizione di un'algebra di cinque operazioni di intervento.
2. Inquadramento Distribuzionale: Costruzione del sistema attorno a distribuzioni di esito con intervalli di confidenza per gestire le politiche stocastiche.
3. Regola del Punto di Impegno: Identificazione e risoluzione del confond del run-forward dove il campionamento di un passaggio ricalcola la stocasticità a valle, utilizzando una regola per individuare il vero locus causale.
4. Gestione delle Interazioni: Fornitura di uno stimatore Shapley per ripartire correttamente il merito in passaggi interagenti dove i metodi a singolo passaggio falliscono strutturalmente.
5. Validazione della Verità Fondamentale (Ground Truth): Validazione del metodo contro SCM sintetici con verità fondamentale inserita, sostenendo che questo è un passaggio non opzionale per qualsiasi metodo di attribuzione.

Risultati e Validazione

CAR è stato validato contro SCM sintetici con verità fondamentale nota:

• Recupero del Passaggio Pivotale: In un SCM a tre passaggi dove il passaggio intermedio era la decisione cruciale, lo stimatore contrastivo ha recuperato correttamente il locus in quel passaggio. Il campionamento a valle non ha mostrato effetti significativi, corrispondendo alla semantica del punto di impegno.
• Recupero delle Interazioni: In un SCM in cui l'esito era negativo solo se due passaggi specifici fallivano, lo stimatore Shapley ha ripartito correttamente il merito ($\phi_0 \approx 0.44, \phi_1 \approx 0.45, \phi_2 \approx 0$). La somma dell'efficienza era 0.909, molto vicina al valore analitico di 0.91.
• Limite del Contrastivo: Nello stesso scenario di interazione, lo stimatore contrastivo ha sovrastimato il conteggio (gli effetti hanno superato il contributo totale reale), dimostrando la necessità dello stimatore Shapley per le interazioni.

Significato e Rivendicazioni

Il paper sostiene che CAR risponda alla domanda "quale passaggio ha causato il fallimento" attraverso l'intervento piuttosto che la correlazione. La sua importanza risiede nella combinazione specifica di:

1. Interventi do_resample eseguiti sulla stessa politica (evitando la sostituzione con un oracolo o il giudizio testuale tramite LLM).
2. Esiti distribuzionali con intervalli di confidenza.
3. La regola del punto di impegno per gestire i confond del run-forward.
4. Ripartizione del merito tramite Shapley per le interazioni.
5. Validazione rispetto alla verità fondamentale sintetica.

Il sistema è open source ed è progettato per girare sia su modelli ospitati che su modelli locali gratuiti.

Limitazioni

Gli autori rilevano diverse limitazioni:

• Effetto Diretto vs. Totale: L'effetto contrastivo misura l'effetto totale attraverso una continuazione stocastica. Isolare l'effetto diretto di un passaggio richiederebbe numeri casuali comuni tra i rami, il che è difficile tra divergenti contesti LLM.
• Rumore dell'Esito: Le funzioni di esito basate su giudici iniettano rumore; gli esiti basati su regole sono preferibili per la fiducia.
• Effetti Collaterali: Gli strumenti reali con effetti collaterali sono fuori ambito; le dimostrazioni utilizzano strumenti simulati (mocked) e riproducibili.
• Costo Computazionale: La stima di Shapley è esponenziale nel caso peggiore; l'approccio Monte-Carlo è limitato dal budget, comportando un reale compromesso tra varianza e budget.