Agent Step Value: Probing the Observer Effect in Black-Box Traces

Sintesi Tecnica: Valore del Passo dell'Agente (Agent Step Value - ASV)

Definizione del Probleo
Le valutazioni basate sulla risposta finale per gli agenti di modelli linguistici sono insufficienti per un'analisi black-box perché oscurano quali transizioni specifiche all'interno di una traccia abbiano migliorato o degradato lo stato dell'agente. Mentre sistemi come ReAct o DSPy generano flussi di lavoro complessi che coinvolgono recupero, sintesi e auditing, le metriche standard non possono isolare se un passo specifico (ad esempio, una chiamata di recupero o un audit) abbia aggiunto valore o introdotto errori. Inoltre, i metodi esistenti di supervisione del processo spesso si affidano a etichette predefinite o modelli di ricompensa che confondono il comportamento dell'agente con la sensibilità allo specifico prompt dell'evaluator. È necessario un framework che misuri l'aggiornamento della credenza (belief update) a livello di transizione senza trattare l'evaluator come verità fondamentale (ground truth), tenendo esplicitamente conto di come il protocollo di valutazione influenzi il risultato misurato.

Metodologia: Agent Step Value (ASV)
Gli autori introducono l'Agent Step Value (ASV), un framework di replay progettato per punteggiare il cambiamento nella credenza di un evaluator su un insieme fisso di candidati $C$ mentre un agente transita dallo stato $x_{i-1}$ a $x_i$ tramite l'azione $a_i$.

• Proiezione dello Stato e Punteggio: ASV impiega un evaluator LLM basato sullo stato ($E_\theta$) che elabora una "proiezione redatta" dello stato dell'agente. Questa proiezione rimuove etichette fisiche, risposte corrette (gold answers) e segreti, mantenendo solo identificatori stabili dei candidati e testo.
• Deliberazione vs. Punteggio: Per separare il ragionamento dal punteggio, il protocollo utilizza un approccio a due passaggi. Primo, l'evaluator genera una razionale compatta e priva di etichette ($r_x$) sugli candidati. Secondo, viene apposta una mappatura delle etichette fisiche, e l'evaluator punteggia un singolo token di opzione utilizzando le log-probabilità. Ciò evita che il preambolo del ragionamento pregiudichi la selezione del primo token.
• Diagnostica: ASV calcola tre metriche distinte per ogni transizione:
  1. Movimento dell'Entropia ($\Delta H$): Misura il cambiamento dell'incertezza.
  2. Sorpresa Bayesiana ($S$): Misura l'entità dello spostamento della distribuzione della credenza ($D_{KL}$) indipendentemente dalla direzione, rilevando pivot che l'entropia potrebbe mancare.
  3. Guadagno del Margine Gold ($G_{margin}$): Misura il cambiamento nel margine di log-likelihood tra un candidato target rivisto $g$ e il suo competitor più vicino. Indica il movimento verso o lontano dal target.
• Sensibilità del Protocollo: ASV tratta il prompt di valutazione, la policy della razionale e la proiezione come un "canale di misurazione". Riproducendo (replaying) le transizioni congelate sotto diversi canali (ad esempio, variando la lunghezza della razionale o le permutazioni delle etichette), ASV quantifica l'effetto del canale, misurando quanto il protocollo di valutazione stesso alteri il valore percepito di un passo.

Configurazione Sperimentale
Lo studio ha utilizzato 100 task di open-QA riguardanti il recupero di evidenze da PubMed, generando 1.100 passi dell'agente. Le tracce sono state valutate utilizzando un modello DeepSeek configurato con un protocollo condizionato da una razionale di 128 token. Gli autori hanno confrontato questo approccio con il punteggio diretto a un singolo token e hanno riprodotto le stesse transizioni sotto varie modifiche del canale (ad esempio, razionali da 512 token, buffer estrattivi, permutazioni delle etichette) per isolare le fonti di varianza.

Risultati Chiave

• Valori di Passo Negativi sotto Protocolli di Razionale: Sotto il protocollo condizionato da razionale di 128 token, il guadagno medio del margine gold era significativamente negativo (-2.335), indicando che molte transizioni spostavano la credenza dell'evaluator lontano dal target corretto. Al contrario, il punteggio diretto a un singolo token sulle stesse tracce ha prodotto un guadagno positivo (+4.033).
• Cecità dell'Entropia: Il movimento dell'entropia è stato effettivamente zero (0.000) attraverso i passi, fallendo nel rilevare i cambiamenti. Tuttavia, la media della sorpresa Bayesiana era 2.693, rivelando che la credenza dell'evaluator subiva pivot quasi "one-hot" (scambiando la fiducia da un candidato all'altro) senza cambiare l'incertezza complessiva.
• Localizzazione del Danno: I valori di passo più negativi si sono verificati durante le fasi di estrazione (-7.790) e audit (-7.392), specificamente dopo che l'evidenza era entrata nel workflow. Ciò suggerisce che comprimere o criticare gli stati intermedi spesso degrada la credenza diretta al target.
• La Compressione della Razionale come Driver: Gli audit di attribuzione dei componenti hanno rivelato che l'inversione da valori positivi a negativi era portata principalmente dal canale di compressione della razionale. Il punteggio diretto a stato completo era positivo (+7.750), ma il canale della razionale generata di 128 token era fortemente negativo (-21.741). Estendere la razionale a 512 token o utilizzare buffer estrattivi ha mitigato ampiamente questa inversione, suggerendo che le razionali brevi e generate comprimono via indizi critici necessari per una valutazione accurata.

Significatività e Claim
Il paper sostiene che l'ASV fornisce un metodo per localizzare i "pivot di credenza" e gli eventi di "danno/riparazione" nelle tracce degli agenti che sono invisibili alle metriche della risposta finale o all'analisi basata sull'entropia. Il suo contributo primario è dimostrare che i valori dei passi non sono proprietà intrinseche della transizione dell'agente, ma sono co-determinati dal canale di valutazione.

Gli autori sostengono che un valore di passo senza il suo specifico canale di valutazione sia ambiguo, poiché può mescolare il reale comportamento dell'agente con artefatti introdotti dalla proiezione, dalla compressione o dalle regole di punteggio. Trattando il prompt e la policy della razionale come un canale misurato, l'ASV permette ai ricercatori di sottoporre ad audit il processo di valutazione stesso. Lo studio conclude che in contesti ad alto rischio, i valori numerici dei passi non dovrebbero essere considerati come reward oggettivi; al contrario, devono essere riportati insieme a diagnostici di sensibilità del protocollo per garantire che i miglioramenti o i degradamenti osservati non siano meri artefatti della configurazione di valutazione. Il framework è presentato come uno strumento diagnostico per il debugging dei workflow degli agenti piuttosto che come un estimatore causale di ricompensa.