Sintesi Tecnica: Critic Experience Bank (CEB)

Formulazione del Problema

Gli agenti basati su Large Language Model (LLM) operano sempre più in ambienti esterni (web, interfacce GUI mobili, shell) in cui le azioni alterano lo stato su cui dipendono tutte le decisioni successive. In questi contesti, un singolo passaggio errato può sprecare il budget di interazione o innescare effetti collaterali irreversibili molto prima che si osservi un fallimento finale del compito. Di conseguenza, il successo finale del compito è un segnale di affidabilità insufficiente per la distribuzione (deployment).

La sfida centrale affrontata è la stima della confidenza a livello di step: la necessità di produrre una probabilità calibrata che una proposta di azione sia produttiva prima che venga eseguita. Gli esistenti metodi di stima della confidenza (ad esempio, logit dei token, confidenza verbalizzata, controlli di coerenza) sono progettati principalmente per la valutazione a livello di risposta. Essi valutano un singolo step proposto basandosi sul contesto immediato, ma non riescono a tenere conto delle conseguenze dell'esecuzione — specificamente, se azioni simili in situazioni simili abbiano effettivamente fatto avanzare il compito dopo che l'ambiente ha risposto. Questa lacuna strutturale porta a una calibrazione instabile durante l'interazione, poiché i segnali standard non si trasferiscono chiaramente dalla generazione di risposte statiche all'esecuzione dinamica dell'agente.

Metodologia: Critic Experience Bank (CEB)

Gli autori propongono il Critic Experience Bank (CEB), un framework di critica auto-evolutivo e senza addestramento, progettato per operare durante la fase di inferenza senza etichette di verità (ground truth) per gli step o verifier addestrabili.

Meccanismo Centrale

CEB aumenta un critico LLM fisso con un archivio di memoria di esperienze di esecuzione etichettate tramite hindsight. Il framework opera sulla premessa che gli agenti affrontino spesso decisioni ricorrenti in contesti correlati. Invece di giudicare ogni ricorrenza esclusivamente in base alla query corrente, il critico recupera i precedenti dai propri giudizi passati e dalle loro conseguenze osservate.

La pipeline consiste in due fasi:

1. Scoring Online: Ad ogni step $t$, l'agente propone un'azione $a_t$ basata sul compito $q$, lo stato corrente $s_t$ e la cronologia $h_{<t}$. Prima dell'esecuzione, il critico LLM congelato stima il punteggio di confidenza $\hat{z}_t$. Per farlo, il critico viene istruito (prompted) con il contesto corrente e esempi contrastivi recuperati dall'Experience Bank. Questi esempi vengono recuperati utilizzando una chiave composita (task, stato, azione) e includono record passati sia produttivi ($B^+$) che improduttivi ($B^-$). Il prompt include anche un flag di ripetizione per rilevare loop brevi.
2. Aggiornamento Hindsight: Dopo che una traiettoria $\tau$ è completata, un "LLM di hindsight" ($g_\phi$) osserva la sequenza completa di stati, azioni e osservazioni. Esso vota (tramite voto di maggioranza su $V$ campioni) se ogni step è stato produttivo, generando pseudo-etichette $\hat{y}_t$. Questi record, che contengono il riepilogo dello stato, l'azione, l'osservazione, lo pseudo-label e lo score originale pre-esecuzione del critico, vengono aggiunti all'archivio.

Caratteristiche Chiave del Design

• Auto-evolutivo: I pesi del critico rimangono congelati; il suo comportamento evolve esclusivamente attraverso l'espansione del contesto di esperienze recuperate.
• Recupero Contrastivo: L'archivio è diviso in set produttivi e improduttivi. Al critico viene mostrato esplicitamente un esempio di azioni simili che hanno avuto successo e azioni simili che sono fallite, permettendogli di calibrare in base alle conseguenze.
• Nessun Addestramento Richiesto: Il metodo non richiede il fine-tuning dell'attore o del critico e non richiede l'accesso a etichette di verità per gli step durante la distribuzione.

Contributi Chiave

1. Formulazione del Problema: Il documento definisce formalmente la stima della confidenza a livello di step per gli agenti LLM come il compito di stimare la produttività dell'azione prima dell'esecuzione, distinguendola dalla standard confidenza a livello di risposta.
2. Framework CEB: Introduzione di un framework di critica senza addestramento che utilizza l'esperienza di esecuzione etichettata tramite hindsight da traiettorie precedenti per aumentare un critico LLM fisso.
3. Superiorità Empirica: Dimostrazione che CEB raggiunge uno stato dell'arte nella calibrazione (Expected Calibration Error - ECE, Brier score) e nel ranking (AUC) su tre diversi benchmark di agenti (Mind2Web, AMEX, InterCode-Bash) e tre backbone di critici (GPT-4.1, GPT-5.4, Qwen3-Next).

Risultati Sperimentali

La valutazione copre compiti di navigazione web, controllo di GUI mobili e interazione con la shell.

• Performance di Calibrazione: CEB ha superato costantemente tutti i baseline senza addestramento (inclusi Perplexity, Mean Entropy, Verbalized Confidence, P(True) e CoT).
  • Sul dataset InterCode-Bash con GPT-4.1, CEB ha ridotto l'ECE del 54% rispetto al baseline più forte.
  • Su Mind2Web con GPT-5.4, CEB ha raggiunto un ECE di 0.176, significativamente inferiore al secondo miglior baseline (0.396 per P(True)).
  • CEB ha mantenuto la migliore performance in tutte le combinazioni dataset-critico in termini di ECE, Brier score e AUC.
• Robustezza alle Definizioni di Etichetta: Il vantaggio di CEB è persistito anche utilizzando etichette permissive "LLM-as-judge" che accreditano percorsi alternativi validi, indicando che il metodo non è un artefatto di un matching rigoroso con un riferimento.
• Ablazione dei Componenti: Rimuovere l'experience bank ha causato la maggiore degradazione delle performance, confermando che gli esiti di esecuzione passati sono critici per la ricalibrazione. La natura contrastiva dell'archivio (vedere sia successi che fallimenti) è stata identificata come la componente più importante.
• Comportamento Auto-evolutivo: Man mano che il flusso di task procedeva e l'archivio si riempiva di dati etichettati tramite hindsight, l'errore di calibrazione di CEB è diminuito significativamente rispetto a un critico statico, dimostrando che il sistema migliora nel tempo senza aggiornamenti dei pesi.
• Utilità a Valle (Downstream): Nei compiti di esecuzione selettiva (differire gli step a bassa confidenza per la revisione umana), CEB ha identificato gli step errati in modo più efficace rispetto ai baseline, portando a tassi di successo finale del compito più elevati quando è stato applicato un budget fisso di revisioni.

Significato e Rivendicazioni

Il documento sostiene che CEB affronta una lacuna critica nella distribuzione degli agenti LLM: la necessità di una confidenza affidabile a livello di step prima che un'azione modifichi l'ambiente. Sfruttando la propria storia di interazione come evidenza di calibrazione, CEB consente a un critico fisso di adattare il proprio comportamento di scoring dinamicamente.

Gli autori sottolineano che questo approccio è particolarmente prezioso in regimi di distribuzione in cui:

• L'attore e il critico sono modelli API fissi.
• Le etichette di verità per gli step non sono disponibili.
• L'addestramento di nuovi verifier è impraticabile.

I risultati suggeriscono che l'esperienza di esecuzione recuperata fornisce un segnale che è superiore ai metodi attuali di confidenza basati sulla risposta, offrendo una via pratica verso agenti autonomi più sicuri e affidabili in ambienti complessi che cambiano lo stato. Il documento conclude che il vantaggio principale di CEB è temporale (accumulo di evidenze nel tempo) piuttosto che supervisionistico (affidarsi a etichette migliori), trasformando efficacementamente i propri errori e successi passati in un "prior" per il processo decisionale futuro.