Sintesi Tecnica: Decomposizione dell'Incertezza per la Ricerca di Chiarimenti negli Agenti LLM

1. Definizione del Problema

Gli agenti basati su Large Language Model (LLM) interattivi operano in condizioni di parziale osservabilità, ricevendo istruzioni in linguaggio naturale sottospecificate e navigando in ambienti rumorosi. Piccoli errori nei primi passaggi del ragionamento possono propagarsi, portando a esiti erroneamente sicuri. Sebbene la stima dell'incertezza sia uno strumento di mitigazione standard, gli attuali framework (specificamente la dicotomia aleatoria/epistemica) sono considerati insufficienti per gli agenti interattivi. Kirchhof et al. [13] e Kim et al. [14] sostengono che gli agenti richiedano rappresentazioni dell'incertezza consapevoli della sottospecificazione (underspecification-aware) e decomponibili per l'utente, al fine di abilitare capacità proattive come la ricerca di chiarimenti.

Inoltre, i vincoli pratici di implementazione — come l'accesso a API black-box, budget di latenza rigorosi e l'assenza di traiettorie di addestramento etichettate — rendono impraticabili i metodi basati su logprob, multi-campionamento o addestramento. Ciò lascia i metodi basati su prompt (dove l'agente emette l'incertezza come testo strutturato) come l'unica via percorribile per l'implementazione nel mondo reale. Tuttavia, gli esistenti metodi basati su prompt tipicamente outputtano un singolo valore scalare di confidenza, confondendo due fonti distinte di incertezza:

1. Difficoltà del Task: L'azione è difficile da eseguire (es. scegliere tra molti prodotti simili).
2. Ambiguità dell'Obiettivo: La richiesta dell'utente è sottospecificata (es. "trova una camicia" senza specificare colore o taglia).

Confondere questi segnali impedisce all'agente di distinguere tra "procedere con cautela" e "chiedere un chiarimento".

2. Metodologia

Decomposizione Proposta

Il documento propone una decomposizione basata su prompt che separa il singolo scalare di confidenza in due segnali distinti emessi ad ogni step $t$:

• Confidenza dell'Azione ($c_t$): La confidenza dell'agente che l'azione scelta porti al completamento del task, data l'attuale comprensione. Questo rispecchia lo scalare di confidenza usato nei baseline.
• Incertezza della Richiesta ($u_t$): Una stima se l'obiettivo dell'utente sia completamente specificato, con un range da 0 (completamente specificato) a 1 (dettagli critici mancanti). Si basa su una scala a tre punti:
  • $0$: Esattamente un'interpretazione corretta.
  • $0.5$: Almeno un parametro è aperto/non dichiarato.
  • $1$: Dettagli critici mancanti; esistono molte interpretazioni valide.

Trigger di Chiarimento

Il metodo introduce un meccanismo di routing deterministico. Se $u_t \geq \theta$ (dove $\theta = 0.5$ per impostazione predefinita), l'agente riceve l'istruzione di emettere l'azione speciale request_clarification invece di un'azione di task. Ciò crea un legame diretto tra la stima dell'incertezza e un comportamento osservabile, permettendo al sistema di essere valutato come un classificatore binario per la sottospecificazione.

Propagazione della Cronologia

Seguendo il framework Uncertainty-Aware Memory (UAM) [21], sia i valori di incertezza ($u_t, c_t$) che le loro spiegazioni in linguaggio naturale vengono aggiunti alla cronologia dell'interazione $H_t$. Ciò consente ai passaggi successivi di ragionare sull'incertezza accumulata della richiesta e sulla confidenza dell'azione.

Baseline

Il metodo proposto viene confrontato con due baseline basate su prompt:

1. ReAct+UE: Un agente ReAct standard con un suffisso di prompt che richiede un singolo punteggio di confidenza e una spiegazione. Non mantiene l'incertezza nella cronologia.
2. Uncertainty-Aware Memory (UAM): Simile a ReAct+UE, ma propaga il punteggio di confidenza e la spiegazione attraverso la cronologia, permettendo all'agente di ragionare sull'incertezza passata.

Benchmark

Per valutare la ricerca di chiarimenti, gli autori hanno costruito due benchmark aumentati per i chiarimenti dove il 50% dei task è deliberatamente sottospecificato:

• WebShop-Clarification: Attributi (es. colore, materiale) e clausole di opzione sono rimossi dalle istruzioni.
• ALFWorld-Clarification: Oggetti o contenitori vengono rimossi casualmente dall'obiettivo (es. "metti qualcosa in un contenitore").

In queste varianti, se l'agente richiede correttamente un chiarimento su un task sottospecificato, l'obiettivo originale viene rivelato e l'episodio continua, garantendo una misurazione equa del tasso di successo.

La valutazione include anche benchmark standard (WebShop, ALFWorld, REAL) per il rilevamento di errori (predire il fallimento della traiettoria) e il tasso di successo del task.

3. Contributi Chiave

1. Analisi Comparativa: Uno studio sistematico che dimostra come i vincoli pratici lascino i metodi basati su prompt come l'unica famiglia di incertezza praticabile per agenti LLM black-box, motivando uno studio più approfondito delle loro capacità.
2. Nuovi Benchmark: L'introduzione di WebShop-Clarification e ALFWorld-Clarification, che consentono la valutazione della ricerca di chiarimenti come un compito di classificazione binaria.
3. Metodo di Decomposizione: Un metodo basato solo su prompt che separa la confidenza dell'azione dall'incertezza della richiesta, consentendo chiarimenti proattivi senza addestramento o accesso al modello.
4. Valutazione Empirica: Una valutazione completa su cinque backbone LLM (GPT-5.1, DeepSeek-v3.2-exp, GLM-4.7, Qwen3.5-35B, GPT-OSS-120B) sia per i compiti di ricerca di chiarimenti che per quelli di rilevamento errori.

4. Risultati

Ricerca di Chiarimenti

La decomposizione proposta supera significativamente i baseline nell'identificare i task sottospecificati:

• ALFWorld-Clarification: Il metodo proposto migliora l'F1 di chiarimento del 73% rispetto a ReAct+UE e del 36% rispetto a UAM, mediando tra i cinque backbone.
• WebShop-Clarification: Il metodo proposto è in testa per l'F1 di chiarimento su ogni backbone.
• Generalizzazione: I guadagni si generalizzano su diverse famiglie di modelli, indicando che la decomposizione non è specifica per una singola architettura LLM.

Rilevamento Errori

La decomposizione non sacrifica la capacità di rilevare errori (predire il fallimento della traiettoria):

• In tutti i backbone e benchmark, il metodo proposto raggiunge punteggi ROC-AUC di rilevamento errori comparabili a ReAct+UE e UAM.
• Su WebShop e REAL, il metodo proposto ottiene il ROC-AUC più alto per le aggregazioni dell'ultimo step e medie.

Tasso di Successo del Task e Calibrazione

• Diluizione della Capacità: È stata osservata una diminuzione monotona del tasso di successo del task all'aumentare dell'strumentazione dell'incertezza: ReAct+UE (28.6%) > UAM (27.8%) > Proposto (27.0%). Gli autori attribuiscono ciò alla "diluizione della capacità", dove il budget di ragionamento fisso viene diviso tra la risoluzione del task e molteplici valutazioni dell'incertezza.
• Eccessiva Confidenza: I diagrammi di affidabilità mostrano un'eccessiva confidenza sistematica in tutti i metodi; la confidenza predetta supera costantemente i tassi di successo osservati (l'ECE varia da 0.24 a 0.66).
• Sensibilità dell'Aggregazione: La scelta dell'aggregazione a livello di traiettoria (es. prodotto, media, ultimo step) impatta significativamente i punteggi di rilevamento errori. Notevolmente, su ALFWorld, l'aggregazione per prodotto agisce come un proxy per la lunghezza della traiettoria piuttosto che come un vero segnale di confidenza, poiché le traiettorie fallite sono sistematicamente più lunghe.

5. Significato e Rivendicazioni

Il paper sostiene che la decomposizione proposta riesce a operazionalizzare il concetto di "incertezza da sottospecificazione" come una categoria distinta, rispondendo alle chiamate di Kirchhof et al. [13] e Kim et al. [14]. Fornendo un canale dedicato per l'ambiguità dell'obiettivo, l'agente può cercare proattivamente chiarimenti invece di fallire silenziosamente o procedere con interpretazioni arbitrarie.

Tuttavia, gli autori sono modesti riguardo ai limiti del paradigma basato su prompt:

• Limiti del Prompt-based: La diluizione della capacità osservata e l'eccessiva confidenza sistematica sono inerenti all'approccio basato su prompt, dove il modello deve simultaneamente risolvere il task e valutare la propria confidenza entro un budget fisso di token.
• Direzione Futura: Il paper sostiene che la strada più promettente sia la stima dell'incertezza nativa. Piuttosto che sollecitare tramite prompt punteggi decomposti, i modelli dovrebbero essere addestrati (tramite RLHF, DPO o GRPO) per distinguere internamente tra difficoltà del task e ambiguità dell'obiettivo. Ciò eliminerebbe la necessità di elicitazione tramite prompt, rimuoverebbe la diluizione della capacità e permetterebbe una comunicazione dell'incertezza calibrata e in linguaggio naturale.

In conclusione, il lavoro funge da prova di concetto che la decomposizione dell'incertezza abilita nuove capacità degli agenti, ma pone l'ipotesi che il passo successivo richieda lo spostamento di questi meccanismi dal prompt al modello stesso attraverso l'addestramento basato sull'allineamento.