ReDAct: Uncertainty-Aware Deferral for LLM Agents

1. Il Problema

Gli agenti basati su Large Language Models (LLM) stanno diventando sempre più popolari per la risoluzione di problemi complessi di decisione sequenziale in ambienti interattivi (es. robotica, navigazione in ambienti simulati). Tuttavia, questi agenti ereditano la tendenza degli LLM a "allucinare", portando a decisioni errate.
In contesti sequenziali come ALFWorld (task domestici testuali) e MiniGrid (ambienti a griglia), un singolo errore può degradare irreversibilmente l'intera traiettoria dell'agente, rendendo il fallimento dell'episodio quasi certo.
Esiste un compromesso (trade-off) fondamentale:

• I modelli piccoli ed economici sono veloci e a basso costo, ma più propensi a commettere errori e allucinazioni.
• I modelli grandi e costosi sono più affidabili, ma il loro utilizzo per ogni singolo passo comporta costi di inferenza proibitivi.

La sfida consiste nel trovare un modo per ottenere la qualità decisionale dei modelli grandi mantenendo i costi dei modelli piccoli, senza ricorrere a un routing casuale o statico.

2. Metodologia: ReDAct (Reason-Defer-Act)

Gli autori propongono ReDAct, un framework in cui un agente è dotato di due LLM:

1. Un modello piccolo ($M_{small}$), economico e utilizzato di default.
2. Un modello grande ($M_{large}$), più affidabile ma costoso.

Il funzionamento avviene in tre fasi per ogni passo temporale $t$ dell'episodio:

1. Reasoning (Ragionamento): Il modello piccolo genera una traccia di ragionamento basata sullo stato corrente e sull'obiettivo.
2. Uncertainty Estimation (Stima dell'Incertezza): Il modello piccolo propone un'azione e calcola un punteggio di incertezza ($u_t$) basato sulla distribuzione di probabilità dei token generati.
3. Deferral/Act (Deferimento o Azione):
   • Se l'incertezza $u_t$ è sotto una soglia calibrata $\tau$, l'azione proposta dal modello piccolo viene accettata ed eseguita.
   • Se l'incertezza $u_t$ supera la soglia $\tau$, la decisione viene "deferita" (rimandata) al modello grande. Il modello grande genera una nuova traccia di ragionamento e un'azione finale, che viene eseguita incondizionatamente.

Metriche di Incertezza (UQ):
Il paper valuta diverse metriche per quantificare l'incertezza a livello di azione. Le migliori prestazioni sono state ottenute con misure informative che utilizzano direttamente le probabilità dei token (senza bisogno di multiple generazioni o modelli esterni):

• Perplexity (PPL): La media logaritmica delle probabilità dei token.
• Sequence Probability (SP): La probabilità complessiva della sequenza.
• Mean Token Entropy (MTE): La media dell'entropia sui token.

Il paper dimostra che calcolare l'incertezza a livello di scelta dell'azione (dopo il ragionamento) è molto più efficace rispetto al calcolo durante la fase di ragionamento libero.

3. Contributi Chiave

• Framework ReDAct: Introduzione di un meccanismo di deferenza adattivo basato sull'incertezza predittiva per agenti LLM in ambienti sequenziali.
• Analisi delle Metriche UQ: Dimostrazione empirica che le misure di incertezza a livello di azione (in particolare PPL e SP) forniscono il segnale di deferenza più informativo, superando metodi basati sulla semantica o sul ragionamento.
• Efficienza dei Costi: Validazione che è possibile raggiungere le prestazioni di un modello grande utilizzando il modello grande solo per una frazione minima dei passi (circa il 15%), riducendo drasticamente i costi di inferenza.
• Calibrazione della Soglia: Un metodo per calibrare la soglia di deferenza $\tau$ basandosi su un numero target di chiamate al modello grande per episodio, bilanciando costi e prestazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ALFWorld e MiniGrid utilizzando modelli frontier (da 70B a 480B parametri).

• Prestazioni: Utilizzando il modello piccolo con deferenza guidata dall'incertezza (PPL), le prestazioni (tasso di successo) sono state allineate o addirittura superiori a quelle ottenute usando il modello grande in ogni singolo passo.
  • Esempio su ALFWorld: Il modello piccolo (Qwen3-80B) da solo ha un tasso di successo del 68.3%. Con la deferenza PPL verso GPT-5.2, il tasso sale al 79.8%, quasi uguale a quello di GPT-5.2 usato da solo (78.8% - nota: i valori variano leggermente in base alla configurazione, ma il punto chiave è la parità con costi ridotti).
• Riduzione dei Costi: La deferenza avviene in circa il 15% dei passi totali. Questo significa che il 85% delle decisioni è gestito dal modello economico.
• Frontiera di Pareto: I risultati mostrano che ReDAct si posiziona sulla frontiera di Pareto ottimale tra tasso di successo e costo di inferenza, superando approcci basati su deferenza casuale.
• Distribuzione delle Chiamate: A differenza della deferenza casuale (uniforme), la deferenza basata sull'incertezza concentra le chiamate al modello grande nei momenti critici (es. quando l'agente è bloccato o in una traiettoria sub-ottimale), come evidenziato dalle distribuzioni non uniformi nei grafici del paper.

5. Significato e Implicazioni

Il lavoro di ReDAct è significativo perché offre una soluzione pratica ed economica per il deployment di agenti LLM autonomi in scenari reali ad alto rischio.

• Scalabilità: Permette di utilizzare modelli piccoli (spesso eseguibili localmente) per la maggior parte delle operazioni, attivando modelli costosi solo quando strettamente necessario.
• Affidabilità: Mitiga il problema delle allucinazioni in ambienti sequenziali dove gli errori sono cumulativi e irreversibili.
• Generalizzabilità: Sebbene testato su ambienti testuali, il framework è estendibile ad altri modalità (es. visivo-testuale) e non richiede un addestramento specifico del modello (funziona in modalità inference-only).

In sintesi, ReDAct dimostra che l'incertezza quantificata può essere utilizzata come un segnale robusto per orchestrare dinamicamente l'uso di risorse computazionali eterogenee, massimizzando l'efficienza senza sacrificare la qualità delle decisioni.