Riepilogo Tecnico: Grounded Iterative Language Planning (GILP)

1. Definizione del Problema

Il documento affronta la sfida della propagazione delle allucinazioni nei compiti di pianificazione a lungo orizzonte eseguiti da agenti basati su Large Language Models (LLM). Nella pianificazione standard basata su agenti (es. ReAct, Chain-of-Thought), l'LLM funge sia da pianificatore che da modello del mondo basato sull'agente. Esso genera un'azione e simultaneamente predice lo stato successivo (un "delta") in linguaggio naturale o in JSON strutturato.

Il problema centrale è che gli errori in queste predizioni di stato sono allucinazioni semantiche (ad esempio, affermare che un compito è completato quando non lo è, o ignorare una dipendenza). A differenza dei modelli parametrizzati, questi errori non sono facilmente quantificabili tramite standard di perdita di regressione (come l'MSE). Una volta che un atomo di stato allucinato entra nella finestra di contesto, esso si propaga attraverso i passaggi successivi, causando una cascata di azioni non valide e il fallimento del compito. Il documento nota che, sebbene i modelli basati su agenti eccellano nel ragionamento semantico, i loro tassi di errore aumentano significativamente su orizzonti lunghi (raggiungendo una probabilità di errore per passaggio di 0,393 al decimo step negli esperimenti).

Al contrario, i modelli del mondo parametrizzati (predittori di transizione addestrati) offrono metriche di errore supervisionate misurabili (NodeMSE, accuratezza del delta), ma spesso mancano della flessibilità semantica necessaria per ragionare su obiettivi complessi e nuovi, risultando in tassi di successo autonomi inferiori.

2. Metodologia: Grounded Iterative Language Planning (GILP)

GILP è un'architettura ibrida progettata per combinare il ragionamento semantico degli agenti LLM basati su API con i segnali di transizione misurabili di un piccolo backbone parametrizzato addestrato. Il sistema opera in un ciclo iterativo composto da quattro fasi distinte:

Fase 1: Scansione dello Scheletro Parametrizzato (Parameterized Skeleton Scoring)

Una piccola rete neurale addestrata (il "backbone", tipicamente una Graph Neural Network o un MLP) riceve lo stato corrente $G_t$ e le azioni candidate $A_t$. Essa predice:

• Validità dell'azione ($p_{valid}$)
• Delta dello stato ($\hat{\Delta}G$)
• Rischio ($\hat{\rho}$)
• Valore ($\hat{U}$)
• Probabilità di completamento ($\hat{p}_{done}$)

Il backbone comprime l'insieme delle azioni candidate in uno "scheletro" (i top-$k$ azioni per valore e rischio) per ridurre l'overhead della finestra di contesto.

Fase 2: Bozza dell'LLM (LLM Draft)

L'agente LLM riceve lo stato serializzato, l'obiettivo e lo scheletro della Fase 1. Esso redige un'azione e un delta dello stato immaginato successivo ($\tilde{\Delta}_t$) in formato JSON strutturato. Questa fase sfrutta le capacità di ragionamento dell'LLM.

Fase 3: Gate di Consistenza e Ri-prompting Correttivo (Consistency Gate and Corrective Re-prompting)

Questo è il meccanismo centrale per la riduzione delle allucinazioni. Il sistema confronta il delta immaginato dall'LLM ($\tilde{\Delta}_t$) con il delta predetto dal backbone ($\hat{\Delta}G$) utilizzando la similarità di Jaccard sull'insieme dei nodi modificati.

• Alta Consistenza ($\ge 0,70$): L'azione viene accettata.
• Consistenza Media ($0,30 \le cons < 0,70$): L'azione viene accettata ma penalizzata nel ranking.
• Bassa Consistenza ($< 0,30$): Viene attivato un ri-prompt correttivo. Il sistema invia un messaggio mirato all'LLM elencando esplicitamente i nodi in cui il backbone e l'LLM discordano (ad esempio, "Nodo X: il backbone predice in sospeso, tu hai immaginato completato"). All'LLM viene chiesto di rivedere la propria azione o il proprio delta di stato. Questa correzione è limitata a una revisione per passaggio per contenere i costi.

Fase 4: Gate del Rischio (Risk Gate)

Se il rischio predetto dal backbone per l'azione scelta supera una soglia ($\rho_{th} = 0,65$), viene attivata una terza chiamata all'LLM per avvertire l'agente e restringere lo spazio delle azioni alle opzioni a basso rischio, prevenendo fallimenti catastrofici (ad esempio, riprovare un compito con una causa radice non risolta).

3. Contributi Chiave

1. Framework Comparativo: Il documento inquadra la pianificazione a lungo orizzonte come un compromesso tra due famiglie di modelli del mondo: modelli basati su agenti, flessibili ma soggetti ad allucinazioni, e modelli parametrizzati, misurabili ma semanticamente più deboli.
2. Metriche Operative delle Allucinazioni: Definisce metriche specifiche per gli errori degli agenti che vanno oltre le standard funzioni di perdita:
   • Tasso di Stato Allucinato (HSR - Hallucinated-State Rate): La frazione di atomi di stato immaginati che discordano dalla verità fondamentale (ground truth).
   • Profondità di Propagazione (PD - Propagation Depth): Il numero medio di passaggi successivi condizionati da un atomo allucinato.
   • Pendenza dell'Esplosione dell'Errore (EES - Error-Explosion Slope): Il tasso con cui gli errori si accumulano nel tempo.
3. Architettura GILP: L'introduzione di un sistema ibrido che utilizza un piccolo backbone addestrato non per risolvere il compito, ma per fornire un "segnale di ancoraggio" (validità, delta, rischio) per correggere le predizioni di stato dell'LLM tramite un gate di consistenza.
4. Validazione Empirica: Valutazione estesa su quattro benchmark strutturati a grafo (TaskGraph, ToolChain, ResourceAlloc, RepairFlow) e chiamate API reali (GPT-4o-mini).

4. Risultati Sperimentali

I risultati derivano da un simulatore comportamentale calibrato (validato contro esecuzioni reali di GPT-4o-mini) e test diretti API.

• Tasso di Successo (SR - Success Rate): GILP raggiunge un tasso di successo di 0,838 sui benchmark aggregati, superando significativamente il miglior baseline basato solo su agente (Agent-Replan a 0,668) e i pianificatori basati solo su parametri (0,565–0,625).
• Riduzione delle Allucinazioni:
  • Simulatore: L'HSR scende da 0,205 (Agent-Replan) a 0,079 (GILP).
  • API Reale (GPT-4o-mini): L'HSR scende da 0,176 a 0,035 (una riduzione relativa dell'80%).
• Performance a Lungo Orizzonte: Per compiti con orizzonti $H > 10$, il tasso di successo dell'agente singolo crolla a 0,471, mentre GILP mantiene 0,758.
• Efficienza dei Costi: GILP aggiunge circa il 22% di chiamate LLM extra per passaggio (a causa delle correzioni occasionali e dei gate di rischio), ma riduce il numero totale di token richiesti per compito risolto rispetto agli agenti non corretti perché risolve più episodi.
• Forza del Backbone: Il backbone parametrizzato non deve essere un pianificatore forte. Anche un debole MLP (SR autonomo di 0,509) migliora significativamente il sistema ibrido (SR 0,768) quando utilizzato come segnale di ancoraggio.
• Robustezza Multi-API: GILP equalizza le performance tra diversi API LLM (GPT-4o-mini, Claude-3-Haiku, Gemini-1.5-Flash, Llama-3-8B), riducendo la varianza dell'HSR e rendendo i modelli open-source competitivi con quelli proprietari quando ancorati.

5. Significato e Rivendicazioni

Il documento sostiene che il contributo primario non è la superiorità del modello parametrizzato, ma la divisione del lavoro che esso abilita. L'agente mantiene il suo ragionamento semantico e la sua flessibilità, mentre il backbone parametrizzato fornisce un segnale "economico, misurabile e verificabile" per rilevare e correggere le allucinazioni di stato dell'LLM prima che si propaghino.

Gli autori sottolineano che:

• L'allucinazione è un problema di propagazione: Un singolo token errato può invalidare un intero percorso; GILP interrompe questa cascata.
• L'addestramento limitato è sufficiente: Un piccolo backbone addestrato è sufficiente per ancorare un agente basato su API; non deve sostituire le capacità di ragionamento dell'agente.
• La correzione mirata è efficiente: Il gate di consistenza attiva i ri-prompt solo quando necessario (circa il 22% dei passaggi), evitando l'alto costo di verificare ogni passaggio con un modello di grandi dimensioni.

Il documento conclude che GILP offre una strada pratica per ridurre le allucinazioni negli agenti autonomi senza sacrificare le capacità di ragionamento dei Large Language Models, ottenendo alti tassi di successo con solo un marginale aumento del costo computazionale.