When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

Riepilogo Tecnico: Plan, Align, Commit, Think (PACT)

Problematica

Gli agenti di Reinforcement Learning (RL) addestrati con politiche model-free standard eccellono in ambienti familiari, ma le loro prestazioni degradano significativamente quando vengono impiegati in condizioni o contesti nuovi. Questa limitazione deriva dalla loro natura puramente reattiva: mappano gli stati alle azioni senza una deliberazione esplicita o una capacità di lookahead (previsione). Sebbene i Large Language Models (LM) offrano conoscenze trasferibili e un ragionamento di senso comune adatto alla pianificazione di alto livello, essi affrontano due barriere critiche in questo dominio:

1. Affidabilità: Anche i modelli frontiera faticano a gestire costantemente la pianificazione multi-step e il tracciamento dello stato in modo autonomo.
2. Efficienza: I modelli grandi sono computazionalmente costosi, rendendoli impraticabili per il processo decisionale a bassa latenza e in tempo reale.

Gli approcci ibridi esistenti spesso trattano gli LM come consulenti a livello di singolo step (interrogando il modello ad ogni passo incerto) o richiedono l'ingegnerizzazione manuale di modelli di pianificazione (come nei sistemi BDI), fallendo nel colmare il divario tra esecuzione reattiva e pianificazione a lungo termine senza un costoso riaddestramento.

Metodologia: L'Architettura PACT

Gli autori propongono Plan, Align, Commit, Think (PACT), un'architettura ibrida che integra una politica di RL veloce e reattiva con un pianificatore basato su un Small Language Model (SLM) lento e deliberativo. Ispirandosi alla teoria dei processi duali di Kahneman e ai sistemi Belief-Desire-Intention (BDI), PACT separa il processo decisionale in due componenti:

1. Componente Veloce (RL Reattivo): Una politica pre-addestrata (es. PPO) gestisce il processo decisionale in condizioni familiari. Opera continuamente a meno che non venga attivata diversamente.
2. Componente Lenta (SLM Deliberativo): Un SLM asincrono (specificamente un modello da 2 miliardi di parametri) viene invocato solo quando l'incertezza epistemica della politica RL supera una soglia prestabilita ($\tau$).

Il processo PACT consiste in tre moduli distinti:

• Generazione del Piano (Plan Generation): In caso di alta incertezza, l'SLM viene istruito con la descrizione del compito e l'osservazione corrente per generare una sequenza di azioni candidata ($\rho$) di al massimo $n$ step. Questa generazione si basa su una funzione di transizione, artigianale o appresa, per simulare stati futuri all'interno del prompt.
• Verifica del Piano (Plan Verification): Il piano candidato viene simulato per garantire che sia sicuro (nessuna violazione dei vincoli), fattibile (all'interno dello spazio delle azioni) e completo (raggiunge l'obiettivo). Se si verifica una violazione, l'SLM viene istruito per rigenerare un piano sicuro.
• Allineamento dell'Agente (Agent Alignment): Questo modulo colma il divario tra la simulazione idealizzata utilizzata per la pianificazione e lo stato effettivo attuale dell'agente. Se l'agente si è allontanato dal piano a causa di transizioni stocastiche, l'SLM viene istruito per generare una breve traiettoria per guidare l'agente verso il waypoint più vicino raggiungibile nel piano verificato.

Strategia di Esecuzione: Una volta che un piano è verificato e allineato, il sistema si impegna (commit) su di esso. La politica RL reattiva viene bypassata e l'agente esegue direttamente le azioni del piano finché il piano non viene completato, l'obiettivo non viene raggiunto o non si verifica un fallimento. Questo meccanismo di impegno distingue PACT dagli approcci di consulenza a livello di step, che mancano di una traiettoria unificata per recuperare dalle deviazioni.

Contributi Chiave

• Architettura Ibrida: Un nuovo framework che combina l'RL reattivo con la pianificazione deliberativa di un SLM senza richiedere il riaddestramento della politica RL.
• Meccanismo di Impegno (Commitment): A differenza degli advisor a livello di step, PACT si impegna su una traiettoria verificata e strutturata, permettendo all'agente di recuperare dalle deviazioni stocastiche riallineandosi al piano invece di interrogare nuovamente il modello ad ogni passo.
• Efficienza con Modelli Piccoli: Dimostra che gli SLM da 2 miliardi di parametri, se inseriti in un ciclo di verifica e impegno, possono superare modelli più grandi o politiche RL stand-alone in ambienti complessi e incerti.
• Pianificazione Innescata dall'Incertezza: Il sistema invoca la deliberazione solo quando la politica RL presenta un'incertezza epistemica, ottimizzando il compromesso tra velocità e profondità della pianificazione.

Risultati Sperimentali

Gli autori hanno valutato PACT sull'ambiente FrozenLake attraverso tre configurazioni di difficoltà crescente:

1. 6×6 (Deterministico): PACT ha ottenuto un reward di 0.98 ± 0.14, superando PPO (0.93), lo SLM stand-alone (0.47) e altri baseline LM-RL (SAYCAN: 0.88, ASK: 0.89).
2. 6×6 (Stocastico/Scivoloso): PACT ha mantenuto alte prestazioni (0.93 ± 0.26), mostrando robustezza alla stocasticità. Al contrario, PPO è sceso a 0.64, SAYCAN a 0.53 e ASK a 0.63. PACT ha richiesto una media di 2.85 ri-pianificazioni per episodio a causa delle deviazioni stocastiche, ma ha mantenuto un alto tasso di successo.
3. 8×8 (Lungo Orizzonte): PACT ha raggiunto un reward perfetto di 1.00 ± 0.00 con varianza zero. PPO è sceso a 0.79, SAYCAN a 0.62 e ASK a 0.74. Lo SLM stand-alone ha performato scarsamente (0.42) con alta varianza, indicando un vagabondaggio senza direzione in assenza di verifica.

Risultati Principali:

• Uso dell'LM vs Prestazioni: Le prestazioni di PACT non sono correlate alla frequenza delle query all'LM, ma alla struttura e all'impegno (commitment) verso i piani generati. Ad esempio, SAYCAN ha interrogato l'LM con una frequenza simile (59.7%) nell'impostazione stocastica, ma ha ottenuto reward significativamente inferiori (0.53) perché mancava di impegno verso il piano.
• Scalabilità: L'uso dell'LM in PACT è aumentato con la difficoltà del compito (27.9% nel deterministico, 58.4% nello stocastico, 81.2% nel lungo orizzonte), indicando che il sistema alloca dinamicamente le risorse deliberative in base alle richieste dell'ambiente.

Significatività e Affermazioni

Il paper sostiene che la pianificazione deliberativa e l'esecuzione reattiva sono più potenti insieme che separatamente. Nello specifico, PACT dimostra che:

• L'impegno è critico: La capacità di impegnarsi in un piano verificato e di riallinearsi ad esso, piuttosto che trattare l'LLM come un consulente passo dopo passo, fornisce una robustezza contro la stocasticità e i lunghi orizzonti che altri metodi non possiedono.
• La verifica riduce i requisiti di scala: Avvolgendo l'SLM in un ciclo di verifica basato sulla simulazione, il sistema non richiede un numero enorme di parametri per ottenere una pianificazione affidabile; un modello da 2 miliardi di parametri è sufficiente.
• Nessun Riaddestramento Richiesto: L'architettura consente l'integrazione di agenti pre-addestrati con gli LLM senza la necessità di costosi riaddestramenti o fine-tuning della politica RL.

Limitazioni:
Gli autori riconoscono che PACT attualmente si affida a una funzione di transizione artigianale o appresa per la simulazione del piano, limitando l'applicabilità ad ambienti in cui tali dinamiche sono disponibili. Inoltre, la valutazione è stata limitata a compiti di raggiungimento diretto del target, e le prestazioni del sistema in compiti che richiedono una complessa decomposizione in sotto-obiettivi (es. ambienti "Door Key") rimangono un oggetto per la futura validazione empirica.