Sintesi Tecnica: ASK nel Buio (ASK in the Dark)

Definizione del Problema

Gli agenti di reinforcement learning (RL) che operano sotto osservabilità parziale (POMDP) devono agire su informazioni incomplete, spesso basandosi su osservazioni egocentriche che non riescono a distinguere tra stati sottostanti distinti. Sebbene i piccoli modelli linguistici (SLM) possiedano ampi priori di ragionamento che potrebbero guidare tali agenti, l'integrazione di essi in contesti di osservabilità parziale si è rivelata difficile. Il lavoro precedente, nello specifico il framework ASK, utilizzava query regolate dall'incertezza per consultare gli SLM solo quando l'entropia predittiva di una policy RL superava una determinata soglia. Tuttavia, in ambienti con osservabilità parziale, il vanilla ASK non è riuscito a migliorare le prestazioni, ottenendo un tasso di sovrascrittura vicino allo zero. L'SLM veniva interrogato ma quasi mai deviava dal suggerimento della policy, agendo come un validatore passivo piuttosto che come un correttore attivo. Gli autori ipotizzano che questo fallimento derivi da un collo di bottiglia del contesto (context bottleneck): il "prompt egocentrico nudo" forniva un contesto globale insufficiente affinché l'SLM potesse esercitare le proprie capacità di ragionamento, piuttosto che una limitazione nella capacità del modello stesso.

Metodologia: ASK+

Il documento propone ASK+, un'estensione del framework ASK progettata per risolvere il collo di bottiglia del contesto nei POMDP. L'innovazione principale risiede nella trasformazione del prompt dell'SLM da un'osservazione statica a un'interfaccia consapevole dello stato e della traiettoria.

1. Prompting Stateful (Consapevole dello Stato)

A differenza del vanilla ASK, che interroga l'SLM solo con l'osservazione corrente, ASK+ costruisce un prompt ($Pr$) che include:

• Mappa parzialmente rivelata: Caratteristiche ambientali derivate e anteprime delle azioni locali per abilitare l'inferenza spaziale.
• Memoria episodica: Una cronologia delle posizioni visitate e una storia delle azioni accumulate durante l'episodio ($\sigma$).
• Ragionamento strutturato: Un meccanismo di "catena di pensiero" (chain-of-thought) vincolato in cui l'SLM ha un budget allocato (10 token) per il calcolo deliberato prima di produrre un'azione.

2. Query Regolata dall'Incertezza

Il sistema mantiene il meccanismo di gating dell'incertezza di ASK, ma lo applica al contesto arricchito:

• Segnale di incertezza: La policy RL (PPO) utilizza il Monte Carlo (MC) Dropout per stimare l'entropia predittiva totale ($H(o)$) tramite $N$ passaggi stocastici in avanti. Questo segnale cattura sia l'incertezza aleatoria (ambiguità genuina dell'osservazione) che l'incertezza epistemica (copertura di addestramento insufficiente).
• Logica di Gating: Se $H(o) \geq \tau$ (una soglia ottimizzata tramite ottimizzazione bayesiana), l'SLM viene interrogato. Se la risposta dell'SLM è valida, sovrascrive l'azione della policy ($a'$); altrimenti, la policy esegue la sua azione predefinita ($a$).

3. Architettura

• Policy RL: Una standard policy actor-critic PPO addestrata indipendentamente senza interazione con l'SLM. Rimane piccola e focalizzata sugli stati in-distribution.
• SLM Consultant: Utilizza modelli Qwen3.5 (2B e 4B parametri) senza fine-tuning. Il sistema si affida alla conoscenza del mondo pre-addestrata dell'SLM per gestire gli stati ad alta incertezza che la policy RL non riesce a risolvere.

Contributi Chiave

1. Diagnosi del Collo di Bott Bottiglia del Contesto: Gli autori identificano che il fallimento dell'assistenza regolata dall'incertezza nei POMDP è dovuto a un contesto di prompting insufficiente, non alla capacità del modello. Dimostrano che fornire un contesto consapevole della traiettoria trasforma l'SLM da un controllo di ridondanza passivo a un consulente informativo.
2. Framework ASK+: Introducono una strategia di prompting stateful che fornisce all'SLM mappe, posizioni visitate e cronologia delle azioni, consentendo al modello di ragionare sulle traiettorie piuttosto che su istantanee isolate.
3. Validazione dei Segnali di Incertezza: Il documento stabilisce che l'entropia predittiva totale rimane un segnale informativo per la query selettiva nei POMDP, misurando efficacementamente l'incertezza dell'azione anche quando l'incertezza dello stato è elevata.
4. Scala del Modello vs. Design del Prompt: I risultati empirici mostrano che il design del prompt e il gating selettivo dominano le prestazioni rispetto alla scala del modello, con il modello da 2 miliardi di parametri che eguaglia o supera quello da 4 miliardi in tutti gli ambienti.

Risultati Sperimentali

Gli autori hanno valutato ASK+ attraverso tre ambienti complementari con osservabilità parziale: FourRooms (grounding spaziale), DoorKey (sotto-compiti sequenziali) e HigherLower (memoria temporale/tracciamento carte).

• Guadagni di Performance:
  • FourRooms: Il tasso di successo è aumentato dal 53% (PPO) e 55% (vanilla ASK) al 70% (ASK+).
  • DoorKey: Il tasso di successo è migliorato dall'89% (PPO) e 89-92% (vanilla ASK) al 93% (ASK+).
  • HigherLower: L'accuratezza ha raggiunto il 73,7%, eguagliando il limite superiore dell'SLM e superando il 72% di PPO.
• Tassi di Sovrascrittura: Il vanilla ASK ha mostrato tassi di sovrascrittura vicini allo zero (0.00–0.01), confermando che raramente correggeva la policy. ASK+ ha ottenuto tassi di sovrascrittura non nulli (0.01–0.06), indicando che l'SLM ha fornito una guida genuinamente correttiva.
• Efficienza del Modello: Qwen3.5-2B ha costantemente eguagliato o superato Qwen3.5-4B, confermando che scalare i parametri del modello è meno critico rispetto all'ottimizzazione della struttura del prompt e del meccanismo di gating.
• Robustezza a Policy Subottimali: ASK+ ha dimostrato la capacità di compensare checkpoint PPO deboli. In scenari in cui la policy PPO era scarsamente addestrata, il tasso di intervento (IR) è aumentato e ASK+ ha recuperato significativamente le prestazioni, suggerendo che il sistema funzioni come uno strato correttivo general-purpose.

Significato e Rivendicazioni

Il documento sostiene che l'assistenza di un SLM regolata dall'incertezza è fondamentalmente percorribile sotto osservabilità parziale, a condizione che l'SLM riceva un contesto sufficiente per ragionare. Il contributo primario non è un nuovo algoritmo di RL o un modello più grande, ma una strategia di prompt engineering che sblocca le capacità di ragionamento latenti dei piccoli modelli in ambienti ambigui.

Gli autori affermano che il "prompt egocentrico nudo" è stato il punto critico di fallimento degli approcci precedenti. Chiudendo questo divario di contesto, ASK+ permette ai piccoli modelli di agire come consulenti efficaci, correggendo gli errori della policy in compiti spaziali e sequenziali senza richiedere modelli su larga scala o il riaddestramento della policy sottostante. Il lavoro suggerisce che, per compiti con osservabilità parziale, la capacità di ragionamento può essere sfruttata attraverso il design del prompt e il gating selettivo piuttosto che aumentando la dimensione del modello.

La valutazione è limitata a tre ambienti specifici per stabilire una prova di concetto. Gli autori notano che lavori futuri potrebbero esplorare POMDP più ricchi, l'impatto di una cronologia obsoła e il potenziale del fine-tuning degli SLM su viste egocentriche per isolare ulteriormente i contributi del meccanismo di gating.