Riepilogo Tecnico: Ottimizzazione della Politica con Prompt Riflessivi (R2PO)

Enunciato del Problema

Gli ottimizzatori di politiche basati su Modelli Linguistici di Grandi Dimensioni (LLM) esistenti funzionano come cercatori a scatola nera che si affidano esclusivamente a feedback di ricompensa scalare. Sebbene questi metodi possano proporre nuovi parametri di politica basati sui punteggi di ricompensa storici, mancano di insight diagnostico sul perché una politica ha fallito. Un ottimizzatore vede un punteggio di 0,45 ma non può distinguere tra una politica che performa costantemente in modo insufficiente, una che rimane intrappolata in un ciclo, o una che ha successo in 19 su 20 simulazioni ma fallisce catastroficamente nella ventesima. Questa limitazione costringe gli ottimizzatori basati su LLM a fare affidamento su regolazioni per tentativi ed errori piuttosto che su correzioni mirate, spesso risultando in un addestramento instabile e in una convergenza inefficiente.

Metodologia: Framework R2PO

Gli autori propongono l'Ottimizzazione della Politica con Prompt Riflessivi (R2PO), un framework LLM a due fasi progettato per arricchire le ricompense scalari con evidenze comportamentali a livello di traiettoria. R2PO opera su classi di politiche compatte (politiche lineari per il controllo continuo e politiche tabulari per compiti discreti) e consiste nei seguenti componenti:

1. Search-LLM (Ottimizzatore Globale): Questa fase funziona in modo simile ai precedenti ottimizzatori LLM (ad es. ProPS). Data una storia di politiche valutate e le loro ricompense medie scalari, lo Search-LLM propone un vettore iniziale di parametri candidati ($\theta_{init}$).
2. Valutazione dell'Ambiente: La politica candidata viene eseguita nell'ambiente per $K$ simulazioni indipendenti, generando un insieme di traiettorie $T$ contenenti stati, azioni e ricompense.
3. Critic-LLM (Revisionista Locale): Questa fase introduce l'innovazione principale. Invece di ricevere solo la ricompensa media scalare, il Critic-LLM esamina un "pacchetto di evidenze di traiettoria calibrato" derivato dalle $K$ simulazioni. Analizza cosa è andato storto e propone una revisione mirata dei parametri ($\theta_{rev}$).
4. Meccanismo di Selezione: Sia il candidato originale ($\theta_{init}$) che quello revisionato ($\theta_{rev}$) vengono rivalutati. Il sistema mantiene quello che ottiene la ricompensa media più alta, filtrando modifiche distruttive o allucinazioni dell'LLM.

Evidenza di Traiettoria Calibrata

Per prevenire che il Critic-LLM vada in overfitting sugli outlier, R2PO costruisce il pacchetto di evidenze utilizzando tre componenti specifici:

• Traiettoria Mediana: Una singola simulazione il cui ritorno è più vicino alla mediana dei $K$ ritorni, rappresentando il comportamento tipico piuttosto che outlier di caso migliore o peggiore.
• Statistiche Aggregate delle Simulazioni: Un rapporto strutturato che riassume le ricompense medie, minime e massime, le durate degli episodi e i tassi di successo/fallimento su tutte le $K$ simulazioni. Questo comunica la frequenza dei fallimenti senza mettere in primo piano una specifica traccia fallita.
• Regola di Revisione: Un'istruzione esplicita al Critic-LLM di astenersi da cambiamenti maggiori se la ricompensa media iniziale supera una soglia ($\tau_c$) e le statistiche non indicano un pattern di fallimento coerente. Questo previene la "sovracorrezione" di politiche già forti.

Risultati Chiave e Analisi

1. Bias di Salienza

Il documento identifica una modalità di fallimento dominante denominata bias di salienza. Quando vengono presentate multiple traiettorie (ad es. migliore, peggiore e mediana), il Critic-LLM tende a fissarsi sulla traiettoria del caso peggiore come rappresentativa, anche quando la maggior parte delle simulazioni indica un comportamento di successo. In una variante a tre traiettorie sull'ambiente CartPole, questo bias ha rappresentato il 76,6% delle regressioni di prestazioni. L'LLM diagnosticava un problema basandosi su un singolo fallimento sfortunato e proponeva modifiche che distruggevano le prestazioni della politica nelle altre 19 simulazioni di successo.

2. Studi di Ablazione

Ablazioni sistemiche su dieci ambienti dimostrano che il successo di R2PO dipende dalla combinazione di tre fattori, nessuno dei quali è sufficiente da solo:

• Architettura a Due Fasi: Separare la proposta globale dalla revisione locale, basata sul comportamento, è essenziale. Un singolo prompt ricco (CriticOnly) o una ricerca sequenziale solo scalare (ActorSecondPass) non riescono a eguagliare le prestazioni di R2PO.
• Revisione Basata su Traiettoria: L'uso di evidenze reali di simulazione (traiettoria mediana + statistiche) supera significativamente il feedback solo scalare.
• Meccanismo di Selezione: Un passaggio di selezione "mantieni il migliore" è critico. Senza di esso (AlwaysCritic), l'alta varianza delle modifiche condizionate alla traiettoria porta a frequenti regressioni.

3. Risultati Empirici

Utilizzando un modello open-weight da 20 miliardi di parametri relativamente piccolo (gpt-oss:20b), R2PO è stato valutato su dieci ambienti (inclusi CartPole, InvertedPendulum, Pong e compiti personalizzati Maze/Nim) confrontato con baseline solide (ProPS, ProPS+ e gli algoritmi Stable-Baselines3 con le migliori prestazioni come PPO, SAC, TRPO).

• Prestazioni: R2PO ha ottenuto la ricompensa media più alta su 9 su 10 ambienti e ha pareggiato nel decimo (MountainCarContinuous). Ha raggiunto la ricompensa massima possibile su CartPole (500), InvertedPendulum (1000), Pong (3,0) e Nim (1,0).
• Efficienza: R2PO ha raggiunto prestazioni quasi ottimali sostanzialmente prima delle baseline (ad es., ricompensa quasi massima su CartPole entro ~500 episodi, rispetto a ~4.000 per ProPS+ e SB3).
• Stabilità: R2PO ha mantenuto politiche forti una volta trovate, mostrando un divario molto più piccolo tra ricompensa media e migliore rispetto ai precedenti metodi LLM, che spesso mostravano alta varianza e picchi isolati.
• Efficienza delle Risorse: Anche confrontato con i risultati di ProPS ottenuti con il doppio del budget di interazione (8.000 episodi) e un modello proprietario più grande (GPT-4o), R2PO (addestrato su 4.000 episodi con un modello open da 20B) ha eguagliato o superato le baseline su 9 su 10 ambienti.

Significato e Affermazioni

Il documento afferma che trattare le traiettorie come evidenze contestuali di prima classe, invece di ridurle a ritorni scalari, cambia fondamentalmente il modo in cui gli LLM possono cercare spazi di politiche. I contributi chiave sono:

1. Precisione Diagnostica: R2PO permette agli LLM di apprendere più velocemente e diagnosticare i fallimenti con maggiore precisione sfruttando evidenze comportamentali, andando oltre la regolazione per tentativi ed errori.
2. Mitigazione dei Bias degli LLM: Il framework mitiga con successo il "bias di salienza" intrinseco nel ragionamento degli LLM su multiple fonti di evidenze utilizzando statistiche aggregate e traiettorie mediane, piuttosto che tracce grezze del caso peggiore.
3. Accessibilità: I risultati dimostrano che questi benefici non sono limitati a modelli proprietari di grandi dimensioni; un modello open-weight da 20B è sufficiente per superare le baseline di RL profondo e i precedenti metodi basati su LLM quando l'architettura è correttamente progettata.

Gli autori notano limitazioni, in particolare che il metodo si concentra attualmente su classi di politiche compatte (lineari e tabulari) e richiede una calibrazione manuale grossolana della soglia di revisione $\tau_c$. Viene proposto un lavoro futuro per estendere R2PO a politiche neurali ad alta dimensionalità e per sviluppare meccanismi di calibrazione adattiva.