Riepilogo Tecnico: Scoperta di Interfacce per l'Apprendimento per Rinforzo con Modelli Linguistici di Grande Dimensione

Formulazione del Problema

I sistemi di apprendimento per rinforzo (RL) si basano su interfacce ambientali—nello specifico mappature di osservazione ($\phi$) e funzioni di ricompensa ($R$)—per definire il Processo Decisionale di Markov (MDP) che un agente esperisce. Sebbene i recenti progressi abbiano sfruttato i Modelli Linguistici di Grande Dimensione (LLM) per automatizzare la progettazione delle ricompense, questi approcci assumono tipicamente uno spazio di osservazione fisso e pre-sintonizzato. In molti scenari, gli stati grezzi del simulatore contengono informazioni scarsamente strutturate che ostacolano l'apprendimento, e l'ingegnerizzazione manuale sia delle osservazioni che delle ricompense rimane un collo di bottiglia significativo.

Questo articolo affronta il problema della scoperta di interfacce RL a partire dallo stato grezzo del simulatore. L'obiettivo è sintetizzare congiuntamente una mappatura di osservazione $\phi: S \to O$ e una funzione di ricompensa $R: S \times A \times S \to \mathbb{R}$ per massimizzare una metrica di successo a livello di traiettoria $F$. Gli autori formalizzano questo come un problema di ottimizzazione a due livelli, in cui il ciclo esterno ricerca l'interfaccia ottimale $(\phi, R)$, mentre il ciclo interno addestra un agente RL $\pi$ sull'MDP indotto $M_I = (O, A, T_\phi, R)$ per valutare le prestazioni. Lo spazio di ricerca è costituito da programmi eseguibili che operano direttamente sulle variabili di stato del simulatore.

Metodologia: LIMEN

Gli autori propongono LIMEN (Learning Interfaces via MDP-guided EvolutioN), un framework evolutivo guidato da LLM progettato per scoprire interfacce efficaci.

Componenti Principali

1. Rappresentazione come Programma Esegubile: Sia la mappatura di osservazione che la funzione di ricompensa sono rappresentate come programmi Python che utilizzano operazioni numeriche compatibili con JAX. Ciò consente alla ricerca di alterare la dimensionalità, la struttura e la semantica dello spazio di input dell'agente e del segnale di ricompensa, piuttosto che limitarsi a imparare embedding all'interno di uno spazio fisso.
2. Evoluzione Guidata da LLM: Il framework tratta l'LLM come un operatore di mutazione strutturato. Partendo da una descrizione del compito, il sistema genera interfacce candidate. Nelle iterazioni successive, l'LLM riceve un prompt contenente la descrizione del compito, un'interfaccia genitore selezionata da un archivio e feedback dai candidati migliori e falliti (inclusi i tracciati degli errori). Questo ciclo di feedback guida l'LLM lontano da pattern di codice negativi.
3. Ricerca per Qualità-Diversità (MAP-Elites): Per impedire che la ricerca collassi in una singola strategia, LIMEN impiega un archivio MAP-Elites. L'archivio è strutturato da due descrittori comportamentali:
   • Dimensionalità dell'Osservazione: Suddivisa in intervalli uniformi (ad esempio, 1–50, 51–100 caratteristiche).
   • Complessità Strutturale della Ricompensa: Misurata dal conteggio dei nodi dell'Albero Sintattico Astratto (AST).
     Ciò garantisce il mantenimento di soluzioni strutturalmente diverse (ad esempio, osservazioni compatte con ricompense semplici rispetto a osservazioni complesse con shaping intricato).
4. Cascata di Valutazione: Per gestire i costi computazionali, i candidati subiscono un filtro a cascata con "budget ridotto". Le interfacce devono superare una soglia minima di successo in una run di addestramento troncata prima di procedere alla valutazione completa su più semi. L'idoneità (fitness) è definita come la media dei tassi di successo sui semi di valutazione.

Setup Sperimentale

Gli autori hanno valutato LIMEN su cinque nuovi compiti che spaziano dal ragionamento discreto al controllo continuo:

• XLand-MiniGrid (Discreto): Tre compiti di complessità compositiva crescente (Facile: presa di oggetti; Medio: posizionamento relazionale; Difficile: catene di regole multi-step). Le osservazioni predefinite sono griglie egocentriche appiattite.
• MuJoCo Robotics (Continuo): Due compiti (Go1 Push Recovery: equilibrio di un quadrupede sotto forza; Panda Tracking: inseguimento di traiettorie da parte di un manipolatore). Questi compiti presentano ricompense sparse e controllo ad alta dimensionalità.

Gli esperimenti hanno confrontato la Scoperta Congiunta (LIMEN) con tre baseline:

• Sparse: Osservazioni grezze con ricompense di successo binarie.
• Obs-Only: Evoluzione delle osservazioni con ricompensa fissa.
• Reward-Only: Evoluzione delle ricompense con osservazioni grezze fisse (istanziando metodi come Eureka).

Risultati Chiave

1. Superiorità dell'Ottimizzazione Congiunta: LIMEN ha costantemente superato tutte le baseline. Ha raggiunto alti tassi di successo su tutti i compiti (99% su Facile/Medio, 85% su Difficile, 45% su Panda, 48% su Go1).
2. Fallimento Catastrofico dell'Ottimizzazione a Singolo Componente:
   • Reward-Only ha fallito sui compiti compositi di gridworld (19% su Medio, 1% su Difficile), indicando che anche ricompense ben strutturate non possono compensare osservazioni non strutturate in questi domini.
   • Observation-Only ha fallito completamente nel compito di inseguimento di Panda (0% di successo), dimostrando che le osservazioni grezze sono insufficienti quando il segnale di ricompensa è troppo sparso per guidare l'apprendimento.
   • Ciò conferma che domini diversi falliscono per ragioni fondamentalmente diverse, rendendo necessario un co-design.
3. Necessità del Feedback Evolutivo: Una baseline di campionamento indipendente da LLM (30 campioni casuali senza selezione evolutiva) ha performato significativamente peggio di LIMEN (ad esempio, 2,1% contro 97% su Medio). Ciò indica che il prior dell'LLM sulle design delle interfacce non è sufficiente da solo; il ciclo iterativo di valutazione e raffinamento è essenziale per navigare lo spazio combinatorio.
4. Robustezza: Le interfacce evolute hanno mantenuto la struttura rilevante per il compito sotto spostamenti di distribuzione (ad esempio, forze di spinta aumentate o velocità di inseguimento), degradando con eleganza invece di collassare, suggerendo la scoperta di pattern strutturali generalizzabili.

Analisi delle Interfacce Scoperte

L'analisi dei programmi evoluti ha rivelato pattern coerenti e interpretabili che ricordano le strategie manuali di ingegnerizzazione RL:

• Osservazioni: Costruzione frequente di caratteristiche geometriche relative (distanze normalizzate, indicatori direzionali), codifiche multi-scala e indicatori espliciti della fase del compito.
• Ricompense: Incorporazione di shaping basato su potenziali, bonus per traguardi nelle transizioni di fase e penalità per la regolarità.
• Scoperta Strutturale: Nel compito Go1, l'evoluzione ha scoperto un cambiamento strutturale nella funzione di ricompensa (rimozione di un "gate di verticalità" sulle ricompense di posizione) che ha migliorato significativamente la dinamica di apprendimento, dimostrando la capacità del sistema di modificare la struttura della ricompensa, non solo i suoi parametri.

Significato e Affermazioni

L'articolo afferma che la costruzione automatica di interfacce RL a partire dallo stato grezzo può ridurre sostanzialmente lo sforzo di ingegnerizzazione manuale. Il contributo principale è la dimostrazione che i componenti di osservazione e ricompensa spesso beneficiano di un co-design, poiché la loro ottimizzazione in isolamento porta a fallimenti catastrofici in almeno uno dei domini all'interno della suite di valutazione.

Gli autori posizionano LIMEN come un passo verso l'automazione del "bias induttivo" dei problemi RL. Cercando su programmi eseguibili che definiscono l'MDP indotto stesso, il metodo produce artefatti di codice interpretabili e trasferibili piuttosto che embedding neurali appresi. Il lavoro evidenzia che, mentre i metodi attuali si concentrano sulla progettazione delle ricompense, l'interfaccia di osservazione è ugualmente critica e spesso il fattore limitante in compiti complessi e compositivi.

Limitazioni: Gli autori riconoscono che l'approccio si basa sull'accesso a variabili di stato strutturate del simulatore (informazioni privilegiate) e su una metrica di successo affidabile a livello di traiettoria. Inoltre, il costo computazionale rimane un collo di bottiglia, scalando con i requisiti di addestramento RL, sebbene il parallelismo basato su JAX mitighi questo aspetto per gli esperimenti attuali. Viene suggerito lavoro futuro per ambienti su scala più ampia e osservazioni basate sulla visione.