Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?

1. Enunciato del Problema

Il paper affronta la sfida dell'efficienza del campione e della stabilità dell'ottimizzazione nel controllo continuo ad alta dimensionalità per la robotica utilizzando l'Apprendimento per Rinforzo (RL) profondo.

• Trade-off tra locale e globale: I metodi standard basati sul gradiente (es. TD3, SAC) eseguono aggiornamenti locali negli spazi parametrici ad alta dimensionalità. Sebbene scalabili, spesso rimangono intrappolati in regioni subottimali o convergono lentamente a causa di paesaggi non convessi. Al contrario, i metodi di ricerca globale (es. Strategie Evolutive, Addestramento Basato su Popolazione) esplorano regioni più ampie ma sostengono costi di rollout (interazioni con l'ambiente) proibitivi a causa della "maledizione della dimensionalità".
• Limitazioni della Modellazione Surrogata: L'Ottimizzazione Bayesiana (BO) tenta di ridurre i costi di rollout utilizzando modelli surrogati. Tuttavia, la BO classica fallisce negli spazi ad alta dimensionalità (da decine a centinaia di migliaia di parametri) a causa della scarsità dei dati. Inoltre, il paesaggio della politica in RL è non stazionario (evolve durante l'addestramento), violando le ipotesi di dominio fisso della BO tradizionale.
• Il Divario: Esiste la necessità di un metodo che combini l'efficienza del campione della ricerca guidata da surrogati con l'adattabilità richiesta per le politiche RL ad alta dimensionalità ed evolutive, senza richiedere budget di interazione massicci.

2. Metodologia: TFM-S3

Gli autori propongono TFM-S3 (Subspace Search guidata da Modello Fondamentale Tabellare), un framework ibrido che alterna aggiornamenti locali standard basati sul gradiente con round periodici di ricerca globale guidata da surrogati.

A. Costruzione Dinamica di Sottospazi a Bassa Dimensionalità

Invece di cercare l'intero spazio parametrico ad alta dimensionalità ($\mathbb{R}^D$), TFM-S3 limita la ricerca globale a un sottospazio a bassa dimensionalità ($\mathbb{R}^r$) aggiornato dinamicamente.

• Base Informata dal Gradiente: Ad ogni round di ricerca $t$, il metodo raccoglie le $Q$ istantanee più recenti dei gradienti della politica ($G^{(t)}$).
• Decomposizione SVD: Esegue una Decomposizione ai Valori Singolari (SVD) troncata su $G^{(t)}$ per estrarre i primi $r$ vettori singolari sinistri ($U_r$). Questi vettori formano una base ortonormale $A^{(t)}$ che cattura le direzioni di aggiornamento dominanti osservate durante l'addestramento recente.
• Adattività: Il sottospazio evolve man mano che l'addestramento procede, garantendo che la geometria della ricerca si adatti al paesaggio della politica in cambiamento, anziché affidarsi a proiezioni casuali statiche.

B. Ricerca Globale Guidata da Surrogati

All'interno del sottospazio a bassa dimensionalità, TFM-S3 esegue una ricerca iterativa per trovare candidati di politica ad alte prestazioni con un numero minimo di rollout.

1. Inizializzazione del Contesto: Un piccolo insieme di candidati di politica viene campionato nel sottospazio e valutato tramite rollout reali nell'ambiente per formare un insieme di contesto ($C$).
2. Modello Fondamentale Tabellare (TFM): Un Modello Fondamentale Tabellare pre-addestrato (nello specifico TabPFN-v2) viene utilizzato come surrogato. A differenza dei Processi Gaussiani tradizionali, i TFM sono pre-addestrati su compiti di regressione diversificati, fornendo forti bias induttivi e una generalizzazione robusta da dimensioni campionarie molto ridotte (es. $K=16$).
3. Ciclo di Raffinamento Iterativo:
   • Il TFM prevede i ritorni per un ampio pool di nuovi candidati ($N=256$) campionati intorno al candidato corrente migliore.
   • Viene selezionato il candidato con il ritorno previsto più alto.
   • Solo questo singolo candidato migliore viene valutato tramite un rollout reale.
   • Il risultato viene aggiunto all'insieme di contesto, aggiornando la condizione del TFM per la prossima iterazione.
   • Questo ciclo si ripete $T$ volte (es. 16 iterazioni) per ogni round di ricerca.
4. Aggiornamento della Politica: Il miglior candidato trovato durante il round di ricerca viene proiettato indietro nello spazio originale ad alta dimensionalità e utilizzato per inizializzare la fase successiva di addestramento locale basato sul gradiente.

3. Contributi Chiave

1. Ricerca in Sottospazio Dinamico: Gli autori introducono una procedura SVD informata dal gradiente per costruire sottospazi di politica a bassa dimensionalità che si adattano alla traiettoria di ottimizzazione in evoluzione, risolvendo il problema della non stazionarietà intrinseco nell'RL.
2. Surrogati basati su Modelli Fondamentali: Dimostrano che i Modelli Fondamentali Tabellari pre-addestrati possono fungere da surrogati efficaci e privi di sintonizzazione per la previsione dei ritorni in RL, consentendo uno screening affidabile dei candidati con dati estremamente limitati (generalizzazione su piccoli campioni).
3. Framework Ibrido Efficiente: TFM-S3 coltiva con successo il divario tra RL basato sul gradiente e ricerca globale, raggiungendo una convergenza più rapida e prestazioni finali migliori rispetto alle baseline sotto budget di rollout identici.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark di controllo continuo MuJoCo: HalfCheetah-v5, Ant-v5 e Humanoid-v5, utilizzando TD3 come architettura di base.

• Prestazioni: TFM-S3 ha costantemente accelerato la convergenza nelle fasi iniziali e ha raggiunto ritorni finali più elevati rispetto a TD3 vanilla, alla Ricerca Casuale nello stesso sottospazio e a una variante "One-Shot" (senza raffinamento iterativo).
• Efficienza: Con un budget fisso di 1 milione di passi nell'ambiente, TFM-S3 ha raggiunto le soglie di prestazioni target significativamente più velocemente (es. raggiungendo il 90% della prestazione finale in circa il 38% dei passi per Humanoid contro il 48% per TD3 vanilla).
• Stabilità: Il metodo ha ridotto la variabilità tra i diversi semi casuali, indicando aggiornamenti della politica più stabili.
• Dinamiche Interne:
  • Coerenza del Ranking: Il TFM ha mostrato un'alta correlazione di rango di Spearman (fino a 0,97) tra i ritorni previsti e quelli reali dopo una fase iniziale di warm-up.
  • Qualità della Selezione: Il candidato top-1 selezionato dal TFM è rientrato nel top 20% dei ritorni reali il 63,5% delle volte, rispetto al solo 20% per la selezione casuale.
  • Beneficio Iterativo: La variante "One-Shot" ha ottenuto prestazioni inferiori rispetto alla versione iterativa completa, dimostrando che il raffinamento sequenziale (aggiornare il surrogato con nuovi dati reali) è cruciale per il successo.

5. Significato

• Nuovo Paradigma per l'RL: Questo lavoro stabilisce i Modelli Fondamentali Tabellari come strumenti potenti per l'apprendimento delle politiche robotiche, andando oltre il loro utilizzo tradizionale nei dati tabellari statici per affrontare problemi di controllo dinamici e ad alta dimensionalità.
• Colmare il Divario: Offre una soluzione pratica al collo di bottiglia dell'"efficienza del campione" nella robotica. Combinando la riduzione della dimensionalità (SVD) con prior efficienti nei dati (TFM), permette l'esplorazione globale senza il costo computazionale massiccio dei metodi basati su popolazione.
• Modularità: Il framework è ortogonale all'algoritmo RL sottostante (dimostrato con TD3 ma applicabile a SAC, PPO, ecc.), rendendolo un potenziamento versatile per le pipeline esistenti di ottimizzazione delle politiche.

In conclusione, TFM-S3 dimostra che sfruttare modelli fondazionali pre-addestrati all'interno di varietà a bassa dimensionalità ricostruite dinamicamente può migliorare drasticamente l'efficienza del campione e la robustezza dell'apprendimento delle politiche robotiche.