Can Tabular Foundation Models Guide Exploration in Robot Policy Learning?

1. Probleemstelling

Het paper adresseert de uitdaging van steekproefefficiëntie en optimalisatiestabiliteit in hoogdimensionale continue besturing voor robotica met behulp van Deep Reinforcement Learning (RL).

• Lokaal versus globaal afweging: Standaard op gradienten gebaseerde methoden (bijv. TD3, SAC) voeren lokale updates uit in hoogdimensionale parameter ruimtes. Hoewel ze schaalbaar zijn, blijven ze vaak vastzitten in suboptimale gebieden of convergeren ze langzaam vanwege niet-convexe landschappen. Omgekeerd verkennen globale zoekmethodes (bijv. Evolution Strategies, Population-Based Training) bredere gebieden, maar brengen ze prohibitieve uitrolkosten (interacties met de omgeving) met zich mee door de "vloek van de dimensionaliteit".
• Beperkingen van Surrogaatmodellen: Bayesiaanse Optimalisatie (BO) probeert uitrolkosten te verminderen met behulp van surrogaatmodellen. Klassieke BO faalt echter in hoogdimensionale ruimtes (tientallen tot honderdduizenden parameters) door data-schaarste. Bovendien is het beleidslandschap in RL niet-stationair (het evolueert tijdens training), wat de aannames van een vast domein van traditionele BO schendt.
• De Kloof: Er is behoefte aan een methode die de steekproefefficiëntie van door surrogaatmodellen geleide zoekopdrachten combineert met de aanpasbaarheid die vereist is voor hoogdimensionale, evoluerende RL-beleidsplannen, zonder enorme interactiebudgetten te vereisen.

2. Methodologie: TFM-S3

De auteurs stellen TFM-S3 (Tabular Foundation Model–guided Subspace Search) voor, een hybride raamwerk dat standaard op gradienten gebaseerde lokale updates afwisselt met periodieke, door surrogaatmodellen geleide globale zoekrondes.

A. Dynamische Constructie van Laagdimensionale Subruimtes

In plaats van de volledige hoogdimensionale parameter ruimte ($\mathbb{R}^D$) te doorzoeken, beperkt TFM-S3 de globale zoekopdracht tot een dynamisch bijgewerkte laagdimensionale subruimte ($\mathbb{R}^r$).

• Op Gradienten Gebaseerde Basis: Bij elke zoekronde $t$ verzamelt de methode de meest recente $Q$ beleidsgradient-snapshots ($G^{(t)}$).
• SVD-Decompositie: Er wordt een afgeknotte Singular Value Decomposition (SVD) uitgevoerd op $G^{(t)}$ om de top-$r$ linker singuliere vectoren ($U_r$) te extraheren. Deze vectoren vormen een orthonormale basis $A^{(t)}$ die de dominante update-richtingen vastlegt die tijdens recente training zijn waargenomen.
• Aanpasbaarheid: De subruimte evolueert naarmate de training vordert, zodat de zoekgeometrie zich aanpast aan het veranderende beleidslandschap in plaats van te vertrouwen op statische willekeurige projecties.

B. Door Surrogaatmodellen Geleide Globale Zoekopdracht

Binnen de laagdimensionale subruimte voert TFM-S3 een iteratieve zoekopdracht uit om hoogpresterende beleidskandidaten te vinden met minimale uitrollen.

1. Contextinitialisatie: Een kleine set kandidaat-beleidsplannen wordt in de subruimte bemonsterd en geëvalueerd via echte omgevingsuitrollen om een contextset ($C$) te vormen.
2. Tabular Foundation Model (TFM): Een vooraf getraind Tabular Foundation Model (specifiek TabPFN-v2) wordt gebruikt als surrogaat. In tegenstelling tot traditionele Gaussische Processen, zijn TFMs vooraf getraind op diverse regressietaken, waardoor sterke inductieve biases en robuuste generalisatie vanuit zeer kleine steekproefgroottes (bijv. $K=16$) worden geboden.
3. Iteratief Verfijningsslag:
   • De TFM voorspelt returns voor een grote pool nieuwe kandidaten ($N=256$) die rond de huidige beste kandidaat zijn bemonsterd.
   • De kandidaat met de hoogst voorspelde return wordt geselecteerd.
   • Slechts deze enkele beste kandidaat wordt geëvalueerd via een echte uitrol.
   • Het resultaat wordt toegevoegd aan de contextset, waardoor de conditionering van de TFM voor de volgende iteratie wordt bijgewerkt.
   • Deze lus wordt $T$ keer herhaald (bijv. 16 iteraties) per zoekronde.
4. Beleidsupdate: De beste kandidaat die tijdens de zoekronde is gevonden, wordt terug geprojecteerd naar de oorspronkelijke hoogdimensionale ruimte en gebruikt om de volgende fase van lokale op gradienten gebaseerde training te initialiseren.

3. Belangrijkste Bijdragen

1. Dynamische Subruimte-zoekopdracht: De auteurs introduceren een op gradienten gebaseerde SVD-procedure om laagdimensionale beleidssubruimtes te construeren die zich aanpassen aan de evoluerende optimalisatietraject, waardoor het niet-stationaire probleem inherent aan RL wordt opgelost.
2. Surrogaatmodellen op Basis van Foundation Models: Ze tonen aan dat vooraf getrainde Tabular Foundation Models effectieve, instellingsvrije surrogaatmodellen kunnen zijn voor returnvoorspelling in RL, waardoor betrouwbare screening van kandidaten mogelijk is met uiterst beperkte data (generalisatie op kleine steekproeven).
3. Steekproefefficiënt Hybride Raamwerk: TFM-S3 slaagt erin op gradienten gebaseerde RL en globale zoekopdrachten te verbinden, wat leidt tot snellere convergentie en betere uiteindelijke prestaties dan baselines onder identieke uitrolbudgetten.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie MuJoCo continue besturingsbenchmarks: HalfCheetah-v5, Ant-v5 en Humanoid-v5, waarbij TD3 als ruggengraat werd gebruikt.

• Prestaties: TFM-S3 versnelde consistent de convergentie in een vroeg stadium en bereikte hogere uiteindelijke returns in vergelijking met standaard TD3, Random Search in dezelfde subruimte, en een "One-Shot" variant (zonder iteratieve verfijning).
• Efficiëntie: Onder een vast budget van 1 miljoen omgevingsstappen bereikte TFM-S3 doelprestatiethresholds aanzienlijk sneller (bijv. het bereiken van 90% van de uiteindelijke prestatie in ~38% van de stappen voor Humanoid versus 48% voor standaard TD3).
• Stabiliteit: De methode verminderde de variabiliteit tussen verschillende random seeds, wat wijst op stabielere beleidsupdates.
• Interne Dynamiek:
  • Consistentie in Ranking: De TFM toonde een hoge Spearman rangcorrelatie (tot 0,97) tussen voorspelde en ware returns na een initiële warm-upfase.
  • Kwaliteit van Selectie: De door de TFM geselecteerde top-1 kandidaat viel 63,5% van de tijd binnen de top 20% van ware returns, in vergelijking met slechts 20% voor willekeurige selectie.
  • Iteratief Voordeel: De "One-Shot" variant presteerde slechter dan de volledige iteratieve versie, wat bewijst dat de sequentiële verfijning (het bijwerken van het surrogaat met nieuwe echte data) cruciaal is voor succes.

5. Betekenis

• Nieuw Paradigma voor RL: Dit werk vestigt Tabular Foundation Models als krachtige hulpmiddelen voor robotica-beleidslearning, en beweegt ze voorbij hun traditionele gebruik in statische tabulaire data naar dynamische, hoogdimensionale besturingsproblemen.
• Overbruggen van de Kloof: Het biedt een praktische oplossing voor de "steekproefefficiëntie" bottleneck in robotica. Door dimensiereductie (SVD) te combineren met data-efficiënte priors (TFM), maakt het globale exploratie mogelijk zonder de enorme rekenkosten van op populatie gebaseerde methoden.
• Modulariteit: Het raamwerk is orthogonaal ten opzichte van het onderliggende RL-algoritme (gedemonstreerd met TD3 maar toepasbaar op SAC, PPO, etc.), waardoor het een veelzijdige verbetering is voor bestaande beleidsoptimalisatiepijplijnen.

Concluderend toont TFM-S3 aan dat het benutten van vooraf getrainde foundation modellen binnen dynamisch gereconstrueerde laagdimensionale variëteiten de steekproefefficiëntie en robuustheid van robotbeleidslearning drastisch kan verbeteren.