Technische Samenvatting: Naar Schaalbare Multi-Task Reinforcement Learning met Grote Beslissingsmodellen

Probleemstelling

Reinforcement Learning (RL) heeft aanzienlijk succes behaald in specifieke domeinen zoals games, robotica en controle. Het toepassen van RL op real-world settings blijft echter uitdagend vanwege de noodzaak voor uitgebreide interactie met de omgeving, zorgvuldige beloningsengineering (reward engineering), domeinspecifieke architecturen en substantiële hyperparameter-afstemming. Hoewel offline RL en offline-naar-online benaderingen de kosten van online interactie verminderen, blijft het selecteren en aanpassen van een geschikt algoritme voor een nieuwe omgeving moeilijk.

Parallel aan deze uitdagingen hebben grootschalige sequentiemodellen de natuurlijke taalverwerking en computer vision getransformeerd. In RL hebben sequentie-modellerende benaderingen zoals Decision Transformers aangetoond dat beleid (policies) gerepresenteerd kunnen worden als autoregressieve modellen over trajecten. Dit roept een cruciale vraag op: Kunnen multi-domein offline RL-trajecten geconsolideerd worden in een enkel schaalbaar transformer-beleid terwijl een sterke taakprestatie over vele domeinen behouden blijft? Het primaire obstakel is dat multi-domein RL-ecosystemen gefragmenteerd, heterogeen en moeilijk te verenigen zijn.

Methodologie

De auteurs introduceren LDM-v0 (Large Decision Model v0), een verenigd multi-task, multi-modaal transformer-beleid dat offline is getraind op trajecten uit duizenden heterogene omgevingen. De methodologie bestaat uit drie kerncomponenten:

1. Geautomatiseerde Referentie-Beleidssupervisie

Om hoogwaardige trainingsdata te genereren over diverse domeinen zonder handmatige beloningsengineering, behandelen de auteurs de datasetconstructie als een AutoRL-probleem:

• Selectie van Kandidaten: Een pool van kandidaat-algoritmen en configuraties (uit Stable-Baselines3 en SB3-Contrib, inclusief A2C, PPO, SAC, DQN, etc.) wordt gedefinieerd.
• Rangschikking: Voor elke omgevingbibliotheek worden compatibele kandidaten getraind op een subset van vijf omgevingen. Configuraties worden gerangschikt via paarvergelijkingen gebaseerd op een eenzijdige Welch's t-toets van de uiteindelijke prestaties.
• Data-generatie: De best gerangschikte configuraties worden getraind voor 3 miljoen transities. Trajecten worden opgenomen, en het uiteindelijk getrainde beleid wordt afgespeeld om referentie-actie-annotaties te genereren.
• Filtering: Afvallende runs (die geen statistisch significante verbetering in prestaties vertonen of onder 95% van de prestaties van het beste beleid blijven) worden verwijderd.
• Resultaat: Een dataset van ongeveer 9,3 miljard transities uit circa 3.000 verschillende omgevingen, geannoteerd met referentie-beleidsacties in plaats van exploratieve acties.

2. Verenigde Omgevingsinfrastructuur

Om de fragmentatie van RL-bibliotheken (verschillende Python-versies, afhankelijkheden en simulators) aan te pakken, hebben de auteurs een intern orchestratieframework ontwikkeld:

• Omgevingen worden ingekapseld in geïsoleerde Docker-containers.
• Een verenigde interactie-API die compatibel is met moderne Gymnasium-interfaces wordt blootgesteld.
• Deze pipeline integreerde 146 omgevingbibliotheken die ongeveer 15.000 individuele omgevingen beslaan.

3. Modelarchitectuur en Training

• Architectuur: LDM-v0 is een decoder-only transformer gebaseerd op de Llama-architectuur, vanaf nul getraind.
• Inputverwerking: Het model ontvangt een interactiegeschiedenis (verleden observaties, acties, beloningen, terminatiesignalen) en de huidige observatie.
  • Tokenisatie: Continue inputs worden via $\mu$-law gecodeerd en gediscretiseerd in 1024 bins. Discrete inputs gebruiken lookup-tabellen. Afbeeldingen worden geschaald naar 64x64 en gecodeerd via een convolutionele encoder.
  • Embedding: Observatie, actie, beloning en terminatiesignalen worden uitgelijnd en gestapeld tot transitie-niveau meta-tokens. Deze compacte representatie vermindert de sequentielengte vergeleken met per-dimensie tokenisatie (bijv. Gato), wat langere geschiedenissen mogelijk maakt binnen een vaste context-budget.
• Trainingsdoel: Het model wordt getraind via supervised next-action voorspelling met cross-entropy loss over gediscretiseerde actie-bins. Het leert de referentie-actie $a_t$ te voorspellen, geconditioneerd op de trajectgeschiedenis $(o_i, a_i, r_i, d_i)$.
• Schaal: Het primaire model (LDM-v0) heeft 308M parameters, 12 lagen en een contextlengte van 2048 transities. Het werd zes dagen getraind op twee nodes met 16 NVIDIA H200 GPU's.

Belangrijkste Bijdragen

1. LDM-v0: Een grootschalig, multi-modaal transformer-beleid getraind op een verenigde dataset die 146 bibliotheken en ~3.000 omgevingen beslaat.
2. Schaalbare Infrastructuur: Een robuuste pipeline voor het automatiseren van referentie-beleidsgeneratie en omgevingsorchestratie over zeer heterogene RL-ecosystemen.
3. Compacte Transitie-niveau Modellering: Een tokenisatiestrategie die observatie, actie, beloning en terminatiesignalen in enkele meta-tokens verpakt, wat efficiënte modellering van lange-termijn sequenties mogelijk maakt.
4. Empirische Validatie: Bewijs dat een enkel gedeeld parametrisatie-model competitieve prestaties kan bereiken over diverse domeinen zonder taakspecifieke fine-tuning.

Resultaten

De auteurs evalueerden LDM-v0 over de trainingsomgevingen (in-distributie) en vergeleken de prestaties met onafhankelijk getrainde, taakspecifieke referentie-beleidssystemen.

• Prestatiedrempels: LDM-v0 behaalde >80% van de prestaties van het referentie-beleid in meer dan 1.600 omgevingen en evenaarde de referentieprestaties in ongeveer 1.000 omgevingen.
• Domeindekking: Sterke prestaties werden waargenomen in:
  • Robotica en controle (bijv. gymnasium_robotics, panda-gym).
  • Autonoom rijden (highway-env).
  • Financiële handel (gym_trading_env) en voorraadoptimalisatie.
  • Cybersecurity (cymnasium).
  • Game-achtige omgevingen (Atari-stijl, procgen, Super Mario Bros).
• Scaling Laws: Experimenten met modelgroottes variërend van 32M tot 736M parameters toonden substantiële prestatieverbeteringen van 32M naar 308M. De winst leek te stagneren tussen 308M en 736M, wat suggereert dat hoewel grotere capaciteit helpt, het 308M model significante statistische regelmatigheden vastlegt.

Betekenis en Claims

Het artikel beweert aan te tonen dat grootschalige offline pretraining over heterogene reinforcement learning-omgevingen haalbaar is met een enkel transformer-beleid.

• Verenigde Representatie: De resultaten suggeries dat, ondanks de aanzienlijke heterogeniteit in observatiemodaliteiten, actieruimtes, beloningsschalen en temporele horizonten, grote sequentiemodellen statistische regelmatigheden kunnen benutten die gedeeld worden door subsets van omgevingen.
• Automatisering: Het werk benadrukt het potentieel van geautomatiseerde, verenigde pipelines om de fragmentatie van huidige RL-ecosystemen te overwinnen, waardoor de afhankelijkheid van deskundige kennis en taakspecifieke ontwerpkeuzes wordt verminderd.
• Toekomstige Richting: De auteurs beschouwen LDM-v0 als een stap naar schaalbare, vooraf getrainde reinforcement learning-systemen. Ze merken expliciet op dat hun primaire doel niet was om out-of-distribution generalisatie te bestuderen, maar om te onderzoeken of een enkel beleid diverse RL-gedragingen op schaal gezamenlijk kan modelleren.

De auteurs blijven bescheiden over generalisatie en erkennen dat evaluaties primair zijn uitgevoerd in omgevingen binnen de trainingsdistributie. Zij identificeren het begrijpen van overdraagbare beslissingsstrategieën en het verbeteren van generalisatie naar ongeziene omgevingen (via in-context adaptatie of fine-tuning) als belangrijke openstaande vragen voor toekomstig werk.