Simulus: Combining Improvements in Sample-Efficient World Model Agents

Technische Samenvatting: Simulus – Combinatie van Verbeteringen in Steekproefefficiënte Wereldmodelagenten

Probleemstelling
Wereldmodellen (WM's) vertegenwoordigen een grensgebied in steekproefefficiënte versterkende leer (RL), maar hun potentieel wordt vaak niet verwezenlijkt vanwege de complexiteit van het integreren van veelbelovende verbeteringen. Hoewel individuele vooruitgang bestaat, vereist het combineren ervan aanzienlijke expertise en engineeringinspanning. Bovendien zijn bestaande op tokens gebaseerde wereldmodellen (TBWM's) grotendeels beperkt tot beeldobservaties en discrete acties, wat hun toepasbaarheid beperkt tot continue besturing en multi-modale instellingen. Daarnaast worden componenten zoals intrinsieke motivatie (voor vermindering van epistemische onzekerheid) en geprioriteerde replay-frequentie vaak over het hoofd gezien bij steekproefefficiënte agenten, deels vanwege de hoge kosten van integratie en het risico dat intrinsieke exploratie schaarse interactiebudgetten verspillen aan taak-irrelevante ervaringen. Dit landschap weerspiegelt het pre-Rainbow-tijdperk in diepe RL, waar individueel gevalideerde verbeteringen niet systematisch waren gecombineerd.

Methodologie
De auteurs introduceren Simulus, een modulaire op tokens gebaseerde wereldmodelagent die is ontworpen om een reeks complementaire verbeteringen te integreren en te valideren. De agent is gebaseerd op de REM-architectuur en bestaat uit vier distincte modules: een representatiemodule ($V$), een wereldmodel ($M$), een controller ($C$) en een replay-buffer.

1. Flexibel Tokenisatiekader ($V$): Simulus maakt gebruik van een modulair tokenisatiesysteem dat willekeurige combinaties van observatie- en actiemodaliteiten ondersteunt. Het verwerkt native afbeeldingen, continue vectoren, categorische variabelen en "2D-categorischen" (beeldachtige roosters van categorische variabelen). Encoders produceren tokenreeksen met vaste lengte, die worden samengevoegd tot een unificatie representatie. Dit stelt de agent in staat te opereren in diverse omgevingen, waaronder continue besturing en symbolische multi-modale taken.
2. Wereldmodel ($M$): Het dynamischemodel maakt gebruik van een Retentive Network (RetNet) aangevuld met een Parallel Observation Prediction (POP)-mechanisme om omgevingsdynamica te modelleren als sequentiemodeling over discrete tokens.
   • Intrinsieke Motivatie: Om epistemische onzekerheid te verminderen, maakt Simulus gebruik van een ensemble van voorspellingskoppen voor de volgende observatie. De onenigheid tussen deze koppen, gemeten via de Jensen-Shannon-divergentie (JSD), genereert intrinsieke beloningen ($r_{int}$). Deze worden gecombineerd met extrinsieke beloningen om de controller te sturen naar gebieden met hoge onzekerheid tijdens "imaginatie" (planning binnen het model).
   • Geprioriteerde Replay: De replay-buffer behoudt wereldmodelverlieswaarden voor opgeslagen voorbeelden. Training maakt gebruik van een mengsel van uniforme en geprioriteerde steekproeven (gecontroleerd door een enkele parameter $\alpha$), waarbij monsters worden geselecteerd evenredig aan hun softmax-getransformeerde verliezen.
3. Controller ($C$): De controller is een uitgebreide actor-critic-architectuur die volledig opereert op gesimuleerde ervaring gegenereerd door het wereldmodel.
   • Regressie als Classificatie (RaC): Om onbeperkte belonings- en return-signalen robuust te verwerken, adopteert Simulus een classificatienetwerk met exponentiële bakken voor waardevoorspelling. Het maakt gebruik van de HL-Gauss-verliesmethode (gebaseerd op cross-entropy) in plaats van traditionele gemiddelde kwadratische fout, wat de stabiliteit in waarde-schatting verbetert.
4. Trainingscyclus: De agent volgt een cyclus van datacollectie, representatieleren, wereldmodelleer en controleleren in imaginatie. De controller wordt getraind met $\lambda$-returns en een REINFORCE-doelstelling met een waarden-baseline.

Belangrijkste Bijdragen

• Integratie van Over het Hoofd Geziene Componenten: Het artikel identificeert en integreert intrinsieke motivatie, geprioriteerde wereldmodelreplay en een hybride RaC-benadering. Het toont aan dat deze componenten niet alleen individueel effectief zijn, maar synergetische winst opleveren wanneer ze worden gecombineerd.
• Veelzijdige Op Tokens Gebaseerde Agenten: Door multi-modaliteit-tokenisatie aan te passen aan het steekproefefficiënte regime, vestigt Simulus TBWM's als veelzijdige agenten die visuele, continue en multi-modale invoer kunnen verwerken, en zo voorbijgaat aan de beperkingen van modellen met alleen beelden en discrete acties.
• Validering van Model-Geïnduceerde Exploratie: Het werk toont aan dat door wereldmodellen geïnduceerde exploratie de prestaties aanzienlijk verbetert, zelfs onder strakke interactiebudgetten, en daagt het idee uit dat intrinsieke motivatie te kostbaar is voor steekproefefficiënte instellingen.
• Open-Source Fundament: De auteurs bieden een sterk startpunt voor TBWM-onderzoek door code en modelgewichten open source te maken, waardoor de instapdrempel voor het ontwikkelen van concurrerende wereldmodelagenten wordt verlaagd.

Resultaten
Simulus werd geëvalueerd over drie diverse benchmarks met strikte interactiebudgetten:

• Visueel Atari 100K: Simulus bereikte state-of-the-art (SOTA) steekproefefficiëntie onder methoden zonder planning, en presteerde beter dan baselines zoals DreamerV3, TWM, STORM en DIAMOND. Opmerkelijk is dat het de eerste wereldmodelmethode zonder planning is die menselijke Interquantile Mean (IQM) en mediaan scores bereikt, met supermenselijke prestaties op 13 van de 26 spellen.
• Continue Besturing (DMC Proprioception 500K): Bij taken voor continue besturing matchte Simulus consistent DreamerV3 of presteerde het iets beter, wat de effectiviteit van op tokens gebaseerde architecturen in continue domeinen met compacte vocabulaires aantoont.
• Symbolisch Multi-Modaal (Craftax-1M): In een deels waarneembare 2D-overlevingsomgeving die symbolische roosters en continue kenmerken combineert, presteerde Simulus beter dan gelijktijdige wereldmodelmethodes en alle modelvrije baselines (waaronder RND, PPO-RNN en E3B), en verwerkte lange tokenreeksen efficiënt.

Ablatiestudies bevestigden dat elke component individueel bijdraagt, waarbij intrinsieke beloningen zich als bijzonder cruciaal bewezen. De combinatie van alle componenten leverde de sterkste prestaties op, wat wijst op aanzienlijke synergie.

Betekenis
Het artikel betoogt dat het niet verwezenlijkte potentieel van wereldmodelagenten voortkomt uit de moeilijkheid om modulaire verbeteringen te combineren. Door inspiratie te putten uit het Rainbow-framework in DQN, toont Simulus aan dat een systematische combinatie van tokenisatieflexibiliteit, intrinsieke motivatie, geprioriteerde replay en geavanceerde technieken voor waardevoorspelling leidt tot state-of-the-art steekproefefficiëntie. Het werk vestigt dat op tokens gebaseerde wereldmodellen een veelzijdige en schaalbare aanpak zijn voor diverse RL-domeinen, mits de componenten zorgvuldig worden geïntegreerd om interferentie te voorkomen die vaak wordt gezien in monolithische architecturen. De auteurs handhaven dat hoewel op tokens gebaseerde agenten momenteel te kampen hebben met beperkingen in trainsnelheid ten opzichte van sommige baselines, hun modulaire ontwerp duidelijke voordelen biedt voor beleidsinferentie en schaalbaarheid voor toekomstig onderzoek.