Technische Samenvatting: Onthoud om Nieuwsgierig te zijn

Probleemstelling

Exploratie is een fundamentele voorwaarde voor het leren van nuttig gedrag in taken met lange horizon en schaarse beloningen binnen 3D-omgevingen. Hoewel nieuwsgierigheidsgedreven versterkingslering (RL) een mechanisme biedt om intrinsieke beloningen te genereren op basis van voorspelfouten, is het schalen hiervan naar complexe, fotorealistische omgevingen bewezen moeilijk. Bestaande benaderingen lijden vaak aan "amnestische" exploratie, waarbij agenten vast komen te zitten in lokale lussen. Dit gebeurt omdat:

1. Gebrek aan episodische context: Zonder een geschiedenis van eerdere waarnemingen bezoeken agenten herhaaldelijk dezelfde locaties, waarbij ze "verse" nieuwheidsbeloningen ontvangen voor toestanden die ze al zijn vergeten.
2. Gebrek aan ruimtelijke persistentie: Standaard geleerde wereldmodellen (bijv. modules voor inverse/forward dynamica) fungeren vaak als statistische priors over ervaring in plaats van als persistente records. Bijgevolg slagen ze er niet in om consistentie van de scène te handhaven, wat leidt tot schijnbare voorspelfouten in herbezochte gebieden en valse nieuwheidssignalen.

De kernuitdaging is om nieuwsgierigheidsgedreven agenten in staat te stellen fotorealistische 3D-scènes te navigeren met uitsluitend visuele invoer (RGB) tijdens de inzet, zonder te vertrouwen op expliciete geometrische kaarten of dieptesensoren, terwijl herhalend gedrag wordt vermeden.

Methodologie

Het artikel stelt een end-to-end framework voor, Remember to be Curious, dat een persistent wereldmodel koppelt aan een episodische agent.

1. Persistent 3D Forward Model (Wereldmodel)

Om een betrouwbare nieuwsgierigheidssignaal te bieden, gebruiken de auteurs een online 3D Gaussian Splatting (3DGS)-model als proxy voor het forward wereldmodel.

• Mechanisme: Het model verwerkt een stroom van bevoorrechte waarnemingen tijdens de training (RGB, diepte, cameraposities) om een persistente 3D-representatie ($G_t$) van de scène te bouwen.
• Nieuwsgierigheidsbeloning: Bij elke stap genereert het model een voorspelling van de volgende waarneming ($\hat{o}_{t+1}$) op basis van de huidige 3DGS-toestand en de actie van de agent. De nieuwsgierigheidsbeloning ($r^{cur}_t$) wordt afgeleid uit de visuele voorspelfout tussen de gerenderde weergave en de daadwerkelijke waarneming ($o_{t+1}$).
• Persistentie: In tegenstelling tot standaard neurale forward-modellen, onderhoudt 3DGS een continu, bijgewerkt record van de omgeving. Dit zorgt ervoor dat voorspelfouten alleen ontstaan door echt nieuwe gebieden, en niet doordat het model eerder bezochte toestanden "vergeet".
• Vormgeving van de beloning: De fout wordt laagdoorlaatgefilterd en gedownsampt om te focussen op betekenisvolle structurele nieuwheid in plaats van hoogfrequente ruis. Er wordt een binaire beloning uitgegeven: $r_{new}$ voor onverklaarde weergaven en een kleine straf $r_{old}$ voor weergaven die al door het model zijn verklaard.

2. Architectuur van de Episodische Agent

De agent is een op transformers gebaseerd beleid dat uitsluitend werkt op een reeks RGB-waarnemingen en acties, en een interne episodische geheugen onderhoudt zonder expliciete geometrische mapping.

• Invoerverwerking: Elk RGB-frame van een tijdstap wordt gekoppeld aan de voorafgaande actie (gecodeerd als een Plücker-ray-afbeelding). Deze worden verwerkt door een afbeeldingencoder en verrijkt met DINOv2-kenmerken.
• Geheugmechanisme: De agent maakt gebruik van een hybride attentie-architectuur:
  • Sliding Window Causal Attention: Verwerkt lokale temporale context efficiënt.
  • Global Linear-Attention Memory: Geïnspireerd door TTT- en LoGeR-architecturen, onderhoudt deze module een lopende verborgen toestand ($h_t$) die informatieoverdracht over de hele episode mogelijk maakt, wat langetermijnplanning in de hand werkt (bijv. teruglopen om nieuwe takken te vinden).
• Training: Het beleid wordt getraind via PPO met de nieuwsgierigheidsbeloning als enig signaal. Om instorting tot herhalend gedrag te voorkomen wanneer beloningen schaars worden, omvat de trainingssimulatie een mengsel van het geleerde beleid en een uniform willekeurig beleid (gepland van 20% naar 0% gedurende de training), samen met entropieregulering.

3. Inzet

Tijdens de testfase handelt de agent uitsluitend op de stroom van RGB-frames. Het 3DGS-forward model wordt niet gebruikt tijdens de inzet; de agent vertrouwt volledig op zijn geleerde interne representatie van episodische context om te navigeren.

Belangrijkste Bijdragen

1. Dubbele Vereiste voor Nieuwsgierigheid: Het artikel toont aan dat effectieve nieuwsgierigheid in fotorealistische 3D-omgevingen zowel een persistent wereldmodel vereist (om valse nieuwheid door vergeten toestanden te voorkomen) als een episodische agent (om te plannen richting nieuwe gebieden met behulp van historische context).
2. End-to-End Beleid Alleen op RGB: Het voorgestelde agent vereist geen expliciete geometrische kaarten, dieptesensoren of lokalisatiemodules tijdens de inzet. Het leert complexe 3D-scènes te navigeren puur op basis van visuele invoer.
3. Persistent 3DGS als Proxy: Het werk maakt gebruik van online 3D Gaussian Splatting om de nodige ruimtelijke persistentie voor nieuwsgierigheidssignalen te bieden, waarmee de beperkingen van standaard geleerde forward-modellen die lijden aan ruimtelijk vergeten, worden aangepakt.
4. Ontstaande Langetermijngedrag: De agent leert reeds geziene gebieden te doorkruisen (teruglopen) om ongezichte "takken" van de omgeving te ontdekken, een gedrag dat doorgaans moeilijk te leren is in omgevingen met schaarse beloningen zonder hiërarchische doelselectie of imitatielearning.

Experimentele Resultaten

De agent werd puur getraind op nieuwsgierigheid met behulp van de Habitat Matterport 3D (HM3D)-dataset.

• Exploratieprestaties: Op de HM3D- en Gibson-datasets presteert de agent beter dan state-of-the-art RL-gebaseerde actieve mapping-baselines (ANS, OccAnt) wat betreft volledigheid van de 3D-scène en de gemiddelde afstand tot onwaargenomen punten. Het bereikt sneller een hogere dekking terwijl het uitsluitend RGB-invoer vereist, terwijl baselines vaak vertrouwen op ground-truth diepte of expliciete kaarten.
• Ablatiestudies:
  • Wereldmodel: Het verwijderen van persistentie (gebruik van kortetermijngeheugen of standaard ICM) zorgt ervoor dat de agent instort tot lokale lussen of vast komt te zitten.
  • Agentgeheugen: Het verkleinen van het contextvenster van de agent of het gebruik van RNN's verslechtert de prestaties. Asymmetrisch geheugen (alleen de criticus heeft context) presteert slechter dan volledig episodisch geheugen, wat de noodzaak bevestigt dat het beleid de geschiedenis behoudt.
• Aanpassing Downstream: De vooraf getrainde agent werd enkele episodes lang fijngesleuteld voor downstream-taken met schaarse beloningen:
  • Appelplukken: Presteerde beter dan agenten die vanaf nul werden getraind, vooral in scenario's met zeer schaarse beloningen (minder appels).
  • Navigatie met Afbeeldingsdoel: Redirigeerde succesvol zijn algemene exploratiecapaciteiten om specifieke doelweergaven te bereiken, en presteerde beter dan vanaf nul getrainde baselines.
• Zero-Shot Generalisatie: De agent generaliseerde naar out-of-distribution, door AI gegenereerde 3D-werelden (Hobbit World, Spaceship) zonder verdere training, waarbij hij gangen navigeerde en botsingen vermijdde ondanks verschillen in renderingpijplijnen en esthetiek.

Betekenis en Claims

Het artikel beweert dat het koppelen van een persistent model van de wereld aan een episodische agent een praktische route biedt voor het schalen van nieuwsgierigheidsgedreven exploratie naar complexe, fotorealistische 3D-omgevingen.

• Bescheiden Claims over Wereldmodellen: De auteurs erkennen dat hun gebruik van 3DGS een proxy is voor een "dynamiekvrij" wereldmodel, waardoor de agent beperkt blijft tot statische scènes. Zij veronderstellen dat naarmate door actie geconditioneerde video-generatieve modellen rijpen, deze uiteindelijk 3DGS kunnen vervangen, mits ze vergelijkbare ruimtelijke persistentie en online updates in gesloten lus kunnen bereiken.
• Inzicht voor Toekomstig Werk: De studie dient als leidraad voor toekomstige wereldmodellen, met de nadruk dat ruimtelijke persistentie en het vermogen om interne representaties continu bij te werken strikt vereist zijn voor betrouwbare intrinsieke motivatie.
• Generalisatie: Het werk toont aan dat nieuwsgierigheidsgedreven exploratie, wanneer geworteld in persistent geheugen, agenten kan opleveren die niet alleen effectieve exploratoren zijn, maar ook zeer aanpasbaar aan diverse downstream-taken zonder de noodzaak van expliciete mapping of bootstrapping via imitatielearning.