Active World-Model with 4D-informed Retrieval for Exploration and Awareness

Probleemstelling: Fysieke Bewustwording onder Gedeeltelijke Observatie

Het paper adresseert het fundamentele probleem van fysieke bewustwording (physical awareness) in dynamische omgevingen, zoals autonoom rijden of robotica. In tegenstelling tot klassieke perceptie die semantiek afleidt vanuit één gezichtspunt, vereist fysieke bewustwording het integreren van gedeeltelijke, gedistribueerde en asynchrone waarnemingen over ruimte en tijd.

De kernuitdaging is dat observaties actie-afhankelijk zijn: wat waarneembaar is, hangt af van de gekozen sensorenacties (bijv. camerapositie, zoom, oriëntatie). Dit leidt tot een Partially Observable Markov Decision Process (POMDP).

• Beperkingen van bestaande methoden:
  • RL in volledig waarneembare omgevingen: Werkt goed, maar faalt bij gedeeltelijke observatie.
  • Real-world interactie: Te kostbaar, traag en vaak onomkeerbaar; slechte senseringsbeslissingen kunnen cruciaal bewijs permanent verbergen.
  • Sim-to-Real pipelines: Lijden aan "blinde vlekken" door onwaargenomen gezichtspunten en onvolledige dekking.
  • Bestaande World Models & Video Diffusie: Modellen zoals V-JEPA, Genie of Cosmos zijn vaak geoptimaliseerd voor visuele plausibiliteit en korte-termijn consistentie. Ze hallucineren vaak inhoud wanneer ze worden gevraagd om gezichtspunten, schalen of tijdstippen te genereren die sterk afwijken van de trainingsdata (gebrek aan ruimtelijk-temprale coherentie onder extreme shifts).

Er is behoefte aan een sensor-natief surrogaat-omgeving die contrafactisch redeneren mogelijk maakt: "Wat zou er zijn waargenomen onder een andere senseringsactie?", zonder fysieke interactie.

Methodologie: AW4RE (Active World-model with 4D-informed Retrieval)

AW4RE is een bewustwordingsgericht generatief wereldmodel dat de actie-afhankelijke observatieprocessen schat zonder toegang te hebben tot de ware toestand van de omgeving. Het model is ontworpen om te werken met een verzameling eerdere, gedeeltelijke waarnemingen (evidence).

Het model decomposeert de schatting van een nieuwe observatie $\hat{o}^{(k)}$ gegeven een gezochte senseringsactie $a^{(k)}$ in drie gekoppelde modules:

1. 4D-informed State Estimator Module ($\hat{Z}_1$):

   • In plaats van een globale 4D-reconstructie te bouwen (wat schaars en onpraktisch is bij groeiende data), werkt AW4RE lokaal per query-frame.
   • Voor een gevraagde camerawerking $a^{(k)}_t$ selecteert de module een compacte subset van eerdere frames uit de geschiedenis $D^{(k)}$ die relevant zijn voor het huidige gezichtspunt.
   • Het onderscheidt tussen dynamische content (alleen gebruik van frames op hetzelfde tijdstip) en statische geometrie (gebruik van frames op andere tijdstippen).
   • Het resultaat is een lokaal 3D-puntwolk-proxy dat de door bewijs ondersteunde delen van het tafereel samenvat.

2. Evidence-backed Observation Module ($\hat{Z}_2$):

   • Deze module projecteert de lokale 3D-proxy naar het beeldvlak van de gevraagde camera.
   • Het genereert een gedeeltelijk gevulde frame ($\tilde{o}^{(k)}$). Gebieden die direct worden ondersteund door eerdere waarnemingen worden gevuld met hoge precisie.
   • Bij schaarse ondersteuning (bijv. bij inzoomen of grote hoekverschillen) voert de module een "densification" uit (bijv. geleerde upsampling) om een lage-frequentie leidingsignaal te genereren, terwijl onzeker gebieden expliciet als onbeperkt worden gemarkeerd.

3. Conditional Generative Observation Module ($\hat{Z}_3$):

   • Een conditionele video-diffusiemodel (gebaseerd op Cosmos1.0) vult de ontbrekende, niet-ondersteunde gebieden in.
   • Cruciaal: De generatie is geconditioneerd op de expliciete scheiding tussen bewijs-ondersteunde en niet-ondersteunde gebieden. Dit voorkomt dat het model hallucinaties produceert in gebieden waar geometrisch bewijs al bestaat, en zorgt voor temporale coherentie.

Kernbijdragen

1. Formulering als POMDP: Het formaliseren van fysieke bewustwording als een ruimtelijk-temporeel POMDP waarbij het doel is om camerabeleid te optimaliseren onder gedeeltelijke observatie.
2. 4D-informed Retrieval: Een nieuwe architectuur die niet vertrouwt op globale reconstructies, maar lokaal relevante 4D-bewijsstukken (ruimte + tijd) ophaalt om de generatie te construeren.
3. Contrafactisch Redeneren: Het vermogen om stabiele, informatieve observaties te genereren voor cameraconfiguraties die nooit direct zijn waargenomen (andere schaal, hoek of tijd), wat essentieel is voor het evalueren van senseringsstrategieën.
4. Bewustwordingsgerichte Inference: Het model onderscheidt expliciet tussen gebieden die door eerdere data worden ondersteund en gebieden die onzeker zijn, waardoor hallucinatie wordt beperkt waar bewijs aanwezig is.

Experimentele Resultaten

De auteurs evalueren AW4RE op de Waymo Open Dataset en vergelijken het met GEN3C (de state-of-the-art geometrie-bewuste generatieve aanpak).

• Scenario's:

  • Temporele extrapolatie: Voorspellen van toekomstige frames of het reconstrueren van gemiste frames in het verleden.
  • Schaalverandering (Zoom-in): Genereren van gedetailleerde close-ups vanuit globale beelden.
  • Contrafactische gezichtspunten: Kijken vanuit hoekige, onwaargenomen posities (bijv. een straathoek).

• Prestaties:

  • AW4RE overtreft GEN3C significant in PSNR, SSIM en LPIPS, zowel op het volledige frame als specifiek op de door bewijs ondersteunde gebieden.
  • Temporale consistentie: AW4RE toont een veel lagere T-LPIPS (Time-LPIPS), wat aangeeft dat objecten en structuren over tijd stabiel blijven, terwijl GEN3C vaak "drift" of hallucinaties vertoont.
  • Robuustheid bij schaarse data: Bij extreme zooms of hoekveranderingen waar geometrische ondersteuning beperkt is, slaagt GEN3C erin om structuur te hallucineren. AW4RE blijft trouw aan de beschikbare bewijsstukken en genereert alleen waar de data het toelaat, wat leidt tot een meer realistische en betrouwbare simulatie.

Betekenis en Conclusie

AW4RE vertegenwoordigt een paradigmaverschuiving van puur visuele generatie naar bewustwordingsgerichte wereldmodellen.

• Het biedt een schaalbare oplossing voor het trainen van senseringsbeleid (camera policies) zonder dure of risicovolle real-world exploratie.
• Het lost het probleem van "hallucinatie" op in wereldmodellen door expliciet te redeneren over wat er bewezen is versus wat er geraden moet worden.
• De aanpak is omgeving-agnostisch: het model generaliseert naar nieuwe scènes zonder hertraining, zolang er maar voldoende eerdere waarnemingen (evidence) beschikbaar zijn.

Kortom, AW4RE maakt het mogelijk om veilig en efficiënt senseringsstrategieën te evalueren en te optimaliseren in complexe, dynamische omgevingen door een betrouwbare, contrafactische surrogaat-omgeving te bieden.