Technische Samenvatting: Diepte-geregulariseerde JEPA Wereldmodellen voor Realistische Buitenrobotica-data

Probleemstelling

Hoewel Joint Embedding Predictive Architectures (JEPA) succes hebben getoond bij het leren van robuuste omgevingsdynamiek, blijft hun toepassing op visueel complexe, realistische buitenrobotica een uitdaging. Bestaande benaderingen vertrouwen vaak op pixel-niveau reconstructie, wat kwetsbaar is voor hinderlijke variaties (bijv. lichtveranderingen, vegetatieclutter) in ongestructureerde omgevingen. Daarentegen bieden latent-ruimte JEPA-modellen, zoals LeWorldModel (LeWM), een stabielere abstractie door toekomstige latente representaties te voorspellen in plaats van pixels. Echter, LeWM en vergelijkbare compacte modellen zijn voornamelijk gevalideerd in gesimuleerde of gecontroleerde binnenomgevingen. Bij toepassing op realistische buiten-data lopen deze modellen het risico op representatieve instorting of het falen om fysiek betekenisvolle dynamiek te vangen zonder aanvullende structurele beperkingen. De kernuitdaging is het verbeteren van de robuustheid en overdraagbaarheid van compacte JEPA-modellen die getraind zijn op realistische data, zonder de computationele kosten tijdens de inferentie te verhogen of hulp-sensoren (zoals dieptecamera's) tijdens de inzet te vereisen.

Methodologie

De auteurs stellen een interventie tijdens de training voor die de standaard LeWorldModel (LeWM) architectuur aanvult met een diepte-regularisatie-objectief en predictor-zijde overparameterisatie.

1. Basisarchitectuur

Het model is een compact, end-to-end JEPA-variant (18M parameters) gebaseerd op LeWM. Het neemt een geschiedenis van RGB-frames en acties als input, encodeert deze via een gedeelde encoder-projector, en gebruikt een predictor om de volgende latente embedding te voorspellen. Het trainingsdoel bestaat doorgaans uit een voorspellingsverlies ($L_{pred}$) en een latente regularisator (SIGReg) die isotrope Gaussische distributies aanmoedigt om modus-instorting te voorkomen.

2. Alleen-tijdens-training Diepte-regularisatie

Om geometrische structuur in de latente ruimte te injecteren zonder diepte te vereisen tijdens de inferentie, introduceren de auteurs een diepte-uitlijningsverlies ($L_{depth}$):

• Dual-Modal Training: Tijdens de training verwerkt het model gekoppelde RGB- en stereo-diepte-observaties via dezelfde encoder-projector stack.
• Uitlijningsobjectief: De RGB-embedding wordt geoptimaliseerd om uit te lijnen met de corresponderende diepte-embedding (berekend met een stop-gradient) met behulp van een cosine similarity verlies.
• Complementaire Rollen: De SIGReg-term maximaliseert entropie (wat taak-agnostische diversiteit bevordert), terwijl de diepte-term fungeert als een geometrische beperking die die diversiteit organiseert langs fysiek betekenisvolle richtingen. Het gecombineerde objectief streeft naar de hoogste-entropie representatie die consistent is met de scènegenealogie.
• Inferentie: Tijdens de testtijd wordt de diepte-tak verwijderd; het model werkt uitsluitend op RGB-inputs.

3. Predictor Overparameterisatie

Om de toegenomen complexiteit te accommoderen van het voldoen aan zowel isotrope als geometrische beperkingen binnen een vaste capaciteit, introduceren de auteurs overparameterisatie enkel tijdens de training.

• Mechanisme: Tijdens de training worden low-rank (rank-16) RepLinear branches toegevoegd aan de predictor's MLP up-projection en down-projection lagen.
• Samenvoeging: Na de training worden deze branches algebraïsch samengevoegd met de basis-predictor gewichten. Dit zorgt ervoor dat het ingezette model architecturaal identiek blijft aan de baseline zonder extra overhead tijdens de inferentie.

4. Data en Evaluatie

Het model werd getraind op ~31.000 frames van een enkele realistische landbouwrobot (Aigen Element) en geëvalueerd op:

• In-domain: Aigen validatieset.
• Out-of-Domain (OOD): TartanGround benchmark (andere robot, omgeving, en sim-to-real gap).
• Metrieken: Frozen-embedding Visual Odometry (VO) probes, predictor-gebaseerde verrassingsdetectie (onder synthetische perturbaties), en multi-step latente rollout fidelity.

Belangrijkste Bijdragen

1. Real-World Training: Gedemonstreerd dat een compact end-to-end JEPA wereldmodel succesvol direct op realistische buitenlandbouwrobot-data getraind kan worden, een setting die voorheen niet gerapporteerd was voor deze architectuurfamilie.
2. Alleen-tijdens-training Geometrische Prior: Geïntroduceerd een diepte-uitlijningsobjectief dat geometrische structuur injecteert in JEPA-representaties. Dit verbetert het fysieke begrip en de robuustheid zonder dat er tijdens de inferentie dieptesensoren, taallabels of gepre-trained encoders nodig zijn.
3. Uitgebreide Evaluatie: Een consistent evaluatieprotocol geleverd waaruit blijkt dat diepte-regularisatie de kwaliteit van de representatie, de scherpte van de predictor en de OOD-robuustheid verbetert over visuele odometrie, verrassingsdetectie en multi-step rollouts.

Resultaten

Het diepte-geregulariseerde model presteerde consequent beter dan de vanilla LeWM baseline, met name in transfer-scenario's:

• Representatiekwaliteit: Het diepte-geregulariseerde model verminderde de Visual Odometry (VO) probe fout met 33% (MSE daalde van 0.0022 naar 0.0015) vergeleken met de baseline, waarmee het een frozen DINOv2 referentie overtrof.
• Verrassingsdetectie: Het model vertoonde een significant verbeterde scheiding tussen plausibele en implausibele transities.
  • In-domain: Verrassingsscheiding nam toe van 0.067 naar 0.120.
  • Out-of-domain (TartanGround): Scheiding nam bijna 3-voudig toe, van 0.035 naar 0.099.
  • Niet-geometrische winst: Opvallend genoeg verbeterde het model ook op niet-geometrische perturbaties (helderheidssprongen, kleurwisselingen), wat suggereert dat de geometrische prior een fundament biedt voor algemene fysieke consistentie.
• Out-of-Domain Generalisatie: Hoewel de baseline in-domain iets beter presteerde dan het diepte-model, demonstreerde het diepte-geregulariseerde model superieure robuustheid onder domeinverschuiving. Op TartanGround bereikte het een hogere doel-gelijkenis (0.745 vs. 0.716 bij horizon $h=10$) en traject-gelijkenis, waarbij het prestatieverschil groter werd bij langere horizonten ($h=20$).
• Latente Geometrie: Analyse van de principale subruimtes onthulde dat het diepte-geregulariseerde model latent-ruimtes produceerde met een hogere cross-domain overlap in het mid-rank regime ($k \approx 5-50$), wat wijst op een meer overdraagbare geometrie voor taakrelevante structuren.

Betekenis en Claims

Het paper betoogt dat een lichtgewicht, tijdens de training toegepaste geometrische prior de bruikbaarheid en overdraagbaarheid van compacte JEPA wereldmodellen voor real-world inzet aanzienlijk kan verbeteren.

• Praktisch nut: De aanpak is "goedkoop tijdens de training en gratis tijdens de test", aangezien het dieptesignaal en de overparameterisatie worden verwijderd of samengevoegd vóór de inzet.
• Generalisatie: De resultaten suggereren dat het verschuiven van de trainingsdoelstelling van pure isotropie naar een geometrie-geïnformeerde anisotropie een robuustere latente ruimte creëert. Dit geldt zelfs voor taken die niet direct verbonden zijn aan 3D-geometrie (bijv. lichtconsistentie), wat impliceert dat het funderen van representaties in fysieke structuur de algemene voorspellende verwachtingen verbetert.
• Beperkingen: De auteurs erkennen dat de studie een proof-of-concept is met offline metrieken op een enkele robotplatform en een relatief kleine dataset. Ze merken op dat closed-loop planning prestaties en schaalbaarheid naar grotere modellen en data nog niet getest zijn.

Concluderend toont dit werk aan dat het incorporeren van fysiek gefundeerde priors zoals diepte tijdens de training de kloof kan overbruggen tussen gecontroleerde simulatiebenchmarks en de chaotische realiteit van buitenrobotica, waardoor compacte modellen in staat worden gesteld om meer overdraagbare en fysiek bewuste dynamiek te leren.