Technische Samenvatting: OctoSense: Zelfgesuperviseerd Leren voor Multimodale Robotperceptie

Probleemstelling

Visie-gebaseerde fundamentele modellen getraind via zelfgesuperviseerd leren (SSL), zoals DINO en SigLIP, hebben computer vision getransformeerd. Echter, in real-world robotica-omgevingen volstaat één enkele sensor niet. Camera's hebben moeite met weinig licht, een hoog dynamisch bereik en snelle bewegingen; LiDAR biedt nauwkeurige maar ijle diepte met beperkte semantiek; en inertiële sensoren missen ruimtelijke context. Bovendien vertonen sensoren verschillende spatiotemporele kenmerken, datasnelheden en foutmodi (bijv. degradatie door weersomstandigheden, pakketverlies). Bestaande SSL-methoden richten zich typisch op visuele of tekstuele data, of specifieke modaliteiten zoals diepte of IMU's, maar missen een verenigd framework om gefuseerde representaties te leren van de diverse suite aan sensoren die een robot gewoonlijk gebruikt. Het artikel identificeert een kritieke kloof: de afwezigheid van grootschalige, diverse, multimodale datasets en bijbehorende SSL-methoden die in staat zijn om de heterogeniteit van robotsensoren aan te pakken om representaties te bouwen die veerkrachtig zijn tegen omgevingsdegradatie en sensorfalen.

Methodologie

1. De OctoSense Hardware en Dataset

Om het gebrek aan data aan te pakken, hebben de auteurs OctoSense ontwikkeld, een open-source hardwareplatform en dataset.

• Hardware: Het platform integreert acht sensoren: stereo RGB-camera's, event-camera's, een thermische camera, een 64-lijns LiDAR, een IMU, een RTK-gecorrigeerde GPS en proprioceptie-data (CAN-bus van een auto en gewrichtshoeken van een quadruped). Het systeem beschikt over aangepaste tijdssynchronisatie-circuits (met behulp van PPS-signalen en Kalman-smoothing) en mechanische ontwerpen om trillingen en thermische problemen te beperken.
• Dataset: De release bevat 59 uur aan tijdgesynchroniseerde data verspreid over 2.474 km in urbane, suburbane en rurale omgevingen. Het omvat diverse condities (zonsopgang, dag, zonsondergang, nacht) en scenario's met gedegradeerde sensoren (zonneflares, verloren datapakketten). De grondwaarheid (ground truth) voor odometrie, diepte, optische flow en semantische segmentatie wordt gegenereerd met behulp van LiDAR-inertial odometrie (RKO-LIO) en pseudo-labeling.

2. Multi-Modale Masked Autoencoder (MAE)

De kern van de algoritmische bijdrage is een late-fusion masked autoencoder die ontworpen is om heterogene sensor-inputs te verwerken.

• Input Representatie:
  • RGB: Onvervormde en gecorrigeerde beelden omgezet naar ViT-stijl patches.
  • Event Cameras: Event-stromen verwerkt via een bank van leaky integratoren om multi-channel, beeldachtige representaties te creëren.
  • LiDAR: Puntenwolken omgezet naar range images (64 × 512) na deskewing.
  • IMU: Accelerometer- en gyroscoop-tijdreeksen getokeniseerd via cross-attention pooling over vensters van 1,6 seconden.
• Tokenisatie: De auteurs maken gebruik van modaliteit-specifieke tokenizers met behulp van Finite Scalar Quantization (FSQ). In plaats van het minimaliseren van de pixel-gewijze MSE (wat faalt bij modaliteiten met verschillende statistieken), minimaliseert het model de discrepantie tussen voorspelde en grondwaarheid-tokens. Dit stelt het model in staat om een gedeelde discrete latente ruimte te leren voor diverse inputs.
• Architectuur (Late-Fusion):
  • Spatial Encoders: Elke modaliteit wordt onafhankelijk verwerkt door een spatial transformer encoder op elk tijdstap.
  • Temporal Encoders: Een "tubelet" attention-mechanisme verwerkt de temporele sequenties voor elke modaliteit onafhankelijk, waarbij informatie wordt geaggregeerd over een venster van 1,4 seconde (8 frames).
  • Cross-Modal Encoder: Een finale transformer-laag fuseert de tokens van alle modaliteiten om een gedeelde representatie te creëren.
  • Masking Strategie: Het model gebruikt een spatiotemporele tube-masking strategie waarbij volledige tubes (een patch over de tijd) worden gemaskeerd. De maskingsratio wordt gesampled uit een Dirichlet-distributie om variërende gradaties van ontbrekende modaliteiten tijdens de training mogelijk te maken.
• Inference Optimalisatie: De architectuur cachet modaliteit-specifieke features, waardoor alleen nieuwe metingen worden verwerkt tijdens de inference. Deze "streaming" capaciteit vermindert de latentie aanzienlijk vergeleken met early-fusion benaderingen.

3. Downstream Probes

Na de pretraining wordt de bevroren encoder gebruikt voor taakspecifieke probes:

• Dense Prediction: Een Dense Prediction Transformer (DPT) head voorspelt diepte, optische flow en semantische segmentatie met behulp van features uit meerdere encoder-lagen.
• Ego-Motion: Onafhankelijke cross-attention modules voorspellen lineaire/angulaire snelheid, relatieve translatie/rotatie, snelheid en stuurhoek.

Belangrijkste Bijdragen

1. OctoSense Dataset: Een grootschalige (59 uur), open-source multimodale dataset met tijdgesynchroniseerde data van stereo RGB, event-camera's, thermische camera, LiDAR, IMU, GPS en proprioceptie, die diverse omgevingen en gedegradeerde sensorcondities beslaat.
2. Modaliteit-Specifieke Tokenisatie: Een framework dat gebruikmaakt van FSQ en modaliteit-specifieke tokenizers om de verschillende spatiotemporele statistieken van verschillende sensoren binnen een verenigd SSL-framework te verwerken.
3. Late-Fusion MAE Architectuur: Een nieuwe architectuur die modaliteiten onafhankelijk verwerkt via spatial en temporal encoders voordat ze worden gefuseerd, wat een hoge prestatie levert met aanzienlijk lagere latentie dan haar early-fusion tegenhangers.
4. Robuustheid tegen Degradatie: Demonstratie dat de multimodale aanpak de vision-only baselines overtreft, met name in nachtelijke en door sensoren gedegradeerde scenario's.

Resultaten

De auteurs evalueerden hun aanpak tegen bestaande vision-only fundamentele modellen (DINOv2, DINOv3, SigLIP 2, Perception Encoder, V-JEPA 2.1) en verschillende baselines (RGB-only MAE, early-fusion MAE) op vijf taken: diepte-inschatting, optische flow, semantische segmentatie en ego-motion (translatie, rotatie, stuurhoek).

• Prestatiewinst:
  • Diepte: De late-fusion MAE verminderde de diepte RMSE met 1,65 m vergeleken met de beste bestaande methode (V-JEPA 2.1) tijdens de dag, met nog grotere verbeteringen tijdens de nacht.
  • Optische Flow: Verbeterde de end-point error met 7,16 pixels (dag) en 8,51 pixels (nacht) ten opzichte van V-JEPA 2.1.
  • Ego-Motion: Het model bereikte bijna perfecte voorspelling voor translatie (0,06 m fout) en rotatie (0,23° fout), waarmee het RGB-only modellen die worstelen zonder inertiële of geometrische cues aanzienlijk overtrof.
  • Segmentatie: Prestaties waren vergelijkbaar met de beste bestaande modellen (0,411 mIoU vs. 0,410), hoewel de auteurs opmerken dat dit waarschijnlijk beperkt wordt door de kwaliteit van de pseudo-labels gegenereerd door een DINOv2-gebaseerd model.
• Robuustheid: In gedegradeerde sensor-scenario's behield de late-fusion MAE lage foutpercentages, terwijl vision-only modellen significant degradeerden.
• Ablatie Studies:
  • LiDAR: Het verwijderen van LiDAR veroorzaakte een scherpe toename in diepte- en flow-fouten, wat de rol als dominante sensor voor geometrische taken bevestigt.
  • RGB: Het verwijderen van RGB schaadde primair de segmentatieprestaties.
  • Event/IMU: Deze droegen marginaal bij aan de specifieke geëvalueerde taken (waarschijnlijk door de 5 Hz evaluatie frequentie die veel lager is dan hun natuurlijke resolutie), maar de auteurs merken op dat zij potentieel hebben voor high-speed tracking.
• Efficiëntie: De late-fusion architectuur bereikte een latentie van 6,68 ms op een NVIDIA 5090 en 112 ms op een Orin NX, ongeveer 60% sneller dan een equivalente early-fusion architectuur, wat het geschikt maakt voor real-time robotica.
• Generalisatie: Het model getraind op OctoSense vertoonde competitieve prestaties op de M3ED dataset (een andere sensor-suite), wat zero-shot generalisatiecapaciteiten demonstreert.

Betekenis en Claims

Het artikel claimt dat multi-sensor fusie die robuust is tegen omgevingsdegradatie de definiërende faciliterende technologie is voor veldrobotica, een punt dat wordt onderstreept door de Global Robotics Technology Roadmap 2025–2035. De auteurs stellen dat hun werk de kloof in SSL-methoden voor typische robotsensoren aanpakt door:

1. Het bieden van een grootschalige, diverse dataset die ook event-camera's en proprioceptie bevat, die vaak ontbreken in driving datasets.
2. Het demonstreren dat een late-fusion MAE effectief gefuseerde representaties kan leren van heterogene sensoren, waarbij het beter presteert dan vision-only fundamentele modellen in geometrische en bewegingsinschattingstaken.
3. Het aantonen dat LiDAR cruciaal is voor robuuste ego-motion en diepte-inschatting, terwijl RGB essentieel is voor semantische taken, en dat de voorgestelde architectuur deze complementaire sterktes kan benutten.

De auteurs erkennen bescheiden dat hun dataset orden van grootte kleiner is dan de datasets die worden gebruikt om industrie-schaal fundamentele modellen (zoals DINO of V-JEPA) te trainen en dat hun aanpak een onderzoeksprototype is. Zij stellen dat het schalen van de data en netwerk grootte, potentieel met langere temporele vensters en recurrente architecturen, noodzakelijk is om een echte "foundation" model voor multimodale robotperceptie te bouwen. Zij merken ook op dat de marginale bijdrage van event-camera's en IMU's in de huidige evaluatie waarschijnlijk te wijten is aan de lage evaluatie frequentie (5 Hz) ten opzichte van de natuurlijke capaciteiten van de sensoren, wat suggereert dat toekomstig werk zich moet richten op high-speed, low-latency manoeuvres.