InCaRPose: In-Cabin Relative Camera Pose Estimation Model and Dataset

Titel: InCaRPose: In-Cabin Relatieve Camera Pose Schatting Model en Dataset

1. Het Probleem

De nauwkeurige schatting van de relatieve pose (positie en oriëntatie) tussen twee camera-beelden is cruciaal voor toepassingen zoals SLAM, AR en 3D-reconstructie. In de context van automotive in-cabin monitoring (ICAM) – bijvoorbeeld voor bestuurdersmonitoring of airbag-uitrol – zijn er echter specifieke uitdagingen:

• Beperkte en vervormde omgevingen: Camera's in auto's gebruiken vaak groothoek- of vis-ooglenzen (fisheye), wat leidt tot sterke lensvervorming.
• Dynamische kalibratie: Camera's zijn vaak gemonteerd op de achteruitkijkspiegel, die door de bestuurder kan worden versteld. Dit verandert voortdurend de extrinsieke parameters van de camera.
• Noodzaak van metrische schaal: Voor veiligheidskritische toepassingen (zoals airbag-uitrol binnen 15-50 ms) is het niet voldoende om alleen de richting te kennen; de schatting moet absolute metrische afstanden (in meters) opleveren.
• Data-tekort en generalisatie: Bestaande state-of-the-art modellen vereisen vaak grote datasets, specifieke camera-intrinsieken en zijn niet geschikt voor randapparatuur (edge devices) vanwege hun hoge rekenvereisten. Bovendien werken ze vaak slecht op vervormde beelden zonder eerst een "undistortion"-stap.

2. Methodologie

InCaRPose is een Transformer-gebaseerd architectuur ontworpen voor robuuste schatting van de relatieve pose tussen een referentiebeeld en een doelbeeld.

• Architectuur:
  • Frozen Backbone: Het model maakt gebruik van een vooraf getrainde Vision Transformer (ViT) backbone, specifiek DINOv3 (of DINOv2/DUNE), die tijdens het trainen bevroren blijft. Dit zorgt voor robuuste, domein-agnostische features en maakt training mogelijk met beperkte data.
  • Cross-Attention Decoder: Een Transformer-decoder verwerkt de features van beide beelden (referentie en target) via self-attention en cross-attention mechanismen om de geometrische relatie te vatten.
  • Voorspelling Head: Een lichtgewicht Multi-Layer Perceptron (MLP) regresseert de uiteindelijke pose.
  • Bidirectionele Training: Het model leert zowel de pose van beeld 1 naar 2 als van 2 naar 1, wat geometrische consistentie forceert.
• Output Representatie: Het model schat de transformatie in absolute metrische eenheden. Voor rotatie wordt gebruikgemaakt van quaternionen in combinatie met een specifieke quaternion-based pose loss, wat betere resultaten oplevert dan Euler-hoeken of rotatievectoren.
• Trainingsstrategie (Synthetic-to-Real):
  • Het model wordt uitsluitend getraind op synthetische data gegenereerd in Blender.
  • De synthetische dataset bevat diverse voertuigen, objecten en bezettingen met willekeurige rotaties en translaties rondom een standaardreferentie.
  • Het model is ontworpen om direct te werken op vervormde vis-oogbeelden zonder voorafgaande undistortion, wat cruciaal is voor het behoud van hoekinformatie.
• Referentie-Relatieve Formulering: In plaats van een voertuigspecifiek coördinatenstelsel te gebruiken, wordt de pose geschat ten opzichte van een gekalibreerde referentiebeeld. Dit maakt het model voertuig-agnostisch en voorkomt hertraining bij wisselende voertuigconfiguraties.

3. Belangrijkste Bijdragen

1. Nieuwe Dataset (In-Cabin-Pose): De auteurs publiceren een real-world testdataset met sterk vervormde, groothoek NIR (near-infrared) vis-oogbeelden van voertuiginterieurs, inclusief metrische ground truth.
2. Voertuig-Agnostische Referentie: Een nieuwe formulering van het probleem als "referentie-relatieve pose-schatting", wat generalisatie over verschillende voertuigen mogelijk maakt zonder hertraining.
3. Robuuste Verwerking van Vervorming: InCaRPose verwerkt vervormde vis-oogbeelden end-to-end en schat translatie in absolute metrische eenheden, zonder undistortion of scene-specifieke training.
4. Synthetic-to-Real Generalisatie: Het model presteert hoog op real-world data ondanks training op slechts ~6.500 synthetische beeldparen, dankzij het gebruik van krachtige, bevroren foundation models.

4. Resultaten

De prestaties zijn geëvalueerd op de eigen In-Cabin-Pose dataset, evenals op publieke datasets (7-Scenes en Cambridge Landmarks).

• In-Cabin Performance:
  • De InCaRPoseLarge224-configuratie bereikt een mediaan translatiefout van 0,07 m en een mediaan rotatiefout van 2,75° op real-world testdata.
  • Het model is real-time (≥45 FPS, tot ~70 FPS voor kleinere backbones) op een consumenten-GPU (RTX 4090), wat essentieel is voor tijdskritische toepassingen.
  • Het presteert aanzienlijk beter dan klassieke methoden (zoals SIFT + RANSAC) die geen metrische schaal kunnen bepalen, en beter dan grote modellen zoals Reloc3r op vervormde beelden (zonder undistortion).
• Generalisatie:
  • Op de 7-Scenes dataset (indoor) bereikt het model een mediaan rotatiefout van 1,91° (Large512), wat een verbetering is van 65% ten opzichte van de Reloc3r-baseline.
  • Op de Cambridge Landmarks (outdoor) zijn de resultaten concurrerend, hoewel de prestaties iets dalen bij complexe buitenomgevingen, wat typisch is voor modellen getraind op synthetische indoor-data.
• Efficiëntie: Door het bevriezen van de backbone en het trainen van alleen de decoder en head, is het model data-efficiënt en geschikt voor edge deployment.

5. Betekenis en Toekomstperspectief

InCaRPose lost een kritiek probleem op in de ontwikkeling van autonoom rijden en bestuurdersmonitoring: het vermogen om snel en nauwkeurig de camera-pose te kalibreren in dynamische, vervormde interieurs.

• Veiligheid: De mogelijkheid om binnen enkele milliseconden de exacte positie van inzittenden te bepalen (in meters) is cruciaal voor systemen zoals airbag-uitrol en vermoeidheidsdetectie.
• Kostenefficiëntie: Het gebruik van synthetische data en bevroren foundation modellen verlaagt de kosten voor datacollectie en training aanzienlijk.
• Toekomst: De auteurs richten zich op het verbeteren van de robuustheid bij gedeeltelijke obstructies (bijv. door passagiers of bagage) en het uitbreiden van de testset voor complexere, dynamische interieurcondities.

Kortom, InCaRPose biedt een praktische, snelle en nauwkeurige oplossing voor camera-extrinsieke kalibratie in voertuigen, die de kloof tussen synthetische training en real-world toepassing overbrugt.