MultiCam: On-the-fly Multi-Camera Pose Estimation Using Spatiotemporal Overlaps of Known Objects

Dit paper introduceert MultiCam, een markerloze methode voor dynamische camera-pose-schatting in multi-camera AR-systemen die gebruikmaakt van spatiotemporale overlappingen van bekende objecten om de nauwkeurigheid te verhogen en de afhankelijkheid van markers of voorafgaande kalibratie te elimineren.

De kern

MultiCam: De "Zwarte Doos" van Augmented Reality Openen

Stel je voor dat je een Augmented Reality (AR) bril op hebt, zoals een HoloLens. Deze bril is geweldig, maar heeft een groot nadeel: je ziet alleen wat er direct voor je neus is. Het is alsof je door een smalle koker kijkt. Als je iets achter je of aan de zijkant doet, ziet je bril het niet. In een ziekenhuis of een fabriek is dat gevaarlijk; je mist belangrijke context.

Om dit op te lossen, hangen mensen vaak extra camera's op in de ruimte. Maar hier ontstaat een nieuw probleem: die extra camera's "praten" niet met de bril. Ze hebben elk hun eigen wereldje. Het is alsof je een groep vrienden hebt die allemaal in een ander land wonen en een andere taal spreken; ze zien hetzelfde feest, maar kunnen niet samenwerken omdat ze niet weten waar de ander precies staat.

Meestal lossen ze dit op met markeringen (zoals QR-codes of speciale stickers) die overal geplakt moeten worden. Dat is echter lastig: in een steriele operatiekamer mag je niet overal plakkers plakken, en als je die niet in beeld hebt, werkt het systeem niet.

De Oplossing: MultiCam

De onderzoekers van dit paper hebben een slimme nieuwe manier bedacht, genaamd MultiCam. In plaats van stickers te gebruiken, gebruiken ze de objecten die al in de kamer liggen (zoals een schroevendraaier, een gereedschap of een medisch instrument) als "tijdelijke markeringen".

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Tijdslijn" van Overlappende Blikken

Stel je voor dat de AR-bril en de statische camera's als twee mensen zijn die door een museum lopen.

• De AR-bril beweegt (dynamisch).
• De statische camera's staan stil.
• Soms kijken ze naar hetzelfde object op hetzelfde moment (of bijna hetzelfde moment).

MultiCam pakt deze momenten van overlap en gebruikt ze om de puzzel op te lossen. Het zegt: "Oké, de bril ziet deze schroevendraaier hier, en de statische camera ziet diezelfde schroevendraaier daar. Omdat we weten hoe de schroevendraaier eruitziet, kunnen we nu precies berekenen waar de statische camera ten opzichte van de bril staat."

2. De "Dynamische Netwerkkaart" (Spatiotemporal Scene Graph)

Het systeem bouwt een levendige kaart (een grafiek) op.

• Punten op de kaart: De camera's en de objecten.
• Lijnen: Als een camera een object ziet, wordt er een lijntje getrokken.

Wanneer de AR-bril beweegt, veranderen de lijnen. Maar omdat het systeem weet hoe de objecten eruitzien, kan het de posities van alle camera's continu bijwerken, alsof het een danspauze is waarbij iedereen zijn positie corrigeert op basis van wie er net langs elkaar is gelopen. Zelfs als de camera's elkaar nooit direct in beeld hebben, kunnen ze elkaar vinden via de objecten die ze beide hebben gezien.

3. De "Zelfcorrigerende GPS"

Normaal gesproken hopen AR-systemen op hun eigen interne sensoren (zoals een kompas of versnellingsmeter). Maar die maken na verloop van tijd fouten; je "drijft" weg, net als een bootje zonder anker.
MultiCam werkt als een live GPS-update. Zodra de bril en een statische camera een gemeenschappelijk object zien, "reset" het systeem de positie van de statische camera en corrigeert het de drijffout van de bril. Het is alsof je elke keer dat je een bekend gebouw ziet, je navigatie-app zegt: "Ah, je bent hier, niet daar!"

Waarom is dit cool?

• Geen plakkers nodig: Je kunt het gebruiken in een steriele operatiekamer of een rommelige fabriek zonder dat je eerst de hele ruimte vol hoeft te plakken met stickers.
• Werkt met wat er is: Het gebruikt de gereedschappen en onderdelen die er al zijn.
• Sneller en slimmer: Het systeem is zo snel dat het in real-time werkt (ongeveer 20 beelden per seconde), wat nodig is voor AR.

Kortom:
MultiCam is als een slimme tolk die twee groepen mensen (de bril en de statische camera's) bij elkaar brengt. In plaats dat ze elkaar moeten zoeken met vlaggetjes (stickers), wijzen ze gewoon naar de mensen die ze allebei kennen (de objecten). Zo weten ze ineens precies waar ze allemaal staan, zonder dat er iets extra's in de kamer hoeft te hangen. Dit maakt Augmented Reality veel veiliger en praktischer voor complexe taken zoals operaties of assemblage.

Technische samenvatting

Probleemstelling

Augmented Reality (AR) Head-Mounted Displays (HMD's) hebben een beperkt gezichtsveld (Field of View - FoV), wat in complexe omgevingen (zoals operatiekamers of industriële assemblage) leidt tot het missen van cruciale contextuele informatie. Om dit op te lossen, worden vaak statische externe camera's ingezet. De uitdaging ligt echter in het nauwkeurig en dynamisch aligneren van de coördinatenstelsels van deze diverse camera's (zowel statisch als dynamisch) met die van de HMD.

Bestaande methoden hebben twee grote beperkingen:

1. Marker-gebaseerde tracking: Vereist dat optische markers (zoals ChArUco-borden) zichtbaar zijn in het FoV van alle camera's. Dit is vaak onpraktisch in steriele omgevingen (sterilisatieproblemen) of dynamische scènes waar markers continu in beeld moeten blijven.
2. SLAM/IMU drift: HMD's gebruiken vaak SLAM of IMU-data voor positiebepaling, maar deze methoden accumuleren fouten (drift) na verloop van tijd, wat leidt tot onnauwkeurige positieschattingen ten opzichte van statische camera's.

Er is dus behoefte aan een methode voor markerloze, continue dynamische pose-schatting die gebruikmaakt van reeds aanwezige objecten in de scène in plaats van speciale markers.

Methodologie: MultiCam

De auteurs stellen MultiCam voor, een systeem dat camera-pose schatting uitvoert door gebruik te maken van spatiotemporale overlappingen van bekende objecten tussen verschillende camera's. De pijlers van de methode zijn:

1. Symmetrie-bewuste 6D Object Pose Schatting:

   • Het systeem gebruikt een verbeterde versie van YOLOPose (gebaseerd op YOLOX) voor real-time detectie van 6D objectposities (positie en oriëntatie).
   • Het selecteert sleutelpunten op objecten en lost symmetrie-problemen op door de pose te kiezen die het dichtst bij een vooraf gedefinieerde canonieke weergave ligt.
   • Het model is getraind op synthetische data met domein-randomisatie om robuust te zijn voor reflecterende en textuurloze objecten (zoals chirurgische instrumenten).

2. Spatiotemporale Scene Graph:

   • In plaats van te wachten tot alle camera's hetzelfde gezichtsveld hebben, bouwt het systeem een grafiek op waarbij knooppunten camera's en objecten vertegenwoordigen.
   • Matching: Het systeem zoekt naar overeenkomsten tussen objecten die door verschillende camera's worden gezien op verschillende tijdstippen (spatiotemporale overlapping).
   • Initialisatie: Als camera A en camera B hetzelfde object (of objecten van dezelfde klasse) zien, wordt de relatieve pose tussen de camera's berekend. De HMD (C0) fungeert als anker met een bekende pose (via SLAM), waarna externe camera's worden gealigneerd.
   • Visibiliteit: De grafiek houdt bij welke objecten zichtbaar zijn voor welke camera's, zelfs als de camera's op dat moment geen direct gemeenschappelijk FoV hebben, zolang er een keten van overlappingen is.

3. Object-level Bundle Adjustment:

   • Voor globale optimalisatie wordt een probabilistisch model gebruikt (gebaseerd op ICG) om zowel de camera-pose als de object-pose gezamenlijk te verfijnen.
   • De methode minimaliseert de energie-functie (log-likelihood) gebaseerd op RGB- en dieptedata.
   • Belangrijk: Camera-pose en object-pose worden tegenovergesteld geoptimaliseerd (als het object "verder weg" wordt geschat, beweegt de camera "naderbij" in de optimalisatie).
   • Deze stap wordt alleen uitgevoerd op sleutelframes met overlapping, wat de rekentijd beperkt.

Belangrijkste Bijdragen

1. Markerloze Toolkit: Een toolkit voor multi-view camera pose schatting voor RGB/RGB-D sensoren die geen speciale optische markers vereist, maar werkt met bekende objecten in de scène.
2. Spatiotemporale Scene Graph & Bundle Adjustment: Een nieuwe aanpak die object-pose informatie fuseert over tijdelijk gedeelde gezichtsvelden en een novel object-level bundle adjustment implementeert voor globale optimalisatie.
3. Nieuwe Dataset (Femoral Nailing): Omdat bestaande datasets niet voldeden aan de eisen van dynamische multi-camera setups met spatiotemporale overlapping, hebben de auteurs een nieuwe dataset gemaakt. Deze bevat:
   • Eén dynamische camera (HoloLens 2 HMD).
   • Twee statische camera's (Azure Kinect).
   • Chirurgische instrumenten (reflecterend, textuurloos) in verschillende afstanden.
   • Ground truth verkregen via een OptiTrack motion capture systeem.

Resultaten

De methode is geëvalueerd op drie datasets: YCB-V, T-LESS en de nieuwe Femoral Nailing dataset.

• Object Pose Accuracy: MultiCam presteert beter dan state-of-the-art methoden (zoals CosyPose, MV6D, SyMFM6D) op de YCB-V dataset, zelfs met onbekende camera-pose. De ADD(-S) AUC ligt rond de 88-89%.
• Camera Pose Accuracy:
  • Op de T-LESS dataset (met reflecterende objecten) overtreft MultiCam zowel marker-gebaseerde methoden (ARToolKitPlus) als andere pose-schattingsmethoden, met een translatiefout van ~38mm en rotatiefout van ~3.3 graden.
  • Op de Femoral Nailing dataset (real-world AR scenario):
    • In nabije afstand (<0.5m): MultiCam presteert iets minder nauwkeurig dan een ChArUco-marker (45.5mm vs 35.0mm translatie), maar is veel sneller (43ms vs 21ms runtime voor de marker-benadering in deze specifieke setup, hoewel de paper aangeeft dat de marker-benadering over het algemeen trager is bij verwerking).
    • In verre afstand (0.75m - 1m): MultiCam overtreft de marker-gebaseerde methode significant (52.8mm vs 81.7mm translatie). Dit komt doordat markers in de verte kleiner worden en minder kenmerken bieden, terwijl het systeem meerdere objecten kan gebruiken.
• Drift Correctie: Het systeem kan de drift van de HMD SLAM effectief corrigeren door continu de pose te updaten op basis van externe camera's en objecten, wat resulteert in een stabielere positie schatting over tijd.
• Performance: De pipeline draait met ongeveer 20 FPS (45-50ms) voor drie camera-weergaven, wat geschikt is voor real-time AR-toepassingen.

Betekenis en Conclusie

MultiCam biedt een baanbrekende oplossing voor multi-camera AR-systemen in dynamische omgevingen. Door te vertrouwen op bekende objecten in plaats van markers, maakt het AR-toepassingen mogelijk in omgevingen waar markers onpraktisch of onmogelijk zijn (bijv. steriele operatiekamers).

De kerninnovatie ligt in het gebruik van spatiotemporale overlapping: camera's hoeven niet tegelijkertijd hetzelfde beeld te hebben; het systeem kan posities berekenen zolang er een keten van gedeelde objecten is over tijd en ruimte. Dit maakt het systeem robuust voor zowel statische als bewegende camera's en lost het probleem van SLAM-drift op zonder externe kalibratieapparatuur. De introductie van de Femoral Nailing dataset vult een belangrijke leemte in de literatuur voor multi-view 6D pose schatting in AR-contexten.