Technische Samenvatting: WristCompass

Probleemstelling

Het herstellen van de oriëntatie van de ego-camera (SO(3)) uit egocentrische manipulatievideo is een cruciale voorwaarde voor het ontwarren van handbeweging van camerabeweging in imitation learning. Bestaande benaderingen vertrouwen op scènegeometrie om de camerapoze af te leiden. Deze strategie faalt echter in scenario's met nabije manipulatie, waarbij handen het zicht op de scène frequent blokkeren.

Het artikel toont aan dat state-of-the-art scène-reconstructiemodellen, zoals VGGT (een transformer met 1 miljard parameters), slechter presteren dan een constante voorspeller op de TACO-benchmark (23,98° mediane geodetische fout versus 21,22° voor een constante rotatie). Dit falen treedt op omdat het visuele concept van "scène-geometrie" ophoudt te bestaan wanneer het frame wordt geblokkeerd door handen. Bovs is IMU-gebaseerde oplossingen niet toepasbaar op bestaande RGB-only videoarchieven. De kernuitdaging is het herstellen van de camera-oriëntatie uit kale monoculaire RGB zonder te vertrouwen op een zichtbare scène-structuur.

Methodologie: WristCompass

De auteurs stellen WristCompass voor, een methode die de camera-oriëntatie herstelt door gebruik te maken van kinematische koppelingsdynamiek. Dit concept berust op de gestructureerde fysieke relatie tussen polsbeweging en camera-oriëntatie, opgelegd door de menselijke arm-schouder-hoofd-keten. Wanneer het hoofd (de camera) roteert, moeten de armen en polsen bewegen om interactie met de werkruimte te behouden, wat een voorspelbare koppeling creëert, zelfs wanneer de achtergrond onzichtbaar is.

Belangrijke technische componenten

1. Inputrepresentatie (4D Inter-Wrist Features):

   • In plaats van volledige hand-keypoints te gebruiken (126 dimensies van 42 gewrichten), extraheert het model alleen de 4D inter-wrist feature vector.
   • Deze vector bestaat uit de Euclidische afstand tussen de linker- en rechterpols en de eenheidsrichtingsvector van het verschil ($d_t = w^L_t - w^R_t$).
   • Rationale: Experimenten tonen aan dat het oriëntatiesignaal geconcentreerd is in de inter-wrist vector. Volledige hand-keypoints introduceren subject-specifieke ruis (vingerarticulatie) die generalisatie belemmert. De 4D-representatie presteert aanzienlijk beter dan de 126D-representatie.

2. Temporele Modellering (GRU):

   • De methode maakt gebruik van een twee-laagse Gated Recurrent Unit (GRU) met een venstergrootte van 12 frames (~0,4s bij 30fps).
   • Rationale: Het oriëntatiesignaal is niet toegankelijk via statische extractie. Een nearest-neighbor lookup op statische 4D-features scoort slechter dan een constante voorspeller (26,69°), wat bewijst dat het concept inherent temporeel is en een sequentiemodel vereist om de dynamiek te decoderen.

3. Architectuur en Training:

   • De GRU verwerkt de feature-sequentie om een 6D-rotatie-representatie te produceren, die via Gram-Schmidt orthogonalisatie naar SO(3) wordt geprojecteerd.
   • Het model wordt getraind op de TACO-dataset (tabletop manipulatie) met grondwaarheid afkomstig van NOKOV optische motion capture.
   • Parameter-efficiëntie: De kern van het model bevat slechts 200K parameters (exclusief de bevroren WiLoR keypoint extractor), vergeleken met de 1 miljard parameters van VGGT.

4. Inference Pipeline:

   • Het systeem draait in realtime op een CPU.
   • Het verwerkt frames waarin beide polsen gedetecteerd worden; frames met slechts één gedetecteerde pols worden gedropt in plaats van geïnterpoleerd om te voorkomen dat er ruis wordt geïntroduceerd.
   • Evaluatie gebruikt Procrustes-uitlijning om de relatieve oriëntatiestructuur te meten in plaats van de absolute pose, wat wereldwijde kalibratiefouten mitigeert.

Belangrijkste Resultaten

1. In-distribution Prestaties (TACO)

• WristCompass bereikt een mediane geodetische fout van 13,80°.
• Dit presteert aanzienlijk beter dan:
  • VGGT (1B params): 23,98° (slechter dan constant).
  • Constante Voorspeller: 21,22°.
  • Statische Nearest-Neighbor Retrieval: 26,69°.
  • MLP op 126D Keypoints: 17,5°.
• Het model presteert het best op cyclische bewegingen (bijv. roeren: 5,9°) en heeft moeite wanneer de hoofdoriëntatie ontkoppelt van de polsdynamiek (bijv. meten met een liniaal: 24,3°).

2. Zero-Shot Transfer (Epic Kitchens)

• Getraind uitsluitend op TACO, transfeert WristCompass zero-shot naar de Epic Kitchens dataset (borst-gemonteerde GoPro, kookdomein).
• Het bereikt een mediane geodetische fout van 14,32°, waarmee het de constante baseline (18,54°) verslaat voor 33 van de 36 deelnemers.
• Vergelijking met VGGT op Epic Kitchens:
  • VGGT bereikt 12,83° (iets beter dan de 14,32° van WristCompass).
  • Echter, VGGT is 1000× groter (1B vs. 200K parameters).
  • De auteurs merken op dat het voordeel van VGGT mogelijk komt door de afhankelijkheid van scènegeometrie, die meer beschikbaar is in keuken-video's dan in close-up TACO-taken. Daarentegen wint WristCompass met meer dan 10° op TACO, waar scène-features geblokkeerd zijn.

Bijdragen en Betekenis

Het artikel identificeert kinematische koppelingsdynamiek als een compact, gestructureerd en fysiek gefundeerd visueel concept dat voldoende is voor het herstellen van de camera-oriëntatie in manipulatievideo's.

1. Conceptidentificatie: Het werk stelt vast dat de arm-schouder-hoofd-keten een fysieke beperking oplegt die de ego-beweging codeert in de polsdynamiek, een concept dat juist bestaat wanneer de scènegeometrie afwezig is.
2. WristCompass Implementatie: De auteurs realiseren dit concept vanuit kale RGB met een lichtgewicht model van 200K parameters, waarmee zij aantonen dat hoogwaardige oriëntatie-extractie geen massale scène-reconstructiemodellen vereist.
3. Generalisatie via Anatomie: De zero-shot transfer naar Epic Kitchens toont aan dat het concept generaliseert over datasets en cameramonteringen omdat het geworteld is in de menselijke anatomie in plaats van in het uiterlijk van de scène.

Beperkingen en Reikwijdte

De auteurs vermelden expliciet de volgende grenzen:

• Foutmodi: De methode faalt wanneer de hoofdoriëntatie bijna statisch is (lage variantie) of wanneer de polspositie onafhankelijk van de hoofdoriëntatie wordt beperkt (bijv. meettaken).
• Evaluatie-omvang: De huidige evaluatie is beperkt tot staande manipulatie. Transfer naar zittende of volledige lichaamsactiviteiten is niet getest.
• Absoluut vs. Relatief: De methode meet de relatieve oriëntatiestructuur (via Procrustes-uitlijning); absolute pose-kalibratie blijft een apart probleem.
• Data-afhankelijkheid: Hoewel het concept fysiek gefundeerd is, heeft het model nog steeds een temporeel model (GRU) nodig en kan het niet functioneren met statische frame-retrieval.

Concluderend biedt WristCompass een parameter-efficiënte, anatomisch gefundeerde alternatief voor scène-gebaseerde pose-estimatie, dat specif으로 de faalmodi van huidige modellen in geoccludeerde, nabije egocentrische manipulatie-scenario's aanpakt.