GazeOnce360: Fisheye-Based 360{\deg} Multi-Person Gaze Estimation with Global-Local Feature Fusion

Probleemstelling

Bestaande methoden voor oogrichtingsschatting (gaze estimation) zijn voornamelijk gericht op individuele personen met camera's die recht vooruit kijken (forward-facing) vanuit beperkte gezichtsvelden. Dit beperkt de toepasbaarheid in real-world scenario's waar meerdere mensen tegelijkertijd in een 360°-omgeving interageren, zoals op kantoren, bij balies of voor service-robots.

Het paper richt zich op een onderbelichte maar praktische configuratie: een enkele, omhoog gerichte visvisslenscamera (fisheye) die op een tafel is gemonteerd. Deze setup biedt een panoramisch zicht op de omgeving, maar introduceert specifieke uitdagingen:

• Extreme geometrische vervorming: De visvisslens veroorzaakt sterke radiale vervorming, vooral aan de randen van het beeld.
• Perspectiefvariatie: Gezichten worden vanuit extreme hoeken (van onderen) gezien.
• Bestaande pipelines: Huidige benaderingen voor deze setup gebruiken vaak complexe, meerstaps-pipelines (bijv. eerst gezichtsdetectie, dan projectie naar een frontaal perspectief, vervolgens oogrichting). Deze methoden zijn tijdrovend, gevoelig voor cumulatieve fouten en moeilijk te implementeren.

Methodologie: GazeOnce360

De auteurs stellen GazeOnce360 voor, een nieuw end-to-end model dat multi-person oogrichting direct schat uit de vervormde visvisslensinput. Het model combineert drie kerncomponenten:

1. Rotatie-convolutie (Rotational Convolution):
   Om de geometrische consistentie te behouden onder de extreme vervorming van de visvisslens, wordt rotatie-convolutie geïntegreerd in de Feature Pyramid Network (FPN). In tegenstelling tot standaard convoluties die translatie-invariant zijn, repliceren deze kernels hun gewichten in vier geroteerde versies. Dit stelt het netwerk in staat om beter om te gaan met de grote hoekvariaties die inherent zijn aan visvisslensbeelden.

2. Dual-Resolution Feature Fusion (Dual-resolutie):
   Het model gebruikt een parallelle architectuur om zowel globale context als lokale details te benutten:

   • Global Branch (Laagresolutie): Verwerkt het volledige lage-resolutie visvisslensbeeld om de ruimtelijke lay-out, de rangschikking van de menigte en de grove geometrie tussen personen en camera te begrijpen.
   • Local Branch (Hoogresolutie): Verwerkt uitgesneden (gecropte) gezichten in hoge resolutie om fijne oog- en ooglidkenmerken te extraheren, die cruciaal zijn voor nauwkeurige oogrichting.
   • Fusie: Een Cross-Attention mechanisme fuseert de globale contextuele features met de lokale gezichtsfilters. Hierdoor kan het model zich richten op de relevante ooggebieden binnen de context van de volledige 360°-scène.

3. Multi-Task Supervisie:
   Het netwerk wordt getraind om meerdere taken tegelijkertijd uit te voeren: gezichtsdetectie (bounding boxes), hoofdpositie (head pose), afstand, en oogrichting. Cruciaal is het gebruik van ooglandmark-supervisie (centra van de ogen en pupillen). Omdat deze annotaties in de echte wereld moeilijk te verkrijgen zijn, worden ze gebruikt als extra supervisielabel om het netwerk te leiden naar ruimtelijk betekenisvolle oogrepresentaties.

Belangrijkste Bijdragen

1. MPSGaze360 Dataset:
   De auteurs introduceren de eerste grote synthetische dataset specifiek voor multi-person 360° oogrichtingsschatting onder een tafel-gemonteerde visvisslensconfiguratie.

   • Generatie: Gemaakt met Unreal Engine 5 en MetaHuman.
   • Inhoud: 23.496 synthetische visvisslensbeelden met 1 tot 7 personen, variërende huidtinten, kleding, verlichting en houdingen.
   • Annotaties: Pixel-accurate ground truth voor 3D oogrichting, hoofdpositie, gezichts- en ooglandmarken, en bounding boxes.

2. GazeOnce360 Model:
   Een end-to-end oplossing die de complexiteit van meerstaps-pipelines elimineert. Het model is ontworpen om direct te werken op vervormde input zonder eerst het beeld te "ontvouw" (unroll) of te projecteren, wat fouten en rekentijd bespaart.

3. Validatie en Generalisatie:
   Uitgebreide experimenten tonen aan dat het model niet alleen werkt op synthetische data, maar ook goed generaliseert naar echte visvisslensbeelden, ondanks dat het uitsluitend op synthetische data is getraind.

Resultaten

De prestaties van GazeOnce360 werden geëvalueerd op de MPSGaze360 dataset en vergeleken met bestaande methoden (zoals GAM360):

• Ablatie-studies:
  • Het gebruik van Rotatie-convolutie verlaagde de oogrichtingsfout aanzienlijk (van ~12° naar ~11°).
  • Ooglandmark-supervisie bracht de fout verder omlaag naar 8.89°.
  • De Dual-Resolution architectuur bood een vergelijkbare nauwkeurigheid als een model dat alleen op hoge resolutie werkt (8.97° vs 8.95°), maar met een 22% hogere inferentiesnelheid.
• Vergelijking met State-of-the-Art:
  • Tegenover GAM360 (een meerstaps-methode) presteerde GazeOnce360 aanzienlijk beter: de oogrichtingsfout daalde van 18.96° naar 10.39°.
  • De inferentiesnelheid steeg van 4.23 FPS (GAM360) naar 16.23 FPS (GazeOnce360).
• Generalisatie: Het model behield stabiele prestaties in cross-identity en cross-scene scenario's, wat aantoont dat het niet overfit op specifieke gezichten of achtergronden.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in de ontwikkeling van mens-computer interactie (HCI) en gedragsanalyse in openbare ruimtes.

• Praktische Toepasbaarheid: Door gebruik te maken van één enkele, goedkope camera in plaats van meerdere gesynchroniseerde apparaten, wordt de installatie van oogvolgsystemen in kantoren, winkels of bij robots veel eenvoudiger en schaalbaarder.
• Technologische Doorbraak: Het paper bewijst dat end-to-end learning met rotatie-convolutie en dual-resolutie fusie de uitdagingen van visvisslensvervorming effectief kan oplossen zonder complexe voorverwerking.
• Toekomst: Hoewel het model al goed presteert, blijven uitdagingen bestaan bij extreme hoofdposities, grote afstanden en zware occlusies. Toekomstig werk zal zich richten op het verbeteren van de cross-domein robuustheid (van synthetisch naar echt) en het hanteren van nog complexere omgevingscondities.

Kortom, GazeOnce360 biedt een robuust, efficiënt en schaalbaar framework voor het begrijpen van de blik van meerdere personen in een 360°-omgeving, een domein dat tot nu toe grotendeels onontgonnen was.