DHECA-SuperGaze: Dual Head-Eye Cross-Attention and Super-Resolution for Unconstrained Gaze Estimation

Dit artikel introduceert DHECA-SuperGaze, een diep leermethode die onbeperkte blikrichtingsschatting verbetert door superresolutie en een dubbel kruisaandachtsmechanisme voor hoofd- en ooginteractie, wat leidt tot aanzienlijk lagere hoekfouten op datasets als Gaze360 en GFIE.

De kern

Wat is dit paper eigenlijk?

Stel je voor dat je een robot wilt bouwen die precies kan zien waar een mens naar kijkt. Dit heet blikrichtingsschatting (gaze estimation). Dit is handig voor dingen zoals het controleren of een bestuurder afgeleid is, of om te zien of een student tijdens een online examen eerlijk is.

Het probleem is echter dat de camera's in de echte wereld vaak wazige foto's maken (zoals op een drukke straat) en dat het hoofd van de persoon niet altijd in dezelfde richting kijkt als de ogen. De huidige methoden zijn hier soms niet goed genoeg in.

De auteurs van dit paper hebben een nieuwe, slimme oplossing bedacht die ze DHECA-SuperGaze noemen. Ze gebruiken twee grote trucs om de robot slimmer te maken:

1. Super-Resolutie (SR): Het wazige beeld scherper maken.
2. Dubbele Cross-Attention: Een manier om het hoofd en de ogen te laten "samenwerken" in plaats van ze apart te bekijken.

---

De twee grote trucs uitgelegd

1. De "Wazige Foto" Truc: Super-Resolutie

Stel je voor dat je probeert te lezen in een boek, maar de foto van de tekst is erg wazig en klein. Je kunt de letters nauwelijks onderscheiden.

• Hoe het werkt: De nieuwe methode pakt die wazige foto van het hoofd en gebruikt een slim algoritme (een soort digitale "verfkwast") om het beeld scherper en groter te maken.
• De analogie: Het is alsof je een oude, korrelige familiefoto in een professionele studio laat restaureren tot een kristalheldere HD-afbeelding. Door het hoofdbeeld scherper te maken, kan de computer veel beter details zien, zelfs als de camera ver weg staat.

2. De "Samenwerkende Teams" Truc: DHECA

In de oude methoden keek de computer vaak alleen naar het hoofd of alleen naar de ogen, of ze keken naar elkaar maar niet echt goed samen.

• Het probleem: Soms kijkt iemand recht vooruit, maar draait zijn hoofd naar links. Als je alleen naar het hoofd kijkt, denk je dat hij naar links kijkt. Maar zijn ogen kijken misschien nog steeds recht vooruit!
• De oplossing (DHECA): De auteurs hebben een nieuw systeem bedacht dat werkt als een tandempaar of een twee-hoofdige detective.
  • De ene helft kijkt naar het hoofd.
  • De andere helft kijkt naar de ogen.
  • Ze praten constant met elkaar via een "cross-attention" mechanisme. Dit is alsof ze zeggen: "Hey, ik zie dat je hoofd naar links draait, maar jouw ogen kijken nog recht. Laten we die informatie combineren om de juiste richting te vinden."
• De analogie: Stel je voor dat je een raadsel oplost. Eén persoon kijkt naar de randen van het raadsel (het hoofd) en de ander naar het midden (de ogen). Als ze alleen werken, maken ze fouten. Maar als ze constant met elkaar overleggen ("Ik zie hier een stukje, jij zie daar een stukje, hoe past dat samen?"), lossen ze het raadsel veel sneller en nauwkeuriger op.

---

Een verrassende ontdekking: De "Verkeerde Adressen"

Tijdens het onderzoek ontdekten de auteurs een groot probleem in één van de bekendste databases (Gaze360) die ze gebruikten om hun robot te trainen.

• Het probleem: In sommige foto's was de computer vergeten wie de "hoofdrolspeler" was. De computer had per ongeluk de ogen en het gezicht van een toeschouwer in de achtergrond gemarkeerd, terwijl de blikrichting eigenlijk van de persoon in het midden was.
• De analogie: Het is alsof je een klaslokaal hebt en de leraar vraagt: "Kijk naar de persoon die naar het bord kijkt." Maar de computer heeft per ongeluk de naam van een leerling op de achterste rij op het bord geschreven, terwijl de persoon die naar het kijkt in de voorkant zit.
• Het resultaat: De auteurs hebben deze fouten gevonden en de database "opgepoetst" (gecorrigeerd). Hierdoor leren alle robots die deze database gebruiken nu veel beter.

---

Wat is het resultaat?

De nieuwe robot (DHECA-SuperGaze) is de beste tot nu toe.

• Binnen hetzelfde testgebied: Hij maakt veel minder fouten dan de vorige kampioenen. De foutmarge is met bijna een halve graad (in statische situaties) en zelfs 3 graden (in video's) kleiner geworden.
• Op nieuwe gebieden: Als je de robot traint op foto's uit één stad en hem test in een andere stad (met andere mensen en licht), presteert hij nog steeds veel beter dan de concurrenten. Hij is dus veel "slimmer" en aanpasbaarder.

Samenvatting in één zin

De auteurs hebben een slimme robot gemaakt die wazige foto's scherper maakt en waarbij het hoofd en de ogen als een goed samenwerkend team de blikrichting van mensen in de echte wereld veel nauwkeuriger voorspellen dan ooit tevoren, terwijl ze tegelijkertijd een oude database hebben opgeschoond van fouten.

Technische samenvatting

Probleemstelling

Bepalen van de blikrichting (gaze estimation) in onbeperkte omgevingen ("in-the-wild") is een uitdagende taak voor computerzichtsystemen. Bestaande methoden stuiten op twee hoofdproblemen:

1. Lage resolutie: Beelden uit de echte wereld hebben vaak een lage resolutie, wat het moeilijk maakt om fijne details in de ogen te detecteren.
2. Onvoldoende modellering van interacties: State-of-the-art (SOTA) methoden modelleren de interactie tussen het hoofd en de ogen vaak onvoldoende. Er kan een afwijking van tot wel 35° zijn tussen de hoofdrichting en de blikrichting, waardoor alleen het hoofd niet voldoende is; een close-up van de ogen is essentieel.
3. Data-kwaliteit: Een veelgebruikt dataset, Gaze360, bleek fouten te bevatten in de annotaties (bepaalde kaders omvatten per ongeluk gezichten van andere personen in plaats van het onderwerp), wat de prestaties van modellen negatief beïnvloedt.

Methodologie: DHECA-SuperGaze

De auteurs stellen DHECA-SuperGaze voor, een deep learning-methode die blikrichting schat door super-resolutie (SR) en een nieuw aandachtmechanisme te combineren. De architectuur bestaat uit de volgende componenten:

1. Pre-processing en Super-Resolution (SR):

   • Het invoerbeeld (hoofd) wordt eerst verwerkt met een SR-model (DRCT-GAN) om de resolutie te verhogen.
   • Er worden multi-schaal beelden gegenereerd (van 224x224 tot 150x150 en terug) om zowel globale als lokale kenmerken te vangen.
   • Voor tijdelijke (temporele) instellingen wordt een reeks van 7 opeenvolgende frames verwerkt met een "zoom-in/zoom-out" effect rond het centrale frame.

2. Dual-Branch Backbone:

   • Het model gebruikt twee parallelle Convolutional Neural Network (CNN) takken (beide gebaseerd op ResNet18):
     • Eén tak verwerkt de meerdere schalen van het SR-verhoogde hoofdbeeld.
     • De andere tak verwerkt gecropte oogbeelden (links en rechts).

3. DHECA-module (Dual Head-Eye Cross-Attention):

   • Dit is het kerninnovatiepunt. In plaats van alleen zelf-attention of eenrichtings-cross-attention, gebruikt DHECA een bidirectionele cross-attention tussen de hoofd- en oogkenmerken.
   • Kenmerken uit de ene tak (bijv. hoofd) worden gebruikt als Query (Q), terwijl kenmerken uit de andere tak (bijv. ogen) dienen als Key (K) en Value (V), en vice versa.
   • Dit stelt het model in staat om de context van het hoofd te gebruiken om oogdetails te verfijnen en omgekeerd, wat cruciaal is voor het oplossen van de divergentie tussen hoofd en blik.

4. Output:

   • Het model voorspelt niet direct de vector, maar de sinus en cosinus van de yaw- en pitch-hoeken om de periodiciteit en discontinuïteiten van hoekvoorspelling te omzeilen.

Belangrijkste Bijdragen

1. Dataset Rectificatie (Gaze360): De auteurs hebben een systematische analyse uitgevoerd op de Gaze360-dataset en foutieve annotaties geïdentificeerd (waarbij kaders op verkeerde gezichten zaten). Ze hebben deze gecorrigeerd en de gecorrigeerde annotaties vrijgegeven. Experimenten tonen aan dat het gebruik van deze gecorrigeerde data de prestaties van alle modellen verbetert.
2. Nieuwe DHECA-module: Ze introduceren een module die bidirectionele cross-attention toepast tussen hoofd- en oogkenmerken, wat superieur is aan eerdere methoden die alleen eenrichtings-attention gebruikten.
3. Optimale SR-configuratie: Door ablatiestudies hebben ze vastgesteld dat het toepassen van Super-Resolution alleen op de hoofdbeelden (en het gebruik van de originele oogcroppen) de beste prestaties levert, in plaats van SR op beide of geen SR.

Resultaten

De methode werd geëvalueerd op de Gaze360 en GFIE datasets, zowel binnen-dataset (trainen en testen op dezelfde dataset) als cross-dataset (trainen op de ene, testen op de andere).

• Within-dataset prestaties: DHECA-SuperGaze behaalde de beste resultaten (State-of-the-Art).
  • Statisch: Vermindering van de hoekfout (Angular Error - AE) met 0,48° op Gaze360 en 2,95° op GFIE ten opzichte van de tweede beste methode.
  • Temporeel: Vermindering van de AE met 0,59° op Gaze360 en 3,00° op GFIE.
• Cross-dataset prestaties: Het model toonde sterke generalisatie-eigenschappen.
  • Verbeteringen van meer dan 1,53° (Gaze360) en 3,99° (GFIE) in zowel statische als temporele instellingen.
• Ablatie-studies:
  • De DHECA-module presteerde significant beter dan zelf-attention of geen attention.
  • Het gebruik van de gecorrigeerde Gaze360-data resulteerde in een extra verbetering van ongeveer 0,15° in de hoekfout voor alle modellen die oogannotaties gebruiken.

Betekenis en Conclusie

DHECA-SuperGaze zet een nieuwe standaard voor blikrichtingsschatting in onbeperkte omgevingen. De studie benadrukt dat:

1. De kwaliteit van datasets (annotaties) cruciaal is voor het trainen van robuuste modellen.
2. Het combineren van Super-Resolution (voor hoofdbeelden) met een geavanceerde, bidirectionele cross-attention tussen hoofd en ogen de prestaties aanzienlijk verbetert.
3. De methode niet alleen binnen-dataset beter presteert, maar ook beter generaliseert naar nieuwe, onbekende datasets, wat essentieel is voor praktische toepassingen zoals bestuurdersmonitoring, examenhulp en toegankelijkheid voor mensen met motorische beperkingen.