SGAP-Gaze: Scene Grid Attention Based Point-of-Gaze Estimation Network for Driver Gaze

Probleemstelling

Het monitoren van de blik van de bestuurder (driver gaze) is cruciaal voor het begrijpen van de situational awareness en het voorkomen van ongelukken, vooral in complexe verkeersomgevingen zoals die in India. Bestaande systemen voor bestuurdersmonitoring (DMS) richten zich voornamelijk op het detecteren van afleidingen (zoals het gebruik van een mobiele telefoon) of vermoeidheid, maar evalueren zelden of de bestuurder daadwerkelijk aandacht heeft voor het omringende verkeer.

De huidige uitdagingen in het schatten van de blikrichting zijn:

1. Gebrek aan scène-informatie: De meeste bestaande modellen gebruiken uitsluitend gezichts- en ooggegevens. Onderzoek toont echter aan dat de omringende scène (verkeerssituatie) een grote invloed heeft op waar een bestuurder naar kijkt.
2. Beperkte datasets: Bestaande datasets zijn vaak gebaseerd op geparkeerde voertuigen, bevatten geen gesynchroniseerde scènebeelden, of hebben te weinig variatie in verkeersdichtheid.
3. Nauwkeurigheid: Het schatten van het exacte punt van blik (Point-of-Gaze of PoG) op het wegdek is lastig, vooral in de randgebieden van het zichtveld, wat echter kritiek is voor veilig rijden.

Methodologie

De auteurs stellen een nieuw kader voor genaamd SGAP-Gaze (Scene Grid Attention based Point-of-Gaze estimation network). Dit model integreert expliciet zowel gezichtsgegevens als visuele context van de rijscène.

1. Nieuwe Dataset: UD-FSG
Er is een nieuwe, grote dataset verzameld genaamd Urban Driving-Face Scene Gaze (UD-FSG).

• Opzet: Gesynchroniseerde beelden van het bestuurdersgezicht en de rijscène, verzameld in een heterogene verkeersomgeving (Kanpur, India).
• Ground Truth: Gebruik van een Pupil Invisible oogvolger om de exacte blikcoördinaten op de scène te bepalen. De coördinaten van de oogvolger (die met het hoofd meebeweegt) worden via homografie-transformatie gemapt naar het vaste dashboardcamera-beeld.
• Omvang: 35 bestuurders, ongeveer 373.000 beeldparen, met variatie in lichtomstandigheden en verkeersdichtheid.

2. Architectuur van SGAP-Gaze
Het model bestaat uit vier hoofdblokken:

• Geometrische Detectie (FEI Detector): Een aangepast YOLOv8-model detecteert het gezicht, de ogen en de iris. Bij onduidelijke iris-detectie (bijv. door reflecties) wordt een validiteitsmechanisme gebruikt om het model te laten vertrouwen op gezichts- en hoofdoriëntatie.
• Multi-Stream Feature Extractie:
  • Gezicht: Extractie van hiërarchische features via ResNet-18 (van laag tot hoog niveau).
  • Oog & Iris: Extractie van oogfeatures met een Gaussian-weighted mechanism. Hierbij wordt een Gaussische weging toegepast rondom de iris-coördinaten om de iris-beweging te benadrukken binnen het oogbeeld.
  • Scène: De rijscène wordt verwerkt tot een ruimtelijke feature-map (7x7 rooster) via ResNet-18, waarbij elke cel een lokaal gebied van de scène vertegenwoordigt.
• Multi-Modal Feature Fusie:
  • De features van gezicht, ogen en iris worden samengevoegd tot een "gaze intent vector" (de query).
  • Een Transformer-based attention mechanism berekent de aandachtsscores tussen deze intent-vector en de 49 ruimtelijke roostercellen van de scène (keys).
• Voorspelling (PoG Head):
  • Het uiteindelijke punt van blik wordt berekend als de verwachting (gewogen gemiddelde) van de centrumcoördinaten van de scène-roostercellen, gebaseerd op de attention scores.
  • Er wordt een leerbaar residu toegevoegd om verticale bias en discretisatie te corrigeren.

3. Trainingsdoelen
Het model wordt getraind met een hybride loss-functie:

• Voor de 3D-blikrichting: Een combinatie van cosine similarity en Euclidische (L2) loss.
• Voor de PoG (pixelpositie): Smooth L1 loss.

Belangrijkste Bijdragen

1. UD-FSG Dataset: Een schaalbaar, real-world dataset met gesynchroniseerde gezichts- en scènebeelden en 2D blikcoördinaten, specifiek ontworpen voor heterogene verkeersomgevingen.
2. Verbeterde Iris-Representatie: Een Gaussisch gewogen functie voor oogfeatures die de iris-regio benadrukt, wat de nauwkeurigheid van de oogvolging verbetert.
3. SGAP-Gaze Architectuur: Het eerste model dat scène-informatie direct integreert als input voor blik-schatting via een "Scene Grid Attention" mechanisme, in plaats van alleen een salientiekaart te genereren.

Resultaten

Het model is getest op zowel de nieuwe UD-FSG dataset als de bestaande LBW (Look Both Ways) dataset.

• Prestatie op UD-FSG:
  • Gemiddelde pixel-fout (MPE): 104,73 pixels (ongeveer 7,13% van de diagonaal van het beeld).
  • Vergelijking met SOTA (GazePTR): Een reductie van de MPE met 23,5%.
  • De modelprestatie verbetert wanneer scène-informatie wordt toegevoegd aan gezicht- en oogfeatures (MPE daalt van 108,63 naar 104,73).
• Prestatie op LBW:
  • MPE: 63,48 pixels.
  • De resultaten tonen aan dat het model goed generaliseert naar andere datasets.
• Ruimtelijke Analyse:
  • SGAP-Gaze presteert consistent beter dan bestaande methoden in alle ruimtelijke gebieden, inclusief de randgebieden van het beeld (waar de fouten normaal gesproken het grootst zijn). Dit is cruciaal voor het detecteren van blikrichting naar zijspiegels of kruispunten.
  • Cumulatieve nauwkeurigheid: 60,12% van de voorspellingen ligt binnen 100 pixels (tegenover 40,92% bij GazePTR).
• 3D Blikrichting:
  • Op de LBW dataset bereikte het model een gemiddelde hoekfout van 6,04°, wat beter is dan bestaande state-of-the-art modellen (zoals GazePTR met 6,18°).

Betekenis en Conclusie

De studie demonstreert dat het integreren van scène-context via een attention-mechanisme de nauwkeurigheid en robuustheid van blik-schatting voor bestuurders aanzienlijk verbetert.

• Veiligheid: Door de blik van de bestuurder nauwkeuriger te kunnen lokaliseren, inclusief in de periferie, kunnen waarschuwingssystemen effectiever worden ingezet om onoplettendheid te detecteren.
• Robuustheid: Het model presteert goed in complexe, real-world scenario's met veel variatie in verkeer en lichtomstandigheden.
• Toekomst: De auteurs suggereren dat toekomstig werk zich kan richten op het expliciet opnemen van spiegels in de scène-representatie en het integreren van camera-parameters voor schaalbaarheid over verschillende voertuigen.

Kortom, SGAP-Gaze zet een nieuwe standaard voor driver gaze estimation door de brug te slaan tussen wat de bestuurder ziet (gezicht) en waar hij naar kijkt in de omgeving (scène).