DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance

Dit artikel introduceert DriverGaze360, een groot dataset met 360-graden blikrichtingdata van bestuurders en de bijbehorende DriverGaze360-Net-methode, die samen een state-of-the-art oplossing bieden voor het voorspellen van bestuurdersaandacht in een volledig omnidirectioneel rijomgeving.

De kern

Stel je voor dat je een zelfrijdende auto bouwt. Tot nu toe was het alsof we deze auto's een korte, smalle kijkbuis (een tunnel) voor de ogen hadden geplaatst. Ze konden alleen recht vooruit kijken. Maar in het echte leven kijkt een mens niet alleen recht vooruit. We kijken in de spiegels, draaien onze hoofd naar links en rechts, en scannen de achtergrond. Als een auto dat niet begrijpt, kan hij gevaarlijk worden, vooral bij het inhalen of afslaan.

Deze paper introduceert DriverGaze360, een revolutionaire nieuwe manier om te begrijpen waar een bestuurder naar kijkt. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De Nieuwe "360-Graden Camera" (Het Dataset)

Vroeger verzamelden onderzoekers gegevens met camera's die alleen naar voren keken. Het was alsof je een film van een auto zag, maar je zag alleen wat er voor de bumper gebeurde. Je miste de fietser aan je linkerkant of de auto die je probeerde in te halen.

De auteurs hebben nu DriverGaze360 gemaakt.

• De Analogie: Stel je voor dat je een 360-graden panoramafoto maakt van een kamer, in plaats van alleen een foto van de muur voor je.
• Hoe ze het deden: Ze hebben 19 echte mensen in een simulator (een superrealistische computerspel-auto) gezet. Deze mensen droegen speciale brillen die precies registreerden waar hun ogen naar keken, terwijl ze door een virtuele wereld reden.
• Het resultaat: Ze hebben een enorme database gemaakt van ongeveer 1 miljoen beelden. Dit is de eerste keer dat we een complete "omniversum" hebben van waar mensen echt naar kijken, inclusief het kijken in de achteruitkijkspiegel (iets wat oude datasets volledig misten).

2. De Slimme AI (DriverGaze360-Net)

Nu ze de gegevens hebben, moesten ze een computer leren om te voorspellen waar een bestuurder naar zou kijken. De oude methoden waren als een blindeman die probeerde een schilderij te beschrijven door alleen naar één hoekje te kijken.

De nieuwe AI, genaamd DriverGaze360-Net, is slimmer.

• De Analogie: Stel je voor dat je een detective bent die een moordzaak oplost.
  • Oude methode: De detective kijkt naar de hele kamer en zegt: "Er is hier veel aandacht." (Te vaag).
  • Nieuwe methode: De detective kijkt niet alleen naar de kamer, maar identificeert ook de verdachten. Hij zegt: "De aandacht is gericht op de man met de rode hoed (de auto) en het meisje bij de deur (de fietser)."
• Hoe het werkt: De AI doet twee dingen tegelijk:
  1. Hij maakt een kaartje van waar de aandacht ligt (een "hittekaart").
  2. Hij telt en benoemt de objecten waar die aandacht naartoe gaat (auto's, voetgangers, verkeerslichten).
• Waarom is dit beter? Door de AI te dwingen te begrijpen wat er gebeurt (bijvoorbeeld: "Oh, dat is een voetganger die de weg oversteekt"), wordt de voorspelling van waar hij naar kijkt veel scherper en accurater. Het is alsof je de AI een vertaalboek geeft: hij leert dat "voetganger" vaak betekent "kijk hier".

3. Waarom is dit belangrijk?

Dit onderzoek is als het geven van 3D-brillen aan een zelfrijdende auto die tot nu toe alleen in 2D heeft geleefd.

• Veiligheid: Als een auto begrijpt dat de bestuurder naar de achteruitkijkspiegel kijkt omdat hij wil inhalen, kan de auto beter begrijpen wat er gaat gebeuren.
• Vertrouwen: Het maakt zelfrijdende auto's "uitlegbaar". We kunnen zien waarom de auto een bepaalde beslissing nam, omdat we zien wat de menselijke bestuurder in die situatie ook zou hebben gezien.
• Realiteit: Omdat ze gebruikmaken van een simulator, kunnen ze gevaarlijke situaties (zoals een plotselinge remmanoeuvre of een fietser die uit het niets komt) veilig en vaak herhalen om de AI te trainen.

Samenvattend

De auteurs hebben een gigantische, 360-graden bibliotheek gecreëerd van waar mensen naar kijken in een auto, en ze hebben een super-slimme AI gebouwd die niet alleen kijkt waar je kijkt, maar ook begrijpt naar welk object je kijkt.

Het is een enorme stap van "kijken door een tunnel" naar "helemaal rondkijken met een scherp inzicht". Dit helpt ons om zelfrijdende auto's te maken die niet alleen slimmer zijn, maar ook menselijker in hun reacties.

Technische samenvatting

Probleemstelling

Het voorspellen van de aandacht van een bestuurder is cruciaal voor het ontwikkelen van uitlegbare autonome voertuigen en het begrijpen van gedrag in gemengd verkeer (mens en AI). Bestaande methoden en datasets hebben echter twee fundamentele beperkingen:

1. Beperkt gezichtsveld (FoV): De meeste bestaande datasets en modellen gebruiken smalle, voorwaartse camera's. Dit negeert perifere en achterwaartse aandacht, wat essentieel is bij manoeuvres zoals rijbaanwissels, bochten en interacties met voetgangers of fietsers opzij of achter het voertuig.
2. Gebrek aan context: Bestaande modellen kunnen de volledige ruimtelijke context van een rijomgeving niet modelleren, wat leidt tot onvolledige inzichten in het oogbewegingsgedrag van bestuurders.

Methodologie

1. DriverGaze360: Een Nieuwe Dataset

De auteurs introduceren DriverGaze360, het eerste grootschalige dataset voor 360°-aandacht van bestuurders.

• Datacollectie: De data is verzameld in een gecontroleerde simulatieomgeving (CARLA) met 19 menselijke bestuurders.
• Setup: De opstelling gebruikt drie grote voorbeeldschermen en twee "picture-in-picture" schermen voor achteruitkijkspiegels, wat een continu 360°-gezichtsveld creëert.
• Eye-tracking: Gebruik van Pupil Core-brillen (120 Hz) om oogbewegingen te registreren, gesynchroniseerd met de simulatie.
• Scenario's: De dataset omvat diverse situaties, waaronder ongescripte navigatie, doelgerichte navigatie (bijv. rondjes, op- en afritten) en veiligheidskritieke gebeurtenissen (bijv. noodremmingen, plotseling oprijdende voetgangers).
• Statistieken: Ongeveer 9 uur rijbeelden met ~1 miljoen getekende frames. De dataset bevat expliciete annotaties voor oogfixaties, inclusief 6% fixaties op de achterkant (via spiegels), wat overeenkomt met realistische waarden.

2. DriverGaze360-Net: Het Model

Om deze panoramische data te verwerken, stellen de auteurs DriverGaze360-Net voor, een architectuur gebaseerd op Vision Transformers (ViT).

• Backbone: Gebruik van de Video Swin Transformer (VST) voor het extraheren van ruimtelijk-temporele kenmerken uit sequenties van RGB-frames. De VST is gekozen vanwege zijn efficiëntie (lineaire complexiteit) en vermogen om lange sequenties te verwerken.
• Dual-Decoder Architectuur: Het model heeft twee decoders die gedeelde kenmerken gebruiken:
  1. Attention Decoder: Genereert een dichte 360°-aandachtskaart (saliency map).
  2. Attended Object Decoder: Een hulp-kop voor semantische segmentatie die specifiek leert welke objecten (voertuigen, voetgangers, verkeerslichten) door de bestuurder worden bekeken.
• Object-Level Guidance: In plaats van de volledige scène te segmenteren, genereert het model een "attendeerde objecten-masker". Dit masker behoudt alleen de semantische IDs van objecten die overlappen met de oogfixaties van de bestuurder. Dit helpt het model om zich te focussen op relevante objecten in plaats van de hele panoramische scène.
• Verliesfunctie: Het model wordt getraind met een gecombineerde verliesfunctie die de Kullback-Leibler-divergentie en correlatie voor de aandachtskaart combineert met Dice, IoU en Cross-Entropy voor de objectsegmentatie.

Belangrijkste Bijdragen

1. DriverGaze360 Dataset: De eerste grote, omnidirectionele dataset voor bestuurdersaandacht, verzameld via eye-tracking in een simulatie, die volledige 360°-dynamiek (inclusief spiegels en achterwaartse blikken) dekt.
2. DriverGaze360-Net: Een transformer-gebaseerd model dat aandacht en semantische objectidentificatie gezamenlijk leert, wat de ruimtelijke bewustwording en robuustheid verbetert bij panoramische invoer.
3. Attended Object Extraction: Een pipeline die oogfixaties koppelt aan objectinstanties, wat leidt tot objectniveau-aandachtsannotaties die als supervisie dienen voor het model.

Resultaten

De auteurs hebben hun methode uitgebreid getest en vergeleken met state-of-the-art (SOTA) modellen zoals DR(eye)VE, BDDA, DADANet en FBLNet.

• Prestaties op DriverGaze360: DriverGaze360-Net behaalde de beste resultaten op alle metrieken (KLD, SIM, CC, NSS). Ten opzichte van de op één na beste methode werden verbeteringen geboekt van 12,18% (KLD) tot 4,94% (NSS).
• Generalisatie: Het model werd ook getest op de real-world DADA-2000 dataset (smal FoV). Het presteerde hier eveneens superieur, wat aantoont dat de methode niet dataset-specifiek is en goed generaliseert naar echte rijdata.
• Ablatie-studie: Het toevoegen van de "Attended Object Segmentation" kop (AttObjSeg) verbeterde de prestaties aanzienlijk ten opzichte van een model dat alleen aandacht voorspelt. Dit bevestigt dat het expliciet leren van welke objecten worden bekeken, de nauwkeurigheid van de aandachtsvoorspelling verhoogt.

Betekenis en Impact

Dit werk is een doorbraak in het onderzoek naar bestuurdersaandacht door de beperking van het smalle gezichtsveld te doorbreken.

• Veiligheid: Het stelt ontwikkelaars van ADAS (Advanced Driver Assistance Systems) en autonome voertuigen in staat om te begrijpen hoe bestuurders kijken in complexe situaties, zoals het controleren van dode hoeken via spiegels.
• Uitlegbaarheid (Explainable AI): Door te weten wat een bestuurder bekijkt (en niet alleen waar), kunnen AI-systemen menselijke intenties beter anticiperen in gemengd verkeer.
• Toekomstig Onderzoek: De dataset en het model vormen een fundament voor het ontwikkelen van transparante en betrouwbare autonome voertuigen die menselijke aandachtscues integreren in hun besluitvormingsprocessen.