DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance

Die Arbeit stellt DriverGaze360 vor, einen umfassenden Datensatz mit rund einer Million gaze-labeled Frames aus 360°-Sicht sowie das zugehörige Deep-Learning-Modell DriverGaze360-Net, das durch objektleitende Aufmerksamkeit und semantische Segmentierung die Vorhersage von Fahreraufmerksamkeit in panoramischen Fahrtszenarien auf den aktuellen Stand der Technik hebt.

Das Wesentliche

Titel: DriverGaze360 – Der erste Blick, der wirklich alles sieht

Stell dir vor, du sitzt am Steuer eines Autos. Normalerweise schaust du geradeaus, aber um sicher zu sein, musst du auch in den Rückspiegel schauen, zur Seite blicken, um einen Fußgänger zu sehen, oder kurz nach hinten werfen, wenn du die Spur wechselst.

Bisher waren die Computer, die Autos autonom fahren lassen sollen, wie Menschen mit einem sehr engen Tunnelblick. Sie konnten nur das sehen, was direkt vor der Windschutzscheibe lag. Das Problem? Wenn ein Radfahrer von der Seite kommt oder ein Fußgänger aus dem toten Winkel auftaucht, waren diese alten Systeme blind.

Hier kommt DriverGaze360 ins Spiel – eine neue Erfindung, die dieses Problem löst.

1. Der neue "Super-Blick" (Das Datenset)

Stell dir vor, du möchtest einem Roboter beibringen, wie ein Mensch fährt. Bisher hast du ihm nur ein Video gezeigt, das wie durch ein Fernrohr gefilmt war (nur geradeaus).

Die Forscher haben jetzt etwas Neues gemacht: Sie haben 19 echte Menschen in einen riesigen Fahrsimulator gesetzt. Diese Menschen trugen eine spezielle Brille, die genau aufzeichnet, wohin sie schauen. Aber das Besondere ist: Der Simulator zeigt ihnen nicht nur die Straße vor ihnen, sondern eine 360-Grad-Welt.

• Die Analogie: Stell dir vor, die Fahrer tragen eine unsichtbare Kugel um sich herum. Die Kamera fängt jeden Blick auf – egal ob sie geradeaus schauen, in den Rückspiegel blicken oder zur Seite schauen, um einen Radfahrer zu sehen.
• Das Ergebnis: Sie haben eine riesige Bibliothek mit 1 Million Bildern erstellt. Das ist wie ein riesiges Wörterbuch, das dem Computer beibringt: "Aha, wenn ich links abbiege, schaue ich zuerst nach links und dann in den Spiegel!"

2. Der "Zweikopf-Roboter" (Die KI-Software)

Nun haben sie eine neue KI entwickelt, die sie DriverGaze360-Net nennen. Stell dir diese KI nicht als einen einzelnen Kopf vor, sondern als einen Zweikopf-Roboter.

• Kopf A (Der Aufpasser): Dieser Kopf schaut sich das Bild an und fragt: "Wo schaut der Fahrer hin?" Er malt eine Art Wärmekarte auf das Bild, die zeigt, wo die Aufmerksamkeit liegt.
• Kopf B (Der Detektiv): Dieser Kopf ist schlauer. Er fragt nicht nur "Wo?", sondern auch "Was?". Er sucht im Bild nach wichtigen Dingen: "Ist das ein Auto? Ein Fußgänger? Eine Ampel?"

Warum ist das so genial?
Früher haben KIs versucht, alles zu erraten, ohne zu wissen, was wichtig ist. Das ist wie wenn du versuchst, ein Puzzle zu lösen, ohne zu wissen, wie das fertige Bild aussieht.
Der neue Roboter nutzt Kopf B, um Kopf A zu helfen. Er sagt: "Hey, schau nicht auf den Baum am Straßenrand, schau auf den Fußgänger!"

• Die Metapher: Es ist wie ein erfahrener Fahrlehrer, der neben dem Schüler sitzt. Der Schüler (Kopf A) schaut vielleicht auf die Wolken, aber der Lehrer (Kopf B) tippt ihn auf die Schulter und sagt: "Schau auf die rote Ampel!" Durch diese Hilfe wird der Schüler viel besser.

3. Warum ist das wichtig für uns?

Stell dir vor, du fährst in einer Stadt. Ein Kind läuft plötzlich von hinter einem geparkten Auto auf die Straße.

• Alte Systeme: Sie sehen nur die Straße vor dem Auto. Sie merken das Kind nicht, weil es nicht im "Tunnelblick" liegt.
• DriverGaze360: Das System weiß, dass ein Mensch in dieser Situation auch zur Seite oder in den Spiegel schaut. Es versteht den gesamten Kontext.

Das bedeutet, dass zukünftige autonome Fahrzeuge nicht nur "blind" geradeaus fahren, sondern wirklich verstehen, was um sie herum passiert. Sie können besser vorhersagen, was passiert, und sicherer reagieren.

Zusammenfassung in einem Satz

Die Forscher haben einem Computer beigebracht, nicht nur durch ein Schlüsselloch zu schauen, sondern mit einem 360-Grad-Blick die ganze Welt zu erfassen und dabei zu lernen, was genau die Aufmerksamkeit eines Menschen verdient – genau wie ein erfahrener, aufmerksamer Autofahrer.

Das Ziel? Autos, die nicht nur fahren, sondern wirklich sehen und verstehen, was um sie herum passiert.

Technische Zusammenfassung

1. Problemstellung

Die Vorhersage der Aufmerksamkeit von Fahrern ist entscheidend für die Entwicklung erklärbarer autonomer Fahrsysteme und zum Verständnis des Fahrerverhaltens in gemischten Verkehrsszenarien (Mensch vs. KI). Bisherige Ansätze und Datensätze leiden jedoch unter zwei wesentlichen Einschränkungen:

• Eingeschränktes Sichtfeld: Die meisten bestehenden Methoden nutzen nur schmale, nach vorne gerichtete Kameras (Frontal-FoV). Dies verhindert die Erfassung des gesamten räumlichen Kontexts, insbesondere bei Manövern wie Spurwechseln, Kurvenfahrten oder Interaktionen mit Objekten im peripheren oder hinteren Bereich (z. B. Fußgänger, Radfahrer).
• Fehlende Ganzheitlichkeit: Bestehende Datensätze konzentrieren sich oft auf kurze, sicherheitskritische Ereignisse und bilden keine kontinuierliche, multidirektionale Blickdynamik ab. Dies führt dazu, dass wichtige Verhaltensmuster (z. B. das Prüfen der Rückspiegel) nicht modelliert werden können.

2. Methodik

A. Der DriverGaze360-Datensatz

Die Autoren stellen DriverGaze360 vor, den ersten groß angelegten Datensatz für die Fahreraufmerksamkeit mit einem 360°-Sichtfeld.

• Datenerhebung: Die Daten wurden in einer kontrollierten Simulationsumgebung (CARLA) mit 19 menschlichen Fahrern gesammelt.
• Setup: Das System nutzt drei große Frontbildschirme und zwei Bild-in-Bild-Displays als Rückspiegel, um ein zusammenhängendes 360°-Sichtfeld zu simulieren. Die Blickbewegungen wurden mittels Eye-Tracking-Brillen (Pupil Core, 120 Hz) erfasst.
• Umfang: Der Datensatz umfasst ca. 9 Stunden Fahrzeit mit rund 1 Million gaze-annotierter Frames.
• Szenarien: Es deckt ein breites Spektrum ab, einschließlich ungescripteter Navigation, zielgerichteter Navigation (z. B. Kreisverkehre, Autobahnanschlüsse) und fünf Arten sicherheitskritischer Ereignisse (Notbremsungen, Fußgängerüberwege, Cut-ins).
• Kalibrierung: Durch AprilTags in der Simulation wurden die Eye-Tracking-Koordinaten präzise auf die Simulationsbilder abgebildet, um Fixationskarten (Attention Maps) zu generieren.

B. DriverGaze360-Net (Das Modell)

Zur Vorhersage der Aufmerksamkeit wurde ein neuartiges neuronales Netzwerk namens DriverGaze360-Net entwickelt.

• Architektur: Das Modell basiert auf einem Video Swin Transformer (VST) als Backbone, der räumlich-zeitliche Merkmale aus Sequenzen von RGB-Frames extrahiert.
• Dual-Decoder-Ansatz:
  1. Attention Decoder: Erzeugt eine dichte 360°-Gaze-Wahrscheinlichkeitskarte.
  2. Attended Object Decoder (Hauptinnovation): Ein zusätzlicher Kopf für die semantische Segmentierung, der nicht nur wo der Fahrer hinschaut, sondern auch was er ansieht (Fahrzeuge, Fußgänger, Radfahrer, Verkehrszeichen) identifiziert.
• Trainingsziel: Das Modell lernt gemeinsam (Joint Learning) die Aufmerksamkeitskarte und die semantischen Klassen der betrachteten Objekte. Dies geschieht durch einen Hilfs-Segmentierungskopf, der nur Objekte segmentiert, die tatsächlich vom Fahrer fixiert wurden (Attended Object Extraction).
• Verlustfunktion: Die Gesamtverlustfunktion kombiniert die Vorhersage der Aufmerksamkeit (Kullback-Leibler-Divergenz und Korrelationskoeffizient) mit der Segmentierung (Dice, IoU und Cross-Entropy).

3. Wichtige Beiträge

1. DriverGaze360-Datensatz: Der erste groß angelegte, omnidirektionale Datensatz für Fahreraufmerksamkeit, der detaillierte Blickverteilungen im gesamten 360°-Bereich (inkl. Rückspiegel) für diverse Szenarien bereitstellt.
2. DriverGaze360-Net: Eine Transformer-basierte Architektur, die durch die gemeinsame Vorhersage von Aufmerksamkeitskarten und betrachteten Objekten die räumliche Bewusstheit und Robustheit bei der Vorhersage auf panoramischen Eingaben verbessert.
3. Attended Object Extraction: Eine Pipeline, die Fixationsverteilungen auf Objektinstanzen abbildet, um Objekt-level-Annotationen zu erzeugen, die als Supervision für das Modell dienen.

4. Ergebnisse

Die Evaluierung erfolgte sowohl auf dem neuen DriverGaze360-Datensatz als auch auf dem bestehenden DADA-2000-Datensatz (zur Generalisierungstestung).

• Quantitative Ergebnisse: DriverGaze360-Net erzielt State-of-the-Art-Ergebnisse auf mehreren Metriken (KLD, SIM, CC, NSS).
  • Auf DriverGaze360 übertrifft das Modell die zweitbeste Methode um bis zu 12,18 % (KLD) und 4,94 % (NSS).
  • Auf dem realen DADA-2000-Datensatz zeigt das Modell ebenfalls eine deutliche Überlegenheit, was die Generalisierungsfähigkeit auf reale Daten beweist.
• Ablationsstudie: Der Vergleich zeigt, dass die reine Aufmerksamkeitsvorhersage durch die Hinzunahme eines Segmentierungskopfs für alle Objekte verbessert wird. Die größte Steigerung erzielt jedoch der spezifische Attended Object Segmentation Head, der explizit nur die vom Fahrer betrachteten Objekte segmentiert. Dies bestätigt, dass die objektbasierte Führung das Modell hilft, sich auf semantisch relevante Regionen zu konzentrieren.
• Qualitative Ergebnisse: Visuelle Vergleiche zeigen, dass das Modell bei komplexen Szenen (z. B. Nachtfahrten oder Unfälle) präzisere Aufmerksamkeitskarten liefert und kritische Bereiche (Ampeln, Fußgänger) korrekt identifiziert, wo andere Modelle versagen.

5. Bedeutung und Ausblick

Diese Arbeit adressiert eine kritische Lücke in der Forschung zur Fahreraufmerksamkeit, indem sie den Fokus von einem eingeschränkten Frontalblick auf ein ganzheitliches 360°-Verständnis verschiebt.

• Für das autonome Fahren: Die Fähigkeit, zu verstehen, wohin ein menschlicher Fahrer schaut (auch in den Rückspiegeln), ist essenziell für die Entwicklung von Systemen, die menschliche Absichten antizipieren und in gemischten Verkehrsszenarien sicher agieren können.
• Erklärbarkeit (XAI): Durch die Verknüpfung von Blickrichtung mit spezifischen Objekten können autonome Systeme ihre Entscheidungen besser erklären (z. B. „Ich bremse, weil der Fahrer auf den Fußgänger im toten Winkel schaut").
• Zukunft: Die Autoren planen, diesen Datensatz und die Methode zu nutzen, um erklärbare KI-Modelle zu entwickeln, die menschliche Aufmerksamkeitskues direkt in die Entscheidungsfindung autonomer Fahrzeuge integrieren, um Transparenz und Zuverlässigkeit zu erhöhen.