ALERT Open Dataset and Input-Size-Agnostic Vision Transformer for Driver Activity Recognition using IR-UWB

Diese Arbeit stellt den öffentlichen ALERT-Datensatz mit 10.220 IR-UWB-Radarmessungen vor und entwickelt den einstellungsgrößenagnostischen Vision Transformer (ISA-ViT), der durch eine innovative Dimensionierungsstrategie und Domänenfusion die Genauigkeit der Erkennung abgelenkten Fahrens um 22,68 % steigert.

Das Wesentliche

Stellen Sie sich vor, Sie fahren Auto und sind abgelenkt. Vielleicht schauen Sie auf Ihr Handy, rauchen eine Zigarette oder trinken einen Kaffee. Das ist gefährlich und führt weltweit zu vielen Unfällen.

Bisher gab es zwei Hauptprobleme, wie man das automatisch erkennen könnte:

1. Kameras sind unpraktisch, weil sie die Privatsphäre verletzen (jeder mag keine Überwachungskamera im Auto) und bei schlechtem Licht versagen.
2. Mikrofone hören alles mit, was auch nicht gut für die Privatsphäre ist.

Die Forscher aus Südkorea haben eine clevere Lösung gefunden: Radarsensoren. Aber nicht irgendeine Radar-Technologie, sondern eine spezielle Art namens IR-UWB.

Hier ist die einfache Erklärung der Arbeit, unterteilt in die drei großen Teile:

1. Das neue "Kochbuch" für das Auto: Der ALERT-Datensatz

Stellen Sie sich vor, Sie wollen einen Kochkurs für einen Roboter geben, damit er lernt, wann ein Fahrer abgelenkt ist. Dafür brauchen Sie unzählige Beispiele: "Hier ist jemand, der telefoniert", "Hier ist jemand, der nickt vor Schlaf", "Hier ist jemand, der das Radio bedient".

Bisher gab es dafür keine guten "Rezepte" (Daten), die in der echten Welt entstanden sind. Die meisten Daten kamen aus simulierten Umgebungen (wie einem Videospiel), was nicht der Realität entspricht.

• Die Lösung: Die Forscher haben das ALERT-Datenset erstellt.
• Die Analogie: Sie haben 9 Freiwillige in ein echtes Auto gesetzt und sie gefahren lassen. Während sie fuhren, haben sie verschiedene Dinge getan (Handy nutzen, rauchen, trinken, etc.). Der Radar im Auto hat dabei nicht gesehen, was sie taten, sondern nur die winzigen Bewegungen ihrer Körper und die Reflexionen der Radarwellen aufgezeichnet.
• Das Ergebnis: Ein riesiges Archiv mit über 10.000 Beispielen aus der echten Welt. Das ist wie ein riesiges Kochbuch, das dem Computer zeigt, wie sich Ablenkung wirklich anfühlt, nicht nur wie sie im Simulator aussieht.

2. Der schwierige Puzzle-Transfer: Das Problem mit den Daten

Jetzt haben wir das Kochbuch (die Daten), aber der "Koch" (die künstliche Intelligenz) kann damit nichts anfangen.

• Das Problem: Die modernste KI für Bilder (genannt Vision Transformer oder ViT) ist wie ein Bilderrahmen, der nur genau quadratische Bilder (z. B. 224x224 Pixel) akzeptiert.
• Die Realität: Die Radar-Daten sehen aber ganz anders aus. Sie sind oft lang und schmal, wie ein schmales Band, oder haben eine völlig andere Form.
• Der alte Fehler: Bisher haben Forscher diese Daten einfach "gestreckt" oder "zusammengedrückt", damit sie in den quadratischen Rahmen passen.
  • Analogie: Das ist, als würde man versuchen, ein langes, dünnes Bild von einem Hochhaus in einen quadratischen Rahmen zu quetschen. Das Gebäude wird dabei verzerrt, die Fenster werden schief, und die KI erkennt das Haus nicht mehr.

3. Die geniale Lösung: ISA-ViT (Der "Form-Adaptierende" Rahmen)

Hier kommt der eigentliche Clou der Studie ins Spiel: ISA-ViT.

• Die Idee: Statt das Bild zu verzerren, passt der Rahmen sich dem Bild an.
• Wie es funktioniert:
  1. Intelligentes Zuschneiden: Die KI schaut sich das Radar-Daten-Bild an. Sie schneidet es nicht einfach ab, sondern fügt geschickt Platz hinzu (wie ein Bilderrahmen, der sich ausdehnt), ohne die wichtigen Details zu verlieren.
  2. Der Kompass (Positionale Embeddings): KI-Modelle haben oft einen "Kompass" im Kopf, der ihnen sagt, wo oben, unten, links und rechts ist. Bei Bildern ist dieser Kompass fest verdrahtet. Bei Radar-Daten ist das Problem, dass der Kompass falsch zeigt, wenn man das Bild verändert. Die Forscher haben den Kompass so angepasst, dass er auch bei den neuen Formen noch weiß, wo was ist, ohne ihn neu erfinden zu müssen.
  3. Zwei Sinne gleichzeitig: Die KI schaut sich nicht nur die "Entfernung" (wie weit ist der Fahrer weg?) an, sondern auch die "Bewegung" (wie schnell bewegt sich die Hand?). Sie kombiniert diese beiden Informationen, wie ein Mensch, der sowohl sieht, wo jemand ist, als auch wie er sich bewegt.

Das Ergebnis: Ein sichereres Auto

Durch diese Kombination aus dem neuen "Kochbuch" (ALERT-Datensatz) und dem intelligenten "Rahmen" (ISA-ViT) passiert Folgendes:

• Die KI erkennt Ablenkungen viel besser als vorherige Methoden (über 22 % besser als die alten Methoden).
• Sie erkennt zu 97 % genau, wenn ein Fahrer abgelenkt ist (z. B. Handy nutzen), ohne dabei zu viel zu melden, wenn er einfach nur fährt.
• Privatsphäre: Da es nur Radarwellen sind, sieht die Kamera nicht das Gesicht des Fahrers. Es ist wie ein unsichtbarer Wächter, der nur die Bewegung spürt, aber nicht ausspioniert.

Zusammenfassend:
Die Forscher haben ein neues Werkzeug gebaut, das Autos "fühlen" lässt, wenn der Fahrer abgelenkt ist, ohne ihn zu filmen. Sie haben dafür eine neue Datenbank mit echten Fahrten erstellt und eine KI entwickelt, die Radar-Daten so clever verarbeitet, als wären es normale Fotos – nur ohne die Verzerrungen, die bisher alles kaputt gemacht haben. Das ist ein großer Schritt hin zu sichereren Autos auf unseren Straßen.

Technische Zusammenfassung

1. Problemstellung und Motivation

Hintergrund:
Abgelenktes Fahren ist eine der Hauptursachen für tödliche Verkehrsunfälle weltweit. Zur Erkennung von Ablenkungen (Driver Activity Recognition, DAR) werden verschiedene Sensoren eingesetzt, darunter Kameras, Mikrofone und Funkfrequenz-Signale (RF).

Limitationen bestehender Ansätze:

• Kameras: Probleme bei schlechten Lichtverhältnissen und erhebliche Datenschutzbedenken (visuelle Überwachung).
• Akustik: Störanfälligkeit durch Umgebungsgeräusche und Datenschutzrisiken durch permanente Mikrofonaktivierung.
• WiFi-basierte RF: Häufige Interferenzen im 2,4-GHz-Band mit anderen Fahrzeugsystemen (Bluetooth, etc.).

Die Rolle von IR-UWB:
Impulse Radio Ultra-Wideband (IR-UWB) Radar bietet Vorteile wie hohe Störungsresistenz, geringen Energieverbrauch und Datenschutz (keine visuellen/audiovisuellen Daten). Dennoch gibt es zwei wesentliche Hindernisse für den breiten Einsatz in der DAR:

1. Fehlen großer Datensätze: Es gibt kaum umfassende, reale Datensätze für diverse Ablenkungsaktivitäten, die unter echten Fahrbedingungen gesammelt wurden. Bestehende Datensätze stammen oft aus Simulationen, was zu einer schlechten Generalisierbarkeit führt („Reality Gap").
2. Inkompatibilität moderner Modelle: State-of-the-Art-Modelle wie Vision Transformer (ViT) sind auf feste Eingabegrößen (z. B. 224x224 Pixel) ausgelegt. Die direkte Anpassung von UWB-Radardaten (die oft nicht-quadratisch und in ihrer Dimension variabel sind) an diese Modelle führt durch einfaches Resizing zu Informationsverlusten (Verzerrung von Doppler-Verschiebungen, Phasendaten) und einer Diskrepanz bei den vortrainierten Positionseingebungen (PEVs).

2. Methodik

Die Arbeit adressiert die oben genannten Probleme durch zwei Hauptkomponenten: die Einführung des ALERT-Datensatzes und die Entwicklung des ISA-ViT-Modells.

A. Der ALERT-Datensatz (Open Dataset)

• Datenerhebung: Der Datensatz wurde in realen Fahrumgebungen (Stadt und Campus) mit einem IR-UWB-Radarsensor (Novelda Xethru X4M06) gesammelt. Der Sensor ist im Lüftungsschacht des Fahrzeugs montiert, was eine stabile Geometrie ohne Sichtbehinderung gewährleistet.
• Umfang: 10.220 Proben (jeweils 5 Sekunden) von 9 Freiwilligen.
• Klassen: 7 Aktivitäten:
  • Sicher: Fahren (Drive), Entspannung/Autopilot (Relax).
  • Ablenkend: Nicken (Nod), Rauchen (Smoke), Trinken (Drink), Bedienen des Armaturenbretts (Panel), Smartphone-Nutzung (Phone).
• Datenrepräsentation: Der Datensatz bietet sowohl Range-Time (Entfernungs-Zeit) als auch Frequency-Time (Frequenz-Zeit) Darstellungen, was flexible experimentelle Ansätze ermöglicht.

B. Input-Size-Agnostic Vision Transformer (ISA-ViT)

Um die Herausforderung der variablen Eingabegrößen von UWB-Daten bei der Nutzung von vortrainierten ViTs zu lösen, wurde ISA-ViT entwickelt:

1. Informationsbewahrendes Resizing:

   • Anstatt UWB-Daten einfach auf 224x224 zu skalieren (was Details verwischt), wird die kürzere Seite der Eingabe so verlängert, dass sie der längeren Seite entspricht, ohne Informationsverlust.
   • Die Eingabe wird in Patches unterteilt, deren Größe dynamisch berechnet wird, um genau 14x14 Patches (entsprechend dem Standard von ImageNet-ViTs) zu erzeugen.
   • Die Faltungskernel der Patch-Embedding-Schicht werden angepasst (durch Interpolation oder Pooling), um die neue Patch-Größe zu berücksichtigen, während die Gewichte erhalten bleiben.

2. Erhaltung der Positionseingebungen (PEVs):

   • Ein kritischer Aspekt ist die Nutzung der vortrainierten PEVs. Das Paper zeigt, dass das Manipulieren (Schneiden/Interpolieren) der PEVs die Leistung verschlechtert.
   • ISA-ViT behält die ursprüngliche 14x14-Sequenz der PEVs bei und passt die Eingabedaten so an, dass diese Sequenz sinnvoll angewendet werden kann.

3. Domain Fusion (Bereichsfusion):

   • Um die Stärken beider Datenbereiche zu nutzen, werden Features aus dem Range-Domain (räumliche Struktur) und dem Frequency-Domain (Bewegungsdynamik/Doppler) fusioniert.
     Ein leichtgewichtiger Ansatz wird gewählt: Der Range-Domain wird durch den ISA-ViT verarbeitet, während der Frequency-Domain durch einen leichten Feature-Extractor läuft.
   • Die Features werden vor der Konkatination durch einen trainierbaren Skalierungsfaktor $\beta$ gewichtet, um das Gleichgewicht zwischen den Domänen zu optimieren.

3. Wichtige Beiträge

1. ALERT-Datensatz: Der erste offene UWB-Datensatz, der umfassende Ablenkungsaktivitäten in realen Fahrbedingungen (nicht simuliert) erfasst. Er bietet sowohl Range- als auch Frequency-Daten und dient als Benchmark für zukünftige Forschung.
2. ISA-ViT Architektur: Ein neuartiges Framework, das die Anpassung von vortrainierten Vision Transformern an UWB-Radardaten mit variablen Eingabegrößen ermöglicht, ohne domain-spezifische Informationen zu verlieren.
3. Strategie zur Domain Fusion: Eine effiziente Methode zur Kombination von Range- und Frequency-Daten, die die Klassifikationsgenauigkeit signifikant steigert.
4. Umfassendes Benchmarking: Evaluation von 8 verschiedenen Lernalgorithmen (CNN, RNN, Transformer) auf dem neuen Datensatz, einschließlich Analysen zu Beobachtungsfenstern, Multipath-Effekten und Few-Shot-Learning.

4. Ergebnisse

Die Experimente wurden auf dem ALERT- und dem bestehenden RaDA-Datensatz durchgeführt:

• Gesamtleistung: ISA-ViT erreicht eine Klassifikationsgenauigkeit von 76,28 %. Dies ist eine Steigerung von 22,68 % im Vergleich zu herkömmlichen ViT-Methoden, die einfaches Resizing verwenden.
• Erkennung von Ablenkung: Die Genauigkeit bei der spezifischen Erkennung von ablenkendem Fahren (Unterscheidung von „Fahren" vs. „Ablenkung") liegt bei 97,35 %.
• Vergleich mit Baselines:
  • ISA-ViT übertrifft CNN-basierte Modelle (GoogLeNet, ResNet, DenseNet, MobileNet) und RNN-basierte Modelle.
  • Herkömmliche ViTs und DeiT schneiden ohne die ISA-ViT-Anpassung deutlich schlechter ab, da sie durch Resizing Informationen verlieren.
• Einfluss der Domain Fusion: Die Fusion von Range- und Frequency-Daten verbessert die F1-Scores für alle Aktivitäten im Vergleich zur Nutzung einzelner Domänen (z. B. +13,69 % für „Panel", +10,50 % für „Drink").
• Few-Shot Adaptation: Durch die Anpassung an einen neuen Fahrer mit nur wenigen Beispielen (z. B. 30 Shots) konnte die Genauigkeit auf bis zu 91,75 % gesteigert werden.

5. Bedeutung und Ausblick

Diese Arbeit legt einen wichtigen Grundstein für robuste und skalierbare Systeme zur Erkennung von ablenkendem Fahren.

• Praktische Relevanz: Durch die Nutzung von IR-UWB werden Datenschutzbedenken umgangen, und die hohe Genauigkeit von ISA-ViT ermöglicht zuverlässige Echtzeit-Überwachung.
• Wissenschaftlicher Fortschritt: Die Veröffentlichung des ALERT-Datensatzes löst das Problem des fehlenden Benchmarks für reale UWB-Fahrdaten. Die ISA-ViT-Methode bietet eine allgemeine Lösung für das Problem der Größeninkompatibilität zwischen bildbasierten Transformer-Modellen und nicht-bildbasierten Sensordaten (wie Radar oder Audio).
• Zukunft: Die Autoren planen, die Rechenkosten durch Techniken wie Pruning und Quantisierung zu senken, um den Einsatz auf ressourcenbeschränkten Edge-Geräten im Fahrzeug zu ermöglichen.

Zusammenfassend demonstriert das Paper, dass die Kombination aus hochwertigen realen Daten und einer sorgfältig angepassten Transformer-Architektur (ISA-ViT) die Leistungsgrenzen der Fahrerüberwachung durch Radar erheblich erweitert.