PO-GUISE+: Pose and object guided transformer token selection for efficient driver action recognition

Die Arbeit stellt PO-GUISE+ vor, einen effizienten Multi-Task-Transformer, der durch pose- und objektkontextualisierte Token-Auswahl die Rechenkosten für die Erkennung abgelenkten Fahrens auf Embedded-Plattformen erheblich senkt, während er gleichzeitig die Genauigkeit auf mehreren Datensätzen verbessert.

Das Wesentliche

🚗 PO-GUISE+: Der cleere Co-Pilot, der nicht einschläft

Stell dir vor, dein Auto hat einen sehr intelligenten, aber auch sehr hungrigen Gehirnknoten eingebaut. Dieses Gehirn soll die ganze Zeit den Fahrer beobachten und sofort schreien: „Achtung! Du greifst gerade nach deinem Handy!" oder „Oh nein, du isst ein Sandwich und nicht auf die Straße!"

Das Problem: Herkömmliche „Super-Gehirne" (die sogenannten Transformer-Modelle in der KI) sind extrem gut darin, solche Aktionen zu erkennen. Aber sie sind auch wie ein riesiger, leistungsschwacher Motor, der viel zu viel Benzin (Rechenleistung) verbraucht. Wenn man sie direkt in ein Auto einbaut, würde das Auto überhitzen oder der Akku wäre sofort leer. Sie sind zu schwer für den kleinen Kofferraum des Autos.

Die Lösung: Die Forscher haben PO-GUISE+ entwickelt. Das ist wie ein genialer Assistent, der nicht nur schaut, sondern auch weiß, wonach er suchen muss.

1. Das Problem: Der „Rauschende Saal"

Stell dir vor, du betrittst einen riesigen Saal mit 1.000 Menschen (das ist das Videobild). Der KI-Motor muss jeden einzelnen Menschen ansehen, um zu verstehen, was passiert. Das dauert ewig und kostet viel Energie.

• Die alte Methode: Der Motor schaut sich alle 1.000 Leute an, sortiert sie dann und versucht, den Fahrer zu finden.
• Das Problem beim Autofahren: Oft ist der Fahrer nur ein kleiner Teil des Bildes, und er interagiert mit einem Objekt (z. B. einer Wasserflasche). Wenn der Motor nur auf die „Körperhaltung" achtet, übersieht er die Flasche. Das ist wie ein Detektiv, der nur auf die Kleidung achtet, aber den Mordwerkzeug ignoriert.

2. Die Lösung: Der „Drei-Augen-Scanner"

PO-GUISE+ ist wie ein Detektiv mit drei speziellen Brillen gleichzeitig:

1. Brille 1 (Der Fahrer): Wo ist der Körper?
2. Brille 2 (Das Objekt): Was hält der Fahrer in der Hand? (Handy, Burger, Lenkrad?)
3. Brille 3 (Die Aktion): Was passiert gerade?

Anstatt den ganzen Saal zu scannen, sagt PO-GUISE+ dem Gehirn: „Hey, ignoriere die 800 Leute im Hintergrund, die nur stehen. Konzentriere dich nur auf den Fahrer und das Objekt, das er bewegt."

3. Wie funktioniert das „Token-Auswählen"? (Die Magie)

In der KI-Sprache nennt man die kleinen Bildteile „Tokens".

• Der Trick: PO-GUISE+ wirft die unnötigen Bildteile einfach weg (wie Müll), bevor das Gehirn sie verarbeitet.
• Die Intelligenz: Es wirft aber nicht wahllos weg. Es nutzt die Informationen über den Körper und das Objekt, um zu entscheiden, was wichtig ist.
  • Beispiel: Wenn der Fahrer nach hinten greift, weiß das System: „Aha, da ist wahrscheinlich eine Tasche oder ein Kindersitz. Behalte diesen Bildbereich!"
  • Ohne PO-GUISE+: Das System würde vielleicht denken, der Hintergrund sei wichtig, und den Griff zur Tasche ignorieren.

4. Der Test: Der Jetson-Computer im Auto

Die Forscher haben ihr System nicht nur auf einem riesigen Supercomputer getestet, sondern auf einem kleinen, effizienten Computer namens NVIDIA Jetson (so etwas wie ein leistungsstarker Raspberry Pi für Autos).

• Das Ergebnis: PO-GUISE+ läuft so schnell, dass er in Echtzeit mithalten kann (über 30 Bilder pro Sekunde). Er verbraucht viel weniger Energie als die alten Modelle, ist aber genauer.
• Vergleich: Ein altes, schweres Modell braucht viel Platz und Energie und ist oft langsamer. PO-GUISE+ ist wie ein Sportwagen: Leicht, schnell und trifft den Nagel auf den Kopf.

5. Warum ist das wichtig?

Jedes Jahr sterben tausende Menschen durch Ablenkung am Steuer. Ein System, das zuverlässig und ohne riesigen Energieverbrauch erkennt, wenn ein Fahrer abgelenkt ist, könnte Leben retten.
PO-GUISE+ macht es möglich, diese hochmoderne KI-Technologie direkt in das Armaturenbrett zu packen, ohne dass das Auto in Flammen aufgeht (überhitzt).

Zusammenfassung in einem Satz:

PO-GUISE+ ist wie ein schlauer Co-Pilot, der weiß, dass er nicht den ganzen Saal beobachten muss, sondern nur den Fahrer und das, was er in der Hand hält – dadurch wird er schneller, spart Energie und macht weniger Fehler als alle bisherigen Systeme.

Technische Zusammenfassung

1. Problemstellung

Die Erkennung von Ablenkung beim Fahren ist entscheidend für die Verkehrssicherheit, da Ablenkung eine Hauptursache für Unfälle ist. Während Transformer-Modelle (insbesondere Video-Transformers) bei der menschlichen Aktionserkennung hervorragende Ergebnisse erzielen, ist ihre Anwendung in Fahrzeugen (Onboard-Systemen) durch hohe Rechenkosten eingeschränkt.

• Herausforderung: Transformer haben eine quadratische Komplexität in Bezug auf die Anzahl der räumlich-zeitlichen Token. Dies führt zu einem zu hohen Speicher- und Rechenbedarf für Echtzeit-Anwendungen auf eingebetteten Hardware-Plattformen (z. B. Jetson).
• Bestehende Lösungen: Methoden wie Token-Selektion (Pruning und Merging) reduzieren die Kosten, indem sie unwichtige Token verwerfen. Bisherige Ansätze (z. B. PO-GUISE) nutzen jedoch nur Pose-Informationen (Körperhaltung) und ignorieren die Interaktion mit Objekten. Da Ablenkung beim Fahren oft durch den Umgang mit Objekten (Handy, Essen, Navigation) definiert wird, führt das Ignorieren dieser Interaktionen zu suboptimalen Ergebnissen, insbesondere bei stark reduzierten Rechenbudgets.

2. Methodik: PO-GUISE+

Das Paper stellt PO-GUISE+ vor, einen Multi-Task-Video-Transformer, der Token-Selektion durch die Kombination von Pose, Objektinteraktion und Ablenkungsklasse optimiert.

• Architektur:

  • Das Modell basiert auf vortrainierten ViT-Architekturen (VideoMAEv2 und InternVideo2).
  • Es verarbeitet Eingabe-Clips als räumlich-zeitliche visuelle Token ($X_{vis}$).
  • Zusätzlich werden lernbare Heatmap-Token ($X_{hm}$) eingeführt, die nicht nur die Körperhaltung (Pose), sondern auch die Position von interagierenden Objekten repräsentieren.
  • Das Modell gibt gleichzeitig drei Ausgaben aus: die Klassifikation der Ablenkung, die Pose-Heatmap und die Objekt-Heatmap.

• Token-Selektionsmechanismus (Zweistufiger Prozess):

  1. Token Pruning (Beschneiden): Basierend auf der Aufmerksamkeit (Attention) zu den Heatmap-Token (Pose + Objekt) und dem Klassen-Token werden visuelle Token verworfen, die für die Aufgabe irrelevant sind. Dies reduziert die Anzahl der zu verarbeitenden Token ($N_{prune}$).
  2. Token Merging (Zusammenführen): Ähnliche verworfene Token werden gemittelt, um Informationsverluste zu minimieren ($N_{merge}$).
  • Der Prozess wird durch die Raten $\rho$ (Keep-Rate für Pruning) und $\lambda$ (Keep-Rate für Merging) gesteuert.

• Training:

  • Multi-Task-Learning: Das Modell wird simultan für die Klassifikation (Cross-Entropy Loss) und die Heatmap-Regression (Mean Squared Error Loss) trainiert.
  • Balancing: Um die Gradienten der beiden Aufgaben auszugleichen, wird Nash-MTL (Nash Multi-Task Learning) verwendet, das die Gewichtung der Loss-Funktionen dynamisch anpasst.
  • Pseudo-Labels: Für das Training werden externe Tools (ViTPose für Pose, YOLO11x für Objekte) genutzt, um Ground-Truth-Heatmaps zu generieren. Im Inferenzmodus ist das Modell jedoch vollständig detector-frei und benötigt keine externen Detektoren.

3. Hauptbeiträge

1. Erweiterte Token-Selektion: PO-GUISE+ ist die erste Methode, die Pose, Objektlokalisierung und Ablenkungsklasse in einem Multi-Task-Transformer integriert, um Token-Selektion speziell für das Fahrer-Monitoring zu optimieren.
2. Effizienz ohne Genauigkeitsverlust: Durch die Einbeziehung von Objekt-Interaktionen wird die Token-Auswahl präziser. Dies ermöglicht eine signifikante Reduktion der Rechenkosten (bis zu 57% weniger GFLOPs in effizienten Einstellungen) bei gleichzeitiger Beibehaltung oder sogar Steigerung der Genauigkeit im Vergleich zu Baselines.
3. Echtzeit-Fähigkeit auf Edge-Hardware: Das Modell wurde umfassend auf einer NVIDIA Jetson Orin NX Plattform evaluiert. Es erreicht Inference-Raten von bis zu 57 FPS bei geringerem Speicherverbrauch als vergleichbare Transformer-Modelle.
4. State-of-the-Art Ergebnisse: Das Modell übertrifft den aktuellen Stand der Technik auf drei großen Datensätzen (Drive&Act, 100-Driver, 3MDAD).

4. Ergebnisse

• Genauigkeit vs. Effizienz:
  • Auf dem Drive&Act-Datensatz erreicht PO-GUISE+ eine Macro-Accuracy von 70,35% bei nur 251 GFLOPs. Zum Vergleich: Die Baseline (VideoMAEv2) benötigt 360 GFLOPs für 68,27% Genauigkeit.
  • Im Vergleich zu TransDARC (ein anderer effizienter Ansatz) erreicht PO-GUISE+ bei niedrigerem Rechenaufwand eine deutlich höhere Genauigkeit (70,35% vs. 55,30%).
  • Auf 100-Driver und 3MDAD werden ebenfalls neue Bestwerte erzielt (z. B. 93,54% auf 100-Driver).
• Hardware-Benchmarks (Jetson Orin NX):
  • PO-GUISE+ erreicht 33 FPS bei 72,62% Genauigkeit mit einem Speicherverbrauch von nur 3,8 GB (im Vergleich zu 5,6 GB bei der ungeschnittenen Baseline).
  • Eine noch leichtere Konfiguration erreicht 57 FPS bei 2,9 GB Speicherverbrauch, was eine Echtzeit-Verarbeitung von über 3,5 Video-Clips pro Sekunde ermöglicht.
• Qualitative Analyse:
  • Heatmaps zeigen, dass PO-GUISE+ Token korrekt auf den Fahrer und das interagierende Objekt (z. B. Handy, Flasche) fokussiert, während ältere Methoden (nur Pose) oft das Objekt ignorieren.
  • Das Modell ist robust gegenüber Lichtveränderungen (Sonnenblendung), scheitert jedoch bei sehr kurzen zeitlichen Kontexten (3 Sekunden), wenn Aktionen visuell ähnlich sind (z. B. Essen vs. Zubereiten von Essen).

5. Bedeutung und Ausblick

PO-GUISE+ adressiert eine kritische Lücke zwischen der hohen Leistungsfähigkeit von Transformer-Modellen und den strengen Ressourcenbeschränkungen von Fahrzeugsystemen.

• Praktische Relevanz: Die Fähigkeit, komplexe Ablenkungsszenarien (Objektinteraktion) mit hoher Effizienz zu erkennen, macht das System für den Einsatz in echten Driver Monitoring Systems (DMS) geeignet.
• Zukunft: Die Autoren planen, das System um längere zeitliche Kontexte zu erweitern, um die Unterscheidung ähnlicher Aktionen zu verbessern, und arbeiten an einer vollständigen Integration in ein fahrbereites System.
• Fazit: Das Paper demonstriert, dass durch semantisch geführte Token-Selektion (Pose + Objekt) Transformer-Modelle nicht nur effizienter, sondern auch genauer für spezifische Domänen wie das Fahrer-Monitoring gemacht werden können, was einen wichtigen Schritt zur Erhöhung der Verkehrssicherheit darstellt.