Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

Diese Studie stellt ein neuartiges Drei-Schritte-Framework vor, das durch Segmentierung, Projektion und Anpassung von Verfolgungsalgorithmen die Erkennung und Verfolgung von Objekten in verzerrten 360-Grad-Panoramavideos verbessert, um die Verkehrssicherheit von Radfahrern durch eine präzise Analyse von Überholmanövern zu erhöhen.

Das Wesentliche

🚲 Das Problem: Der blinde Fleck auf dem Fahrrad

Stellen Sie sich vor, Sie fahren mit dem Fahrrad durch eine belebte Stadt. Normalerweise haben Sie nur einen Blick nach vorne. Aber was passiert, wenn ein Auto von hinten kommt, Sie nicht sehen, aber trotzdem gefährlich nahe an Ihnen vorbeirauscht?

Früher haben Forscher versucht, Unfälle zu zählen, um zu verstehen, was gefährlich ist. Das ist aber wie der Versuch, ein Gewitter zu verstehen, indem man nur auf ein paar wenige Blitze schaut, die in einem Notizbuch stehen. Es gibt zu wenige Daten, und sie sind oft lückenhaft.

Die Forscher aus London (UCL) hatten eine bessere Idee: Sie wollten die Welt aus der Sicht des Radfahrers sehen – komplett rundherum.

📷 Die Lösung: Der 360-Grad-Roboter-Auge

Sie haben Radfahrern spezielle Kameras (wie die GoPro Max) auf die Helme geklemmt. Diese Kameras nehmen ein 360-Grad-Bild auf. Stellen Sie sich das vor wie einen Keks, den man flach auf den Tisch drückt. Das Problem: Wenn man eine Kugel (die Welt) flach macht, wird alles verzerrt.

• Dinge, die nah sind, werden riesig und seltsam geformt.
• Dinge, die weit weg sind, werden winzig.
• Und am Rand des Bildes (links und rechts) ist die Welt eigentlich verbunden, aber auf dem Bild sind sie getrennt.

Ein normaler Computer-Vision-Algorithmus (ein "Augen-Roboter") ist verwirrt. Er denkt: "Oh, da ist ein riesiges Auto am Rand!" oder "Hey, das Auto ist links weggegangen und rechts wieder aufgetaucht – das sind zwei verschiedene Autos!"

🛠️ Der Trick: Das Puzzle und der Zirkel

Die Forscher haben einen cleveren dreistufigen Plan entwickelt, um diesen Roboter schlau zu machen:

1. Das Bild in Scheiben schneiden (Der Keks-Trick)
Statt das ganze verzerrte 360-Grad-Bild auf einmal zu analysieren, schneiden sie es in vier normale, rechteckige Scheiben (wie ein Kuchen).

• Die Analogie: Stellen Sie sich vor, Sie schauen durch ein Fernglas. Wenn Sie sich drehen, sehen Sie immer nur einen Ausschnitt. Der Computer schaut sich nun vier dieser Ausschnitte nacheinander an. Da diese Ausschnitte "normal" aussehen (nicht verzerrt), erkennt der Roboter Autos und Menschen viel besser.
• Der Clou: Da die Scheiben sich leicht überlappen (wie bei einem Puzzle), werden keine Objekte übersehen.

2. Die Objekte wieder zusammenfügen (Der Kleber)
Manchmal ist ein Bus so lang, dass er über den Rand einer Scheibe ragt. Der Roboter würde denken: "Da ist ein Bus-Teil links und ein Bus-Teil rechts."

• Die Lösung: Die Forscher haben dem Computer beigebracht, diese Teile wieder zu "kleben". Wenn ein Objekt den Rand berührt, wird es automatisch mit dem Teil auf der anderen Seite verbunden. So bleibt der Bus ein einziger Bus, nicht zwei halbe Busse.

3. Die Verfolger-Brille (Der Detektiv)
Jetzt müssen die Objekte auch verfolgt werden, wenn sie sich bewegen. Das ist wie ein Kinderspiel: "Wer ist wer?"

• Kategorie-Hilfe: Der Computer lernt jetzt: "Ein Auto ist ein Auto, ein Fahrrad ist ein Fahrrad." Er verwechselt sie nicht mehr.
• Rand-Hilfe: Wenn ein Auto aus dem Bild links verschwindet und rechts wieder auftaucht, weiß der Computer jetzt: "Aha, das ist dasselbe Auto, es ist nur um die Ecke gefahren." Früher hätte er gedacht: "Neues Auto!" und die Nummer (ID) gewechselt. Das passiert jetzt viel seltener.

🚦 Das Ergebnis: Der Überhol-Alarm

Mit diesem System haben sie ein Programm gebaut, das automatisch erkennt, wenn ein Auto einen Radfahrer überholt.

• Das System schaut sich an, wie sich das Auto bewegt. Kommt es von hinten? Geht es vorbei? Ist es vorbei?
• Das Ergebnis: Das System funktioniert hervorragend! Es erkennt Überholmanöver mit einer Genauigkeit von über 80 %.
• Es macht weniger Fehler als die alten Methoden. Die "ID-Switches" (das Verwechseln von Nummern) sanken um 10 %.

🌟 Warum ist das wichtig?

Stellen Sie sich vor, Sie könnten jede gefährliche Beinahe-Kollision in London aufzeichnen und analysieren.

• Für die Polizei: Sie können sehen, wo Autos zu dicht aufschneiden, und dort gezielt kontrollieren.
• Für die Stadtplanung: Sie können sehen, ob Radwege breit genug sind oder wo Ampeln besser gestellt werden müssen.
• Für Sie als Radfahrer: In Zukunft könnte eine App auf Ihrem Handy warnen: "Vorsicht! Ein Auto kommt von rechts und will dich überholen!"

Zusammenfassung in einem Satz

Die Forscher haben einem Computer beigebracht, die verzerrte Welt einer 360-Grad-Kamera zu "schneiden", zu "kleben" und zu "verstehen", damit er Radfahrern helfen kann, sicherer durch den Straßenverkehr zu kommen – wie ein unsichtbarer, allsehender Schutzengel.

Technische Zusammenfassung

1. Problemstellung

Radfahrer sind einem unverhältnismäßig hohen Verletzungsrisiko ausgesetzt. Herkömmliche Unfalldaten sind jedoch zu spärlich, um Risikofaktoren in feinen räumlichen und zeitlichen Skalen zu identifizieren. Natürliche Studien (Naturalistic Studies) nutzen zunehmend Videodaten, um Verhaltens- und Infrastrukturrisiken zu erfassen.
Das Hauptproblem liegt in der Verwendung von Panoramavideos (360°-Aufnahmen):

• Verzerrungen: Equirektangulare Projektionen führen zu starken Verzerrungen, insbesondere bei Objekten in der Nähe der Kamera.
• Objektgröße: Entfernte Objekte erscheinen sehr klein.
• Kontinuitätsprobleme: Objekte, die den Bildrand überqueren (links/rechts), werden in equirektangulären Bildern geteilt, was bestehende Computer-Vision-Modelle (die für Standardbilder trainiert wurden) verwirrt.
• Mangel an Daten: Es gibt wenige annotierte Datensätze für Panoramavideos.

Konventionelle Modelle für Objekterkennung und Multi-Object-Tracking (MOT) versagen bei direkter Anwendung auf diese Datenformate, da sie die geometrischen Besonderheiten und die Randkontinuität nicht berücksichtigen.

2. Methodik

Die Autoren schlagen einen neuartigen Drei-Schritte-Rahmen vor, um Deep-Learning-Modelle für Panoramavideos im Kontext der Radfahrersicherheit (insbesondere zum Erkennen von Überholmanövern) anzupassen:

Schritt 1: Verbesserung der Objekterkennung (Object Detection)

Um die Verzerrungen equirektangulärer Bilder zu kompensieren, wird ein Projektionsansatz gewählt:

1. Projektion: Das ursprüngliche 360°-Bild wird in vier perspektivische Teilbilder (Sub-Images) unterteilt (entsprechend den Längengraden 0°, 90°, -180° und -90°).
2. Überlappung: Die Teilbilder haben eine Überlappung von 30°, um sicherzustellen, dass Objekte am Rand eines Teilbilds im Zentrum eines benachbarten Bildes mit geringerer Verzerrung erfasst werden.
3. Erkennung: Ein vortrainiertes Modell (YOLO12n, trainiert auf dem COCO-Datensatz) wird auf jedes Teilbild angewendet.
4. Reprojektion und Merge: Die erkannten Bounding-Boxen werden zurück auf das equirektangulare Originalbild projiziert. Ein spezieller Algorithmus verschmilzt Bounding-Boxen, die über die Grenzen der Teilbilder hinweggeschnitten wurden (z. B. ein langer LKW, der links und rechts des Bildes erscheint), zu einer einzigen Box.

Schritt 2: Verbesserung des Multi-Object-Trackings (MOT)

Der Tracking-Algorithmus StrongSORT wurde modifiziert, um die Besonderheiten von Panoramavideos zu handhaben:

• Kategorie-Informationen (Category Support): Im Gegensatz zum Standard-StrongSORT, der Objekte verschiedener Klassen gleich behandelt, wird nun die Objektklasse (z. B. Auto vs. Fahrrad) in die Zuordnungsmatrix (Cost Matrix) integriert. Zuordnungen zwischen unterschiedlichen Klassen werden mit einer hohen Strafe belegt, was Fehlzuordnungen reduziert.
• Randkontinuität (Boundary Continuity): Um Objekte zu tracken, die den Bildrand überqueren (z. B. von links nach rechts), wird das Bild virtuell erweitert. Die Distanzberechnung (Mahalanobis- oder IoU-Distanz) erfolgt zwischen dem Track und dem Objekt in drei virtuellen Kopien des Bildes (Original, links verschoben, rechts verschoben). Die kürzeste Distanz wird gewählt, um ID-Switches (Wechsel der Objekt-ID) zu minimieren.

Schritt 3: Automatisierte Erkennung von Überholmanövern

Ein anwendungsspezifischer Algorithmus nutzt die Tracking-Ergebnisse, um Überholvorgänge zu detektieren:

• Richtungserkennung: Basierend auf der Bewegung der Bounding-Boxen relativ zum Bildzentrum wird bestimmt, ob ein Fahrzeug vorwärts oder rückwärts relativ zum Radfahrer bewegt.
• Logik: Ein Überholmanöver wird erkannt, wenn ein Fahrzeug (Auto, Bus, LKW) die Radfahrerposition vollständig passiert (z. B. die -90°- oder +90°-Längengradlinie in der richtigen Reihenfolge durchschneidet).
• Status: Manöver werden als „unbestätigt" (laufend) oder „bestätigt" (abgeschlossen) klassifiziert.

3. Wichtige Beiträge

• Neuer Framework: Ein End-to-End-Ansatz, der vortrainierte Modelle (YOLO, StrongSORT) erfolgreich auf verzerrte 360°-Panoramadaten anwendet.
• Geometrische Anpassung: Die Methode der Aufteilung in Teilbilder mit Überlappung und nachfolgendes Verschmelzen der Bounding-Boxen löst das Problem der Verzerrung und der geteilten Objekte effektiv.
• Tracking-Optimierung: Die Einführung von Kategorien und einer verbesserten Distanzberechnung für Randkontinuität in StrongSORT reduziert signifikant die Anzahl der ID-Switches und falschen Positivmeldungen.
• Datensatz: Erstellung eines annotierten Datensatzes mit 24.454 gelabelten Objekten und 224 Tracks aus realen Radfahrvideos in London.

4. Ergebnisse

Die Methode wurde an einem Datensatz mit 100 Videoclips (verschiedene Lichtverhältnisse, Tageszeiten) getestet:

• Objekterkennung:
  • Die vorgeschlagene Methode verbessert die Erkennung kleiner und mittlerer Objekte signifikant im Vergleich zum Originalmodell, selbst bei niedrigeren Eingangsauflösungen (z. B. 640px).
  • Das Verschmelzen der Boxen (Merging) erhöht die Präzision für mittlere Objekte.
• Tracking (StrongSORT):
  • Die Kombination aus Kategorie-Unterstützung und Randkontinuität führt zu einer 10,0%igen Reduktion der ID-Switches (von 101 auf 90).
  • Die Identifikationspräzision (IDP) und der F1-Score (IDF1) verbesserten sich (IDF1 stieg von 45,4% auf 50,0%).
  • Die Anzahl der falsch positiven Zuordnungen (FP) sank um ca. 33,5% (von 818 auf 544).
• Überhol-Erkennung:
  • Das System erreichte einen F1-Score von 0,82 (Präzision: 83,3%, Recall: 80,0%) bei der Erkennung von Überholmanövern.
  • Fehlerquellen: Hauptursachen für falsch-positive Ergebnisse waren Kopfdrehungen des Radfahrers (die Bewegung von Fahrzeugen im Hintergrund simulieren) und falsch-positive Erkennungen nachts. Falsch-negative Ergebnisse traten bei schwarzen Autos nachts oder bei instabilen Bounding-Boxen von Bussen auf.

5. Bedeutung und Ausblick

• Praktische Anwendung: Die Methode ermöglicht die automatische Generierung von „Near-Miss"-Daten (Beinahe-Unfällen) aus Routine-Radfahrten, was für die Analyse von Sicherheitsrisiken und die Bewertung von Infrastrukturmaßnahmen (z. B. Mindestüberholabstand) entscheidend ist.
• Politische Relevanz: Die Technologie kann genutzt werden, um die Einhaltung von Sicherheitsvorschriften zu quantifizieren und gefährliche Situationen (z. B. nachts oder bei großen Fahrzeugen) zu identifizieren.
• Zukünftige Arbeiten:
  • Verbesserung der Erkennung großer Objekte durch mehr Teilbilder oder parallele Verarbeitung (Multi-Processing) zur Steigerung der Geschwindigkeit.
  • Training eines spezifischen ReID-Netzwerks für Fahrzeuge, um ID-Switches bei wechselnden Blickwinkeln zu reduzieren.
  • Integration von IMU- und GPS-Daten (aus der Kamera), um die relative Geschwindigkeit und das Bremsverhalten genauer zu bestimmen.

Zusammenfassend bietet das Paper einen robusten Weg, um die Lücke zwischen herkömmlicher Computer-Vision und der komplexen Realität von 360°-Radfahrdaten zu schließen, und liefert ein Werkzeug für evidenzbasierte Verkehrssicherheitspolitik.