⚡ electrical engineering

An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

Dieses Paper stellt eine Open-Source-Pipeline für Computer Vision in zwei Stufen vor, die RT-DETR und Vision Transformer kombiniert, um sechs feingliedrige Fahrzeugkarosserietypen, die für die Sicherheit von Radfahrern relevant sind, präzise zu klassifizieren, wobei ein konfidenzbasiertes Abstimmungsmechanismus eine hohe Robustheit über verschiedene Aufnahmeorte hinweg aufrechterhält und gleichzeitig stille Fehlklassifizierungen verhindert.

Ursprüngliche Autoren: Gandhimathi Padmanaban, Fred Feng

Veröffentlicht 2026-06-04

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gandhimathi Padmanaban, Fred Feng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen riesigen Stapel Post zu sortieren. Einige Briefe sind deutlich als „Zeitung“ markiert, einige als „Magazin“ und einige als „Werbepost“. Aber Sie haben auch tausende Umschläge, die alles Mögliche sein könnten: eine Geburtstagskarte, eine Rechnung, ein Flyer oder ein Brief von einem Anwalt. Wenn Sie einfach nur raten, machen Sie vielleicht Fehler.

Dieses Papier beschreibt einen neuen, Open-Source-„Roboter-Sortierer“, der darauf ausgelegt ist, Videomaterial von Straßen zu analysieren und Fahrzeuge in sehr spezifische Kategorien einzuteilen, statt nur in die üblichen groben Kategorien.

So funktioniert das System, aufgeteilt in einfache Schritte:

1. Das Problem: Warum wir einen besseren Sortierer brauchen

Derzeit kennen die meisten Verkehrs-Kameras und Sicherheitsstudien nur den Unterschied zwischen einem „Auto“, einem „LKW“ oder einem „Bus“. Aber für die Sicherheit von Radfahrern reicht das nicht aus.

Die Analogie: Stellen Sie sich vor, ein Radfahrer wird angefahren. Wenn ein kleiner PKW einen erfasst, ist das schlimm. Aber wenn ein hoher SUV oder ein massiver Lastwagen ihn trifft, ist die Verletzung oft viel schwerwiegender, weil die Front des Fahrzeugs höher liegt und den Radfahrer anders trifft.
Die Lücke: Wir müssen genau wissen, welche Art von Fahrzeug an einem Radfahrer vorbeifährt (z. B. ist es ein Minivan oder ein großer Van? Ist es ein Pickup oder ein Lastwagen?). Bestehende Werkzeuge können diese spezifischen Typen in realen, unübersichtlichen Videos nicht unterscheiden.

2. Die Lösung: Ein zweistufiges „Detektiv-Team“

Die Autoren haben ein zweistufiges System entwickelt, wie ein Team aus zwei Detektiven, die zusammenarbeiten.

Detektiv #1: Der schnelle Späher (RT-DETR)

Aufgabe: Dieser Detektiv scannt das Video schnell. Er muss nicht das exakte Modell des Autos kennen; er muss nur sagen: „Hey, da ist ein Fahrzeug!“ und einen Kasten darum ziehen.
Spezialität: Er ist sehr gut darin, alles zu entdecken, was wie ein Auto, ein LKW, ein Bus oder ein Motorrad aussieht. Er nutzt ein vortrainiertes Gehirn, sodass er nicht erst lernen musste, wie man Autos erkennt.
Filter: Wenn er einen Bus oder ein Motorrad sieht, stoppt er dort. Wenn er ein „Auto“ oder einen „LKW“ sieht, übergibt er den Auftrag an Detektiv #2.

Detektiv #2: Der Experten-Klassifizierer (Vision Transformer)

Aufgabe: Dieser Detektiv nimmt den spezifischen „Ausschnitt“ (das Bild innerhalb des Kastens) von Detektiv #1 und betrachtet ihn sehr genau.
Spezialität: Er ist der Experte für feine Unterscheidungen. Er sortiert das Fahrzeug in eine von sechs spezifischen Kategorien ein:
1. PKW (Personenwagen)
2. SUV
3. Pickup-Truck
4. Minivan
5. Großer Van
6. Lastwagen/LKW
Der „Ich weiß es nicht“-Knopf: Dies ist der wichtigste Teil. Wenn das Bild unscharf ist, der Winkel seltsam ist oder das Fahrzeug teilweise verdeckt ist, ist sich dieser Detektiv vielleicht unsicher. Anstatt zu raten und potenziell einen Fehler zu machen, hat er eine Regel: „Wenn ich mir weniger als 60 % sicher bin, sage ich ‚Unbekannt‘.“
- Warum das wichtig ist: In der Sicherheitsforschung ist es besser zu sagen „Ich weiß es nicht“, als selbstbewusst zu behaupten „Das ist ein Pickup-Truck“, wenn es eigentlich ein Minivan ist. Dies verhindert „stille Fehler“.

3. Das Training: Wie sie den Roboter gelehrt haben

Dem Roboter beizubringen, den Unterschied zwischen einem „Großen Van“ und einem „Lastwagen“ zu erkennen, ist schwierig, da es in Standard-Datensätzen nur sehr wenige Bilder dieser spezifischen Lastwagen gibt.

Die Mischung: Die Forscher erstellten eine benutzerdefinierte Trainingsbibliothek, indem sie drei Dinge kombinierten:
1. Studiofotos: Hochwertige Fotos von Autos aus einem berühmten Datensatz (Stanford Cars).
2. Web Scraping: Sie sammelten Bilder von Vans und Lastwagen aus dem Internet.
3. Echte Straßenausschnitte: Sie nahmen tatsächliche Videoclips aus Ann Arbor, Michigan, und schnitten die Fahrzeuge heraus, um dem Roboter zu zeigen, wie echte, unordentliche Straßenbedingungen aussehen (unscharf, seitlich, teilweise verdeckt).
Das Ungleichgewicht: Der Roboter sah viel mehr Bilder von normalen Autos und SUVs als von großen Lastwagen. Um dies zu beheben, wurde der Trainingsprozess so angepasst, dass er den seltenen Lastwagenbildern besondere Aufmerksamkeit schenkt, damit der Roboter sie nicht ignoriert.

4. Die Ergebnisse: Wie gut hat es funktioniert?

Das Team testete diesen Roboter auf zwei verschiedenen Videosets.

Test 1: Das „Heimspiel“ (In-Distribution)

Das Setup: Sie testeten ihn auf Video von derselben Straße, aus der sie die Trainingsclips genommen hatten (Ann Arbor).
Die Punktzahl: Er erreichte 94 % Korrektheit.
Die Details: Er war erstaunlich gut im Erkennen von SUVs (97 % Genauigkeit). Er war auch sehr gut bei PKWs und Pickups. Er hatte lediglich Schwierigkeiten, wenn das Fahrzeug schwer zu sehen war, und nutzte dabei korrekt seinen „Ich weiß es nicht“-Knopf, anstatt falsch zu raten.

Test 2: Das „Auswärtsspiel“ (Out-of-Distribution)

Das Setup: Sie testeten ihn auf Video von einem völlig anderen Ort, aufgenommen mit einem speziellen Forschungsfahrrad mit anderen Kameras und Lichtverhältnissen. Sie haben den Roboter für diesen neuen Ort nicht nachjustiert.
Die Punktzahl: Er erreichte 89 % Korrektheit.
Die Details: Das ist ein sehr starkes Ergebnis für ein System, das nicht für einen neuen Ort nachtrainiert wurde.
- SUVs und Pickups blieben sehr genau.
- Minivans wurden etwas kniffliger. Die Genauigkeit sank, aber hauptsächlich, weil der Roboter vorsichtiger wurde. Er begann häufiger, „Unbekannt“ zu sagen (25 % der Zeit), weil die Minivans in dem neuen Video anders aussah. Er fing nicht an, wild zu raten; er gab stattdessen seine Unsicherheit zu.

5. Warum das wichtig ist

Es ist Open Source: Die Autoren haben den gesamten Code, das trainierte Roboter-Gehirn und die Daten kostenlos zur Verfügung gestellt. Jeder kann es herunterladen und nutzen, um seine eigenen Straßenvideos zu analysieren.
Sicherheit zuerst: Durch die Unterscheidung zwischen einem kleinen Auto und einem großen Lastwagen können Stadtplaner und Sicherheitsforscher endlich verstehen, welche Arten von Fahrzeugen Radfahrer tatsächlich gefährden.
Keine manuelle Arbeit: Vorher mussten Menschen Stunden von Video material beobachten, um diese Fahrzeuge zu zählen. Jetzt kann dieses Werkzeug dies automatisch erledigen.

Zusammenfassend lässt sich sagen: Das Paper präsentiert ein intelligentes, kostenloses Werkzeug, das wie ein zweistufiger Filter funktioniert. Zuer das findet die Autos. Danach sortiert es sie sorgfältig in spezifische Typen ein. Wenn es sich nicht sicher ist, gibt es dies zu und stellt sicher, dass die Sicherheitsdaten nicht durch falsche Vermutungen korrumpiert werden. Es funktioniert auch auf neuen Straßen gut, ohne dass ein erneutes Training erforderlich ist.

Technische Zusammenfassung: Eine Open-Source-Pipeline zur zweistufigen feingranularen Fahrzeugklassifizierung mittels Computer Vision

Problemstellung
Die Arbeit adressiert eine kritische Lücke in der Sicherheitsforschung für Radfahrer: das Fehlen automatisierter Werkzeuge, die in der Lage sind, Fahrzeuge in verletzungsrelevante Kategorien einzustufen, basierend auf natürlichem Straßen-Videomaterial. Standardmäßige Objekterkennungs-Benchmarks (z. B. COCO) liefern grobe Labels (Auto, LKW, Bus, Motorrad), die jedoch für Sicherheitsanalysen, die eine Unterscheidung zwischen spezifischen Karosserietypen wie Pkw gegenüber SUVs oder Nutzfahrzeugen erfordern, unzureichend sind. Bestehende Systeme zur feingranularen Erkennung werden typischerweise auf kontrollierten Frontalbildern (z. B. Herstellerfotos) trainiert und wurden bisher nicht rigoros auf ihre Robustheit gegenüber verschiedenen Aufnahmeorten oder natürlichen Bedingungen unter Einbeziehung von Bewegungsunschärfe, Verdeckung und variabler Beleuchtung evaluiert. Zudem existiert keine Open-Source-, End-to-End-Pipeline, die eine Echtzeit-Erkennung mit feingranularer Klassifizierung für den Einsatz auf bestehenden Straßenvideo-Archiven ohne maßgeschneiderte Infrastruktur integriert.

Methodik
Die Autoren schlagen eine modulare, zweistufige Computer-Vision-Pipeline vor, die für den Einsatz auf Standard-Straßenvideos konzipiert ist:

Stufe 1: Grobe Fahrzeuglokalisierung
- Modell: Ein vortrainierter RT-DETR (Real-Time DEtection TRansformer) Detektor, spezifisch der rtdetr_r50vd_coco_o365 Checkpoint.
- Funktion: Scannt Videoframes in voller Auflösung, um alle Fahrzeuge zu detektieren und grobe COCO-Kategorie-Labels (Auto, LKW, Bus, Motorrad) zuzuweisen.
- Filterung: Das System behält nur „Auto“- und „LKW“-Detektionen für die weitere Verarbeitung. Bus- und Motorrad-Detektionen werden mit ihren groben Labels beibehalten.
- Beschränkungen: Ein Konfidenzschwellenwert von 0,35 filtert Detektionen mit geringer Konfidenz heraus. Ein Größen-Gate schließt Bounding Boxes aus, bei denen die kürzere Seite < 5,5 % der Frame-Höhe beträgt oder die Fläche < 0,04 % des Frames ausmacht, um zu verhindern, dass die zweite Stufe Fahrzeuge verarbeitet, die für eine aussagekräftige Texturanalyse zu weit entfernt sind.
Stufe 2: Feingranulare Klassifizierung
- Modell: Ein feinabgestimmter Vision Transformer (ViT-Base/16), vortrainiert auf ImageNet-21k.
- Input: Ausgeschnittene Bilder (Crops) der in Stufe 1 detektierten Fahrzeuge.
- Output: Eine von sechs spezifischen Karosserietypen: Personenkraftwagen (Passenger Car), SUV, Pickup-Truck, Minivan, großer Van und Lastkraftwagen (Commercial Truck).
- Trainingsstrategie: Das Modell wurde auf einem zusammengesetzten Datensatz (16.581 Bilder) trainiert, der Stanford Cars (auf 4 Klassen abgebildet), Web-Scraping-Bilder (für unterrepräsentierte Klassen) und Feldaufnahmen der Ann-Arbor-Studienstelle kombiniert. Um die starke Klassenimbalance (z. B. Lastkraftwagen mit < 1 % der Daten) zu adressieren, verwendeten die Autoren Focal Loss mit inverser Frequenzgewichtung und einen Weighted Random Sampler.
- Abstentionsmechanismus (Verzicht): Ein konfidenzbasierter Gating-Mechanismus wird auf den Stage-2-Softmax-Output angewendet. Wenn die maximale vorhergesagte Wahrscheinlichkeit unter einen klassenspezifischen Schwellenwert von 0,60 fällt, gibt das System ein „unbekannt“-Label aus, anstatt eine Klassifizierung mit geringer Konfidenz zu erzwingen. Dies dient dazu, stille Fehlklassifizierungen in ambivalenten Szenarien zu verhindern.

Wesentliche Beiträge

Neuartiges Vokabular und Pipeline: Das erste Open-Source-System, das explizit auf einer sechs-Kategorien-Karosserietyp-Taxonomie trainiert und evaluiert wurde, die für das Verletzungsrisiko relevant ist, und damit über grobe COCO-Labels oder Marken-/Modellidentifikation hinausgeht.
Konfidenzbasierte Abstention: Die Implementierung eines Schwellenwertmechanismus, der unsichhe Vorhersagen in „unbekannt“-Labels umwandelt und so ein kalibriertes Maß für Modellunsicherheit liefert, anstatt fehlerhafte Klassifizierungen zu erzwingen.
Rigorose Evaluierung: Die Studie bietet eine groß angelegte Evaluierung auf 3.805 annotierten Überholvorgängen eines Fahrradweg-Korridors (In-Distribution) und eine unabhängige Out-of-Distribution (OOD) Evaluierung auf 311 Ereignissen eines separaten instrumentierten Fahrrad-Datensatzes, ohne ein erneutes Training.
Open-Source-Veröffentlichung: Die vollständige Pipeline, einschließlich Inferenz-Skripten, Trainingscode, Evaluierungs-Utilities und der feinabgestimmten Modellgewichte, wird zur Unterstützung der Reproduzierbarkeit veröffentlicht.

Ergebnisse

In-Distribution-Leistung: Auf dem Ann-Arbor-Datensatz (3.805 Ereignisse) erreichte die Pipeline eine Gesamtgenauigkeit von 0,94. Die F1-Scores pro Klasse reichten von 0,91 (Minivan) bis 0,97 (SUV). Die dominierenden Fehler betrafen die Verwechslung visuell ähnlicher Kategorien (z. B. Personenkraftwagen vs. SUV).
Out-of-Distribution-Leistung: Auf dem unabhängigen instrumentierten Fahrrad-Datensatz (311 Ereignisse) erreichte die Pipeline eine Gesamtgenauigkeit von 0,89, ohne ein erneutes Training oder eine Schwellenwertanpassung.
- Drei der vier gut repräsentierten Kategorien (SUV, Pickup-Truck, Personenkraftwagen) hielten F1-Scores $\ge$ 0,90.
- Degradierung bei Minivans: Der signifikanteste Abfall trat in der Kategorie Minivan auf (F1: 0,91 $\to$ 0,72). Die Autoren führen dies primär auf eine Zunahme der Abstentionsrate (von 2,4 % auf 25,0 %) zurück und nicht auf aktive Fehlklassifizierung, was darauf hindeutet, dass der Konfidenzmechanismus die Modellunsicherheit erfolgreich weitergegeben hat.
Minderheitenklassen: Lastkraftwagen und große Vans zeigten aufgrund geringer Stichprobengrößen sowohl im Training als auch in der Evaluierung eine hohe Unsicherheit, wenngleich das Modell die Fähigkeit demonstrierte, sie bei Vorhandensein zu klassifizieren.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass eine modulare, Coarse-to-Fine-Architektur, die einen allgemeinen Detektor mit einem feinabgestimmten Vision Transformer kombiniert, eine robuste feingranulare Fahrzeugklassifizierung in natürlichem Straßenvideo erreichen kann, ohne Bounding-Box-Annotationen für die Detektionsstufe oder standortspezifisches Retraining für den Einsatz zu benötigen.

Die Bedeutung dieser Arbeit liegt in ihrer Anwendung auf die Sicherheitsforschung für Radfahrer. Durch die Ermöglichung einer automatisierten, skalierbaren Annotation von Fahrzeugkarosserietypen ermöglicht die Pipeline Forschern, die Exposition gegenüber spezifischen Fahrzeugtypen (z. B. SUVs vs. Personenkraftwagen) zu quantifizieren, die überproportional häufig mit schweren Verletzungen assoziiert sind. Diese Granularität fehlt derzeit in Standard-Verkehrsüberwachungs- und Unfalldatenbanken. Zudem bietet der konfidenzbasierte Abstentionsmechanismus ein sicherheitskritisches Feature für automatisierte Überwachungssysteme, indem er es ihnen ermöglicht, bei Unsicherheit kontrolliert zu degradieren, indem unsichere Ereignisse zur menschlichen Überprüfung markiert werden, anstatt stille Fehler zu produzieren. Die Open-Source-Natur des Tools soll die Barrieren für Forscher senken, die die Exposition gegenüber schwächeren Verkehrsteilnehmern und die Zusammensetzung des Verkehrs untersuchen.