💻 computer science

Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video

Dieser Beitrag stellt eine Zero-Shot-Pipeline ohne Feinabstimmung vor, die eine zweipassige Grob-zu-Fein-Strategie und eine spezialisierte Rollenzuweisung für Vision-Language-Modelle nutzt, um einen state-of-the-art temporal-räumlichen Grounding seltener Verkehrsunfälle in Überwachungsvideos zu erreichen und damit die bestehenden Baselines auf dem ACCIDENT@CVPR 2026-Benchmark um 12,7 % zu übertreffen.

Ursprüngliche Autoren: Jiantang Huang

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiantang Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der ein Verbrechen auf einem belebten Stadtplatz aufklären soll, aber nur einen einzigen, körnigen Überwachungskamera-Ausschnitt von 30 Sekunden Länge zur Verfügung hat. Ihre Aufgabe ist es, drei spezifische Dinge zu finden: genau wann der Unfall geschah, genau wo auf dem Bildschirm er geschah und welche Art von Unfall es war (z. B. Auffahrunfall vs. seitliche Streifung).

Das Problem? Sie können kein Team menschlicher Experten einstellen, um jedes Video zu beobachten, und Sie dürfen keine echten Unfallvideos „studieren", um zu lernen, wie man sie erkennt (aufgrund von Datenschutzgesetzen). Sie müssen dies nur mit „Standard"-KI-Tools lösen, die nicht speziell auf Unfälle trainiert wurden.

Diese Arbeit stellt eine clevere, zweistufige Strategie vor, um dieses Rätsel mit zwei verschiedenen Arten von KI-„Detektiven" zu lösen.

Das Problem: Der „One-Shot"-Fehler

Wenn Sie eine Standard-KI bitten, das gesamte 30-Sekunden-Video zu beobachten und gleichzeitig den Unfallzeitpunkt, den Ort und die Art zu erraten, gerät sie oft in Verwirrung. Es ist, als würde man eine Person bitten, einen ganzen Film anzusehen und Ihnen die exakte Sekunde zu nennen, in der ein bestimmter Schauspieler niest, während sie gleichzeitig den genauen Punkt auf dem Bildschirm zeigen und die Nies-Art benennen muss. Sie mögen den richtigen Film erraten, aber den Zeitpunkt um 20 Sekunden verfehlen oder das Niesen mit einem Husten verwechseln.

Die Autoren stellten fest, dass frühere KI-Versuche oft um enorme Margen danebenlagen (z. B. wurde der Unfall 21 Sekunden nach dem tatsächlichen Zeitpunkt vermutet) oder die Unfallart völlig falsch einschätzten.

Die Lösung: Das „Two-Pass"-Detektiv-Team

Die Autoren entwickelten eine Pipeline, die zwei verschiedene KI-Modelle in einer bestimmten Reihenfolge zusammenarbeiten lässt, wie einen erfahrenen Detektiv und einen Spezialisten.

Durchgang 1: Der „Weitwinkel"-Scan (Der Generalist)

Zuerst verwenden sie eine leistungsfähige KI (genannt Qwen3-VL), um das Video mit langsamer Geschwindigkeit (1 Bild pro Sekunde) zu beobachten.

Die Analogie: Stellen Sie sich einen Detektiv vor, der schnell durch einen Tatort läuft und den ganzen Raum betrachtet. Er hält nicht an, um jeden Fingerabdruck zu untersuchen. Er bekommt nur ein „Bauchgefühl" dafür, wo die Aktion stattfand und ungefähr wann.
Die Ausgabe: Diese KI gibt eine „grobe" Schätzung ab: „Der Unfall geschah wahrscheinlich um Sekunde 15, in der Mitte des Bildschirms, und es sieht nach einem Einzelunfall aus."
Das Sicherheitsnetz: Wenn die KI verwirrt ist oder die API (die Internetverbindung zur KI) ausfällt, hat das System einen Notfallplan mit einfachen physikalischen Regeln (z. B. Verfolgung der Fahrzeugbewegung), um eine beste Schätzung abzugeben, sodass das Video niemals leer bleibt.

Durchgang 2: Die „Heraufzoomen"-Verfeinerung (Der Spezialist)

Als Nächstes nimmt das System diese grobe Schätzung und erstellt einen winzigen, hochauflösenden „heraufgezoomten" Clip von nur den 6 Sekunden um den vermuteten Unfallzeitpunkt herum.

Die Analogie: Jetzt setzt der Detektiv eine Lupe auf und beobachtet nur diese 6 Sekunden im Zeitlupentempo. Er sucht den exakten Moment des Aufpralls und die genaue Stelle, an der die Fahrzeuge sich berührten.
Die Sicherheitsgitter: Das System verfügt über zwei „Sicherheitsprüfungen".
1. Zeit-Check: Wenn die heraufgezoomte KI sagt: „Ich kann in diesem spezifischen 6-Sekunden-Fenster keinen Unfall sehen", oder wenn sie einen Zeitpunkt am Rand des Fensters errät (was normalerweise bedeutet, dass sie rät), ignoriert das System die neue Schätzung und bleibt bei der ursprünglichen „Bauchgefühl"-Schätzung aus Durchgang 1.
2. Raum-Check: Wenn die heraufgezoomte KI auf einen Punkt direkt am Bildrand zeigt (was oft ein Fehler ist), ignoriert das System dies und verwendet den ursprünglichen Ort aus Durchgang 1.

Der „Spezialist" für Unfallarten

Schließlich erkennt das System, dass die erste KI nicht sehr gut darin ist, die Art des Unfalls zu benennen (z. B. Verwechseln eines „seitlichen Streifens" mit einem „Auffahrunfall").

Die Analogie: Also geben sie den kurzen, heraufgezoomten Clip einem zweiten, anderen KI-Experten (genannt Gemini 3.1), der ein Spezialist für die Identifizierung von Unfallarten ist. Dieser Experte betrachtet nur den Unfallmoment und sagt: „Das ist definitiv ein seitlicher Streifen."

Die Ergebnisse: Die Konkurrenz schlagen

Die Autoren testeten dieses „Two-Pass"-Team an einem realen Benchmark mit über 2.000 echten CCTV-Videos.

Die Punktzahl: Sie erreichten eine Punktzahl von 0,539.
Der Vergleich: Dies war deutlich besser als die vorherigen besten Versuche (die bei etwa 0,412 lagen) und viel besser als die Verwendung eines einzelnen KI-Modells allein.
Die Kosten: Der gesamte Prozess kostete etwa 20 US-Dollar, um alle 2.000 Videos zu verarbeiten (rund 1 Cent pro Video), was beweist, dass man keinen Supercomputer benötigt, um gute Ergebnisse zu erzielen.

Was sie fanden (Die „Fehleranalyse")

Die Arbeit gibt auch zu, wo das System noch Schwierigkeiten hat, und verhält sich wie ein ehrlicher Detektiv, der seine Grenzen meldet:

Späte Verzerrung: Die KI neigt dazu zu erraten, dass der Unfall etwas nach dem tatsächlichen Zeitpunkt geschah (etwa 1,5 Sekunden zu spät). Sie sieht oft die Trümmer nach dem Aufprall, nicht den Moment des Aufpralls.
Verwechseln von Arten: Das System ist immer noch schlecht darin, den Unterschied zwischen einem „Frontalzusammenstoß" und einem „T-Bone"-Unfall oder zwischen einem „seitlichen Streifen" und einem „Auffahrunfall" zu erkennen. Es verwechselt diese etwa 40–80 % der Zeit.
Videolänge: Je länger das Video ist, desto schwieriger ist es für die KI, den genauen Moment zu finden, ähnlich wie es schwieriger ist, eine Nadel in einem 1-Stunden-Heuhaufen zu finden als in einem 10-Minuten-Heuhaufen.

Zusammenfassung

Kurz gesagt zeigt diese Arbeit, dass man kein neues KI-Modell von Grund auf trainieren muss, um seltene Verkehrsunfälle zu finden. Stattdessen kann man eine intelligente „Two-Pass"-Strategie verwenden: Zuerst breit scannen, dann sorgfältig heranzoomen und einen anderen Experten für die Benennung der Unfallart verwenden. Dieser Ansatz, kombiniert mit einfachen Sicherheitsprüfungen, um schlechte Schätzungen zu vermeiden, schafft ein System, das viel genauer ist als frühere Methoden, bei gleichzeitiger Kostensenkung und Einhaltung der Datenschutzregeln.

Technischer Zusammenfassung: Zwei-Pass Zero-Shot Temporal-Räumliche Grounding Seltener Verkehrsvorfälle

Problemstellung
Der Beitrag adressiert die Herausforderung, Verkehrsunfälle in realen CCTV-Aufnahmen zu verorten, mit dem spezifischen Ziel der gemeinsamen Lokalisierung von Zeitpunkt, räumlichen Koordinaten und Kollisionstyp. Dies wird als Problem seltener Ereignisse („rare-event") formuliert, bei dem das für modernes überwachtes Lernen erforderliche Volumen an gelabelten Unfallaufnahmen nicht verfügbar ist. Darüber hinaus verbieten Datenschutz- und Haftungsbedenken häufig das Training mit realen Unfalldaten. Die Arbeit konzentriert sich auf den Benchmark ACCIDENT@CVPR 2026, der 2.211 synthetische CARLA-Videos zur Entwicklung bereitstellt, aber das Training auf den 2.027 realen CCTV-Testclips streng untersagt. Die Bewertungsmetrik ist ACCS, das harmonische Mittel der Scores für zeitliche (T), räumliche (S) und Kollisionstyp-Genauigkeit (C), das Systeme mit schwachen Komponenten in einer beliebigen Einzelaufgabe bestraft.

Methodik
Die Autoren schlagen eine Pipeline ohne Feinabstimmung vor, die eingefrorene Vision-Language-Modelle (VLMs) durch eine Zwei-Pass-Zerlegung und die Zuweisung spezialisierter Rollen nutzt. Das System arbeitet ohne Training mit realen Unfalldaten und stützt sich stattdessen auf die nativen Fähigkeiten vortrainierter Modelle.

Grob-zu-Fein Zwei-Pass-Zerlegung:
- Pass 1 (Grobe Grounding): Das gesamte Video wird mit 1 fps abgetastet (bis zu 30 Frames) und von Qwen3-VL-Plus verarbeitet. Das Modell wird aufgefordert, ein grobes Tupel $(t_1, x_1, y_1, c_1)$ auszugeben, das den Aufprallzeitpunkt, -ort und -typ darstellt. Zur Unterstützung der zeitlichen Ausrichtung werden Frames mit expliziten [Frame at t.ts]-Tags serialisiert, sodass das Modell die zeitliche Lokalisierung als Frame-Naming-Aufgabe und nicht als kontinuierliche Regression behandeln kann.
- Pass 2 (Feine Verfeinerung): Ein $\pm 3$ Sekunden Fenster um den groben Zeit schätzwert $t_1$ wird extrahiert und mit 5 fps abgetastet (bis zu 30 Frames bei 1024px Auflösung). Qwen3-VL-Plus bewertet dieses Fenster erneut, um den Zeitpunkt ( $t_2$ ) und den Ort ( $x_2, y_2$ ) mit einer Präzision von 0,1 s zu verfeinern.
- Vertrauens-Gates: Zwei deterministische Gates entscheiden, ob die verfeinerten Pass-2-Schätzwerte akzeptiert oder zu den robusten Pass-1-Schätzwerten zurückgekehrt wird:
  - Zeitliches Gate: Wenn Pass 2 eine negative Zeit oder eine Zeit nahe der Fenstergrenze zurückgibt (was auf geringes Vertrauen hindeutet), kehrt das System zu $t_1$ zurück.
  - Räumliches Gate: Wenn Pass-2-Koordinaten „am Rand geklemmt" sind (nahe den 0- oder 1000-Grenzen des normalisierten Gitters), kehrt das System zu $(x_1, y_1)$ zurück.
Zuweisung spezialisierter Rollen:
- Unter der Erkenntnis, dass ein einzelnes VLM nicht in allen Teilaufgaben hervorragend sein mag, teilt die Pipeline die Verantwortlichkeiten auf. Qwen3-VL-Plus übernimmt die zeitliche und räumliche Grounding (T+S).
- Gemini 3.1 Flash-Lite erhält die spezifische Rolle der Kollisionstyp-Klassifizierung (C). Ein 5-Sekunden-Clip, zentriert auf den endgültigen Zeit schätzwert, wird zugeschnitten (2,5-fache Vergrößerung um das Pass-1-Zentrum) und mit einem Closed-World-Prompt, der die fünf Kollisionstypen auflistet, an Gemini übergeben. Diese Spezialisierung verbessert die Typgenauigkeit erheblich im Vergleich zur Verwendung eines einzelnen Modells für alle Aufgaben.
Fallback-Mechanismus:
- In Fällen von API-Ausfällen (beobachtet bei ~17 % der Videos) weicht das System auf eine eingefrorene Detektor-Pipeline (YOLO26x + ByteTrack) in Kombination mit regelbasiertem Physik-Scoring aus. Dies stellt sicher, dass kein Video unverarbeitet bleibt.

Hauptbeiträge

Pipeline ohne Feinabstimmung: Eine Methode, die gemeinsame T+S+C-Ausgaben von eingefrorenen VLMs hervorruft und den Bedarf an gelabelten realen Unfalldaten vermeidet.
Zwei-Pass-Zerlegung mit Gates: Eine Strategie, die hochsaliente Nachbarschaften verfeinert und gleichzeitig deterministische Vertrauensprüfungen nutzt, um die Fehlerfortpflanzung aus dem zweiten Pass zu verhindern.
Aufteilung spezialisierter Rollen: Der Nachweis, dass die Zuweisung der Typklassifizierung an ein zweites, spezialisiertes VLM (Gemini) die Typgenauigkeit von 0,474 auf 0,591 hebt, eine kritische Verbesserung für den harmonischen Mittelwert-Score.
Systematische Fehleranalyse: Der Beitrag liefert eine detaillierte Diagnose von Fehlermodi, einschließlich einer späten Verzerrung von +1,55 s bei der zeitlichen Grounding, einer längenabhängigen Verschlechterung und einer Physik-VLM-Oracle-Analyse.

Ergebnisse
Auf dem ACCIDENT@CVPR 2026-Testset (2.027 Videos) erreicht die vorgeschlagene Pipeline einen ACCS von 0,539 (95% CI [0,525, 0,553]).

Vergleichende Leistung: Dies stellt eine +0,127 Verbesserung gegenüber dem besten Baseline-Oracle des Benchmark-Papiers (0,412) und eine +0,143 Verbesserung gegenüber der stärksten Single-VLM-Baseline, Molmo-7B (0,396), dar.
Aufschlüsselung der Teilaufgaben: Die Methode erreicht T=0,50, S=0,54 und C=0,59. Bemerkenswert ist, dass die Typgenauigkeit (C) die höchste je berichtete ist, während die räumliche Genauigkeit der besten Single-VLM-Baseline leicht hinterherhinkt.
Kosteneffizienz: Der vollständige Durchlauf kostet für das gesamte Testset ungefähr 20 $ (ca. 0,01 $ pro Video) und nutzt bis zu drei API-Aufrufe pro Video.
Fehlerdiagnose: Die Analyse zeigt eine mittlere zeitliche späte Verzerrung von +1,55 s (das Modell identifiziert oft das nach dem Aufprall entstandene Wrack statt des Kontaktmoments) und eine signifikante Verwechslung zwischen „Frontal-" und „T-Bone"-Kollisionen.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass das Schließen der Lücke zwischen automatisierten Systemen und menschlicher Leistung (Human ACCS = 0,843) bei der Grounding seltener Ereignisse ohne überwachtes Training erfordert, über handgefertigte Primitive und Single-Shot-Prompting hinauszugehen. Die Autoren argumentieren, dass ihr Ansatz die Machbarkeit trainingsfreier, Zero-Shot-VLM-Pipelines für sicherheitskritische Aufgaben demonstriert, bei denen Datenknappheit und Datenschutz primäre Einschränkungen darstellen.

Die Autoren bleiben bescheiden bezüglich des aktuellen Zustands des Systems und stellen fest, dass die verbleibende zeitliche Ambiguität (Medianfehler 1,1 s) und spezifische Typverwechslungen (Frontal-/Seitenaufprall) für vollständig automatisierte First-Notice-of-Loss (FNOL)-Systeme ohne menschliche Eingriffe im Regelkreis noch nicht akzeptabel sind. Sie schließen, dass zukünftige Verbesserungen sich auf adaptive Abtastung und Physik-VLM-Fusion konzentrieren sollten, anstatt einfach die Modellgröße zu skalieren. Die Arbeit stellt fest, dass spezialisierte Rollenzuweisung und Grob-zu-Fein-Verfeinerung wirksame Hebel zur Verbesserung der Zero-Shot-Grounding in komplexen, realen Überwachungsszenarien sind.