UDVideoQA: A Traffic Video Question Answering Dataset for Multi-Object Spatio-Temporal Reasoning in Urban Dynamics

Die Arbeit stellt UDVideoQA vor, ein umfassendes Benchmark-Datenset mit 28.000 Frage-Antwort-Paaren aus anonymisierten Verkehrsvideos, das entwickelt wurde, um die Fähigkeiten von Video-Sprachmodellen beim räumlich-zeitlichen Mehr-Objekt-Reasoning und der kausalen Inferenz in urbanen Szenarien zu evaluieren und zu verbessern.

Das Wesentliche

Stellen Sie sich vor, Sie stehen an einer belebten Kreuzung in einer Großstadt. Autos hupen, Fußgänger eilen über die Straße, Ampeln wechseln, und das Wetter spielt verrückt – mal scheint die Sonne, mal regnet es, mal ist es neblig. Für einen Menschen ist es einfach, diese Szene zu verstehen: „Der rote Bus hält, weil der Fußgänger die Straße überquert." Für einen Computer ist das jedoch ein Albtraum.

Dieses Papier stellt UDVideoQA vor, ein neues, riesiges Werkzeug, um Computern beizubringen, genau so zu denken wie wir – aber mit einem entscheidenden Unterschied: Es ist wie ein Gymnasium für künstliche Intelligenz (KI), das speziell für den chaotischen Straßenverkehr gebaut wurde.

Hier ist die Erklärung in einfachen Worten, gespickt mit ein paar kreativen Vergleichen:

1. Das Problem: Der KI ist die Brille zu dunkel

Bisher waren KI-Modelle, die Videos verstehen sollen, wie jemand, der versucht, ein Buch zu lesen, während er durch eine dichte Nebelwand schaut. Sie konnten oft große Zusammenhänge erraten („Vielleicht ist es ein Unfall?"), aber sie scheiterten an den kleinen Details („Ist das Auto links silber oder grau?").

Die Forscher sagen: „Unsere KIs sind gut im Raten, aber schlecht im Sehen." Sie halluzinieren Dinge, die gar nicht da sind, oder verpassen wichtige Details, weil sie zu sehr auf ihr allgemeines Wissen (wie ein Buch über Verkehr) statt auf das eigentliche Video schauen.

2. Die Lösung: Ein riesiges, anonymisiertes Trainingscamp

Die Autoren haben 16 Stunden echtes Verkehrsvideo von verschiedenen Kreuzungen gesammelt. Das sind etwa 1,7 Millionen Einzelbilder.

• Der Datenschutz-Zaubertrick: Da auf den Videos echte Menschen zu sehen sind, durften sie diese nicht einfach veröffentlichen. Statt Gesichter unscharf zu machen (was oft den ganzen Hintergrund verzerrt), haben sie eine spezielle Technik entwickelt: Bewegungs-Blur.
  • Die Analogie: Stellen Sie sich vor, Sie nehmen einen Pinsel und malen nur über die Dinge, die sich bewegen (Autos, Menschen), während Sie die statischen Dinge (Bäume, Straßenmarkierungen, Gebäude) perfekt scharf lassen. So bleibt die Szene klar, aber niemand kann mehr erkennen, wer da war. Das ist wie ein unsichtbarer Schutzschild, der die Privatsphäre wahrt, ohne den Kontext zu zerstören.

3. Der Lehrplan: Von „Was ist das?" bis „Was wäre wenn?"

Das Herzstück des Projekts ist nicht nur das Video, sondern die 28.000 Fragen, die dazu gehören. Die Forscher haben die Fragen in fünf Schwierigkeitsstufen unterteilt, wie ein Sporttrainer, der einen Athleten trainiert:

1. Attribution (Das Sehen): „Welche Farbe hat das Auto?" (Wie ein Kind, das Farben lernt).
2. Grundverständnis (Das Verstehen): „Ist es gerade regnerisch?" (Wie ein Erwachsener, der den Kontext erfasst).
3. Ereignis-Logik (Das Verknüpfen): „Warum hat das Auto gebremst?" (Weil der Fußgänger auf die Straße trat).
4. Rückwärts-Logik (Das Erinnern): „Was hat der Fußgänger getan, bevor er auf die Straße trat?" (Das ist wie ein Detektiv, der den Tatort rückwärts durchsucht).
5. Gegenfaktische Schlussfolgerung (Das Phantasieren): „Was wäre passiert, wenn die Ampel grün gewesen wäre?" (Hier testen sie, ob die KI lügt oder die Realität versteht).

4. Der Wettkampf: Die großen Riesen vs. die schlauen Zwerg-Modelle

Die Forscher haben 10 der besten KI-Modelle der Welt (die „Superhirne" wie Gemini oder GPT) gegen dieses neue Testfeld antreten lassen.

• Das Ergebnis: Die riesigen, teuren Modelle waren oft gut im Raten (z. B. bei hypothetischen Fragen), aber sie waren überraschend schlecht darin, einfache Dinge zu sehen. Sie sagten manchmal: „Ja, da ist ein rotes Auto", obwohl da gar keines war. Sie verwechselten das, was sie wissen sollten, mit dem, was sie sehen müssen.
• Die Überraschung: Ein kleineres, offenes Modell namens Qwen2.5-VL (ein „Zwerg" im Vergleich zu den Giganten) wurde speziell auf diesen Datensatz trainiert.
  • Die Analogie: Stellen Sie sich vor, ein junger Schüler (das kleine Modell) lernt tagelang nur an dieser einen Kreuzung. Am Ende schlägt er den Professor (das große Modell), weil er die Details der Kreuzung perfekt kennt, während der Professor nur theoretisches Wissen hat. Das kleine Modell wurde fast so gut wie die teuren Systeme, aber es kostete viel weniger Rechenleistung.

5. Warum ist das wichtig?

Stellen Sie sich vor, wir bauen autonome Autos oder Überwachungskameras für die Stadt. Wenn die KI nicht genau sieht, ob ein Kind auf die Straße läuft oder ob eine Ampel rot ist, passiert ein Unfall.

Dieses Papier zeigt uns:

• Wir brauchen Daten, die so chaotisch und real sind wie die echte Welt, nicht nur saubere, künstliche Szenen.
• Wir müssen KI nicht nur „dümmer" machen, damit sie nicht lügt, sondern ihr beibringen, genau hinzusehen, bevor sie spekuliert.
• Mit dem richtigen Training können auch kleinere, günstigere Modelle die Arbeit der riesigen Supercomputer erledigen.

Fazit:
UDVideoQA ist wie ein Spiegel, den wir der KI vorhalten. Er zeigt ihr, wo ihre „Sehschwäche" liegt. Und er beweist, dass man KI nicht mit noch mehr Rechenpower allein retten kann, sondern dass man sie mit der richtigen, ethisch sauberen und realistischen Trainingsmethode (wie dem Bewegungs-Blur) erst wirklich „scharf" macht.

Technische Zusammenfassung

1. Problemstellung

Das Verständnis der komplexen, multi-agentischen Dynamik im städtischen Verkehr stellt eine fundamentale Herausforderung für Video-Sprach-Modelle (VideoLMs) dar. Bestehende Datensätze für Video-Frage-Antwort-Aufgaben (VideoQA) im Verkehrsbereich weisen erhebliche Mängel auf:

• Fehlende Realitätsnähe: Viele Datensätze basieren auf kuratierten, kurzen Clips aus sozialen Medien oder Simulationen, die keine kontinuierliche zeitliche Kohärenz oder echte Szenenrealität bieten.
• Mangelnde Dichte: Sie erfassen oft nur diskrete Unfälle oder Ereignisse aus einer einzigen Fahrzeugperspektive und vernachlässigen die kontinuierlichen Interaktionen zwischen Fußgängern, Fahrzeugen und der Infrastruktur in dicht besiedelten Kreuzungen.
• Halluzinationsanfälligkeit: Modelle scheitern oft daran, negative Fragen zu beantworten (d. h. zu erkennen, dass ein Objekt nicht vorhanden ist), was zu Halluzinationen führt.
• Datenschutz: Die Nutzung von Überwachungsvideos wirft ethische Fragen bezüglich der Privatsphäre auf, da Personen und Fahrzeuge identifizierbar sind.

Es besteht eine kritische Lücke zwischen der Verfügbarkeit von Rohdaten und der Notwendigkeit von hochwertigen, annotierten Benchmarks, um robuste multimodale Reasoning-Fähigkeiten zu evaluieren.

2. Methodik und Datensatz (UDVideoQA)

Das Paper stellt UDVideoQA vor, einen umfassenden Benchmark für das VideoQA im städtischen Kontext.

• Datenerfassung: Der Datensatz umfasst 16 Stunden Rohvideoaufnahmen (ca. 1,7 Millionen Bilder) von intelligenten Verkehrskameras an mehreren städtischen Kreuzungen. Die Aufnahmen decken verschiedene Tageszeiten (Morgen-, Abendverkehr, Nacht) und Wetterbedingungen (klar, Regen, Staubsturm) ab.
• Datenschutz (Anonymisierung): Ein zentrales Merkmal ist die ereignisgesteuerte dynamische Unschärfe (event-driven dynamic blurring). Anstatt statischer Objekterkennung (z. B. YOLO + SAM), die bei Verdeckungen oder schlechten Lichtverhältnissen versagt, nutzt das System bewegungsbasierte Masken, die auf Pixelintensitätsänderungen basieren. Dies schützt die Privatsphäre von Personen, erhält aber den Kontext der Szene (Straßenmarkierungen, Infrastruktur) vollständig bei.
• Annotation und Taxonomie:
  • Aus 8 Stunden dicht annotiertem Video wurden 28.800 Frage-Antwort-Paare generiert (Durchschnitt: 1 Frage pro Sekunde).
  • Die Fragen folgen einer hierarchischen Taxonomie mit fünf Reasoning-Kategorien:
    1. Attribution: Objekterkennung und Attributzuweisung (z. B. Farbe, Text).
    2. Basic Understanding: Globales Szenenverständnis (z. B. Wetter, Beleuchtung).
    3. Event Reasoning: Kausalität und zeitliche Abfolge von Ereignissen.
    4. Reverse Reasoning: Inferenz von Zuständen vor einem beobachteten Ereignis.
    5. Counterfactual Inference: Testen der Robustheit gegen Halluzinationen durch hypothetische Szenarien (z. B. „Was wäre, wenn...").
  • Zusätzlich wurde ein VideoQGen-Benchmark eingeführt, der die Fähigkeit von Modellen bewertet, selbst relevante und diverse Fragen zu generieren.
• Validierung: Ein strenger menschlicher „Human-in-the-Loop"-Prozess sowie ein LLM-basierter Judge (Gemini 2.5 Pro) wurden eingesetzt, um semantische Korrektheit und Vermeidung von Halluzinationen sicherzustellen.

3. Wichtige Beiträge

1. Großskaliger, dichter Datensatz: UDVideoQA bietet mit 1,7 Mio. Frames und einer Dichte von 3.600 QA-Paaren pro Stunde eine bisher unerreichte Dichte an multi-agentischen Interaktionen unter realen Bedingungen.
2. Ethisches und skalierbares Annotationstool: Das entwickelte Tool integriert die ereignisgesteuerte Unschärfe und unterstützt eine semi-automatische Generierung und Validierung von freien QA-Paaren, die über starre Vorlagen hinausgehen.
3. Erster VideoQGen-Benchmark im Verkehrsbereich: Neben der Beantwortung von Fragen wird erstmals die Fähigkeit von Modellen evaluiert, kontextuell fundierte Fragen zu generieren, was linguistische Vielfalt und Grounding testet.
4. Umfassendes Benchmarking: Evaluation von 10 State-of-the-Art (SOTA) VideoLMs (sowohl proprietär wie Gemini/GPT als auch Open-Source wie Qwen, LLaVA) sowie 8 Modellen für die Fragegenerierung.

4. Ergebnisse

Die Experimente offenbaren signifikante Erkenntnisse über den aktuellen Stand der Technik:

• Perzeptions-Reasoning-Lücke: Es besteht eine deutliche Diskrepanz zwischen abstraktem Reasoning und visueller Grounding. Modelle, die in komplexen Inferenz-Aufgaben (Counterfactuals) gut abschneiden, scheitern oft bei grundlegenden visuellen Aufgaben (z. B. Farberkennung oder Zählen).
  • Beispiel: Gemini 2.5 Pro erreicht hohe Reasoning-Werte, aber nur 22,22 % Genauigkeit bei Attributionsfragen (z. B. Farben) im Morgendämmerung.
• Fein-Tuning vs. Zero-Shot: Während proprietäre Modelle (Gemini 2.5 Pro) im Zero-Shot-Modus führen, kann ein kleineres, open-source Modell (Qwen2.5-VL 7B) durch Fein-Tuning auf UDVideoQA die Leistung proprietärer Systeme erreichen oder diese in bestimmten Szenarien (z. B. schlechte Lichtverhältnisse) sogar übertreffen.
  • Das feingetunte Qwen2.5-VL 7B erreichte im Abendlicht 61,38 % Genauigkeit (verglichen mit 54,01 % bei GPT-5).
• Generalisierung: Modelle, die auf UDVideoQA trainiert wurden, zeigen verbesserte Generalisierungsfähigkeiten auf anderen Datensätzen (RoadSocial, SUTDTrafficQA), was auf einen besseren Erwerb von visuellem Grounding in komplexen Umgebungen hindeutet.
• VideoQGen-Ergebnisse: Gemini 2.5 Pro und Qwen3 Max generieren die relevantesten Fragen, jedoch fehlt es allen Modellen an linguistischer Vielfalt (hohe Wiederholungsrate), was die Notwendigkeit menschzentrierter Evaluierung unterstreicht.
• Fehleranalyse: Modelle neigen dazu, bei temporalen Fragen zu hallucinieren (z. B. behaupten, ein Fahrzeug sei bewegt worden, obwohl es statisch war) und scheitern bei der genauen Erkennung kleiner visueller Details (z. B. Straßenmarkierungen).

5. Bedeutung und Fazit

UDVideoQA stellt einen Meilenstein für die Forschung im Bereich multimodales Reasoning dar. Es adressiert die Kluft zwischen synthetischen/kuratierten Daten und der chaotischen Realität urbaner Umgebungen.

• Forschungsbeitrag: Der Datensatz zwingt Modelle dazu, nicht nur Muster zu erkennen, sondern kausale Zusammenhänge und zeitliche Abfolgen in dynamischen Szenen zu verstehen.
• Praktische Relevanz: Die Ergebnisse zeigen, dass spezialisiertes Fein-Tuning kleinerer Modelle eine kosteneffiziente Alternative zu riesigen proprietären Modellen sein kann, um robuste Systeme für intelligente Verkehrssysteme (ITS) und Überwachung zu entwickeln.
• Ethik: Durch die innovative Anonymisierungsmethode demonstriert das Projekt, wie hochwertige Forschungsdaten unter Einhaltung strenger ethischer Standards (IRB-genehmigt) erstellt werden können.

Zusammenfassend etabliert UDVideoQA einen neuen Standard für die Evaluierung von VideoLMs, der über reine Objekterkennung hinausgeht und tiefes räumlich-zeitliches Verständnis sowie kausales Denken in realen, multi-agentischen Szenarien fordert. Der gesamte Datensatz, die Tools und die Benchmarks sind open-source verfügbar.