🤖 AI

Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models

Dieser Beitrag stellt STEMO-Bench vor, einen Benchmark, der entwickelt wurde, um die räumlich-zeitliche Überwachung in Video-Large-Language-Modellen durch die Zerlegung von Abfragen in Teilfragen rigoros zu bewerten, und schlägt STEMO-Track vor, ein objektszentriertes Framework, das durch explizite Trajektorienkonstruktion und zeitliche Aggregation Halluzinationen signifikant reduziert und die Konsistenz des Schlussfolgerns verbessert.

Ursprüngliche Autoren: Tri Cao, Khoi Le, Thong Nguyen, Cong-Duy Nguyen, Quynh Vo, Anh Tuan Luu, Chunyan Miao, See-Kiong Ng, Shuicheng Yan, Bryan Hooi

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tri Cao, Khoi Le, Thong Nguyen, Cong-Duy Nguyen, Quynh Vo, Anh Tuan Luu, Chunyan Miao, See-Kiong Ng, Shuicheng Yan, Bryan Hooi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen sich eine komplexe Fußballpartie im Fernsehen an. Sie fragen einen Freund: „Hat der Spieler im roten Trikot mit der Nummer 66 den Ball an die Nummer 27 gepasst, bevor die Nummer 27 das Tor erzielt hat?"

Ein intelligenter Computer (ein Video Large Language Model) könnte sich das Video ansehen und sagen: „Ja!" Er erhält die richtige Antwort. Doch hier liegt der Haken: Wie ist er zu diesem Ergebnis gekommen?

Das Problem: Der „Glücksspieler" versus der „Schiedsrichter"

Laut dem Papier sind die meisten aktuellen KI-Modelle wie Glücksspieler. Sie schauen sich das Video an, raten die Antwort basierend auf dem, was sie zuvor in Filmen gesehen haben (wie etwa „rote Trikots erzielen normalerweise Tore"), oder sie betrachten lediglich einen einzelnen Frame, in dem sich der Ball in der Nähe des Tores befindet. Sie erhalten die richtige Antwort durch Glück oder indem sie Abkürzungen nutzen, verstehen aber die Geschichte des Spiels nicht wirklich. Sie könnten denken, Spieler #66 habe den Ball gepasst, selbst wenn er ihn nie berührt hat, weil das Endergebnis ein Tor war.

Das Papier bezeichnet dies als „Halluzination". Die KI ist zuversichtlich, doch ihre interne Geschichte ist falsch.

Die Autoren argumentieren, dass eine KI, um Videos wirklich zu verstehen, wie ein Schiedsrichter oder ein Tracker sein muss. Sie muss:

Die Spieler identifizieren (Objekt-Identität).
Beobachten, was sie Moment für Moment tun (Zustandsänderungen).
Ein laufendes Protokoll führen, wer was wem und wann getan hat (raum-zeitliche Überwachung).

Die Lösung Teil 1: STEMO-Bench (Der „Wahrheitstest")

Die Forscher haben einen neuen Test namens STEMO-Bench entwickelt. Anstatt der KI nur die Endfrage zu stellen („Hat #66 an #27 gepasst?"), zerlegen sie sie in eine Checkliste kleinerer, unbestreitbarer Fakten, wie ein Detektiv, der einen Zeugen verhört:

Teilfrage 1: „Trägt Spieler #66 ein rotes Trikot?"
Teilfrage 2: „Hat Spieler #66 den Ball tatsächlich berührt?"
Teilfrage 3: „Hat Spieler #27 den Ball erhalten?"
Teilfrage 4: „Hat #27 das Tor erzielt?"

Die Regel: Wenn die KI die Endantwort „Ja" gibt, aber eine der kleinen Fragen falsch beantwortet (z. B. sie glaubt, #66 habe ein blaues Trikot getragen oder #27 habe den Ball nie berührt), scheitert die KI.

Dies verhindert, dass die KI rät. Sie zwingt die KI, nachzuweisen, dass sie die gesamte Sequenz verfolgt hat, nicht nur das Ende.

Die Lösung Teil 2: STEMO-Track (Das „Notizbuch"-System)

Um die schlechten Gewohnheiten der KI zu beheben, entwickelten die Autoren ein neues System namens STEMO-Track.

Stellen Sie sich vor, Sie versuchen, sich einen langen, chaotischen Film zu merken.

Der alte Weg (Die Blackbox): Sie versuchen, den gesamten Film auf einmal in Ihrem Kopf zu behalten. Sie werden überwältigt, verwechseln die Charaktere und vergessen, wer was getan hat.
Der STEMO-Track-Weg (Das Notizbuch):
1. Chunking: Sie unterteilen den Film in kleine 15-Sekunden-Clips.
2. Zustandsextraktion: Für jeden Clip schreiben Sie eine einfache Notiz auf: „Spieler #66 hat den Ball. Spieler #27 läuft."
3. Aggregation (Der Klebstoff): Sie nehmen all diese Notizen und fügen sie zu einer einzigen, kontinuierlichen Handlungsstrang (einer Trajektorie) zusammen. Sie stellen sicher, dass „Spieler #66" im Clip 1 dieselbe Person ist wie „Spieler #66" im Clip 10, auch wenn er für einen Moment hinter einem Baum versteckt war.
4. Abruf: Wenn Sie eine Frage erhalten, schauen Sie sich nicht den gesamten Film noch einmal an. Sie schauen einfach in Ihr Notizbuch (die strukturierte Geschichte), um die spezifischen Zeilen über #66 und #27 zu finden.

Indem sie zuerst dieses „Notizbuch" mit Objekt-Trajektorien erstellen, hört die KI auf zu raten und beginnt, basierend auf einem soliden Ereignisprotokoll zu schlussfolgern.

Die Ergebnisse

Als sie dieses neue System gegen die besten verfügbaren KI-Modelle (wie Gemini, GPT und andere) testeten:

Die Glücksspieler (alte Modelle): Sie erhielten oft die Endantwort richtig, scheiterten aber an den „Checklisten"-Fragen. Sie hatten Glück, waren nicht intelligent.
Die Tracker (STEMO-Track): Sie erhielten die Endantwort richtig und jeden einzelnen Schritt der Schlussfolgerung richtig. Sie haben nicht nur geraten; sie haben der Wahrheit nachgegangen.

Das Fazit

Das Papier behauptet, dass wir, um zu verhindern, dass KI Geschichten über Videos erfindet, aufhören müssen, Videos nur als einen Haufen Bilder zu behandeln. Stattdessen müssen wir der KI beibringen, wie ein persistenter Tracker zu agieren, der Schritt für Schritt ein laufendes Protokoll darüber führt, wer wer ist und was passiert. Indem wir sie an den Schritten testen und nicht nur an der Endantwort, können wir endlich sehen, ob sie das Video wirklich „schauen" oder nur raten.

Technische Zusammenfassung: Verfolgung der Wahrheit: Objektzentrierte räumlich-zeitliche Überwachung für Large Language Models für Videos

1. Problemstellung

Während Multimodale Large Language Models (MLLMs) das Verständnis von Videos vorangebracht haben, bleiben sie in dynamischen Szenen stark anfällig für Halluzinationen. Die Autoren argumentieren, dass dieses Versagen auf einen Mangel an räumlich-zeitlicher Überwachung zurückzuführen ist: der Fähigkeit, Objektidentitäten, Zustände und Relationen über die Zeit hinweg persistent zu verfolgen.

Aktuelle Evaluierungsbenchmarks leiden unter zwei kritischen Einschränkungen, die dieses Defizit verschleiern:

Verlass auf lokale Hinweise: Viele Fragen können durch die Inspektion eines einzelnen Bildes oder eines kurzen Segments gelöst werden, was es Modellen ermöglicht, eine globale zeitliche Schlussfolgerung zu umgehen.
Verschleierung der Endantwort: Eine Evaluation, die sich ausschließlich auf eine Endantwort stützt, verschleiert den Schlussfolgerungsprozess. Ein Modell kann eine korrekte Antwort durch statistische A-priori-Wahrscheinlichkeiten oder zufällige Korrektheit produzieren, ohne die zugrunde liegenden räumlich-zeitlichen Abhängigkeiten tatsächlich aufzulösen.

Folglich bieten bestehende Benchmarks nur eine eingeschränkte Sicht auf die wahren Verständnisfähigkeiten eines Modells und scheitern daran, zwischen echter zeitlicher Schlussfolgerung und „Shortcut Learning" zu unterscheiden.

2. Methodik

Der Artikel schlägt einen zweigleisigen Ansatz vor: einen neuen Benchmark für strenge Evaluation (STEMO-Bench) und ein neuartiges objektzentriertes Framework für das Videoverständnis (STEMO-Track).

2.1 STEMO-Bench: Benchmark für räumlich-zeitliche Überwachung

STEMO-Bench wurde entwickelt, um die Fähigkeit eines MLLM, objektzentrierte Dynamiken zu verfolgen, explizit zu evaluieren. Es führt eine datenkonstruktive Pipeline mit Struktur-Priorität und ein feingranulares Evaluierungsprotokoll ein.

Datenkonstruktion:
- Expertenbasierte Faktenannotation: Anstatt QA-Paare direkt aus rohem Video zu generieren, konstruieren die Autoren zunächst eine menschlich verifizierte strukturelle Darstellung. Ein Pool geschulter Annotatoren identifiziert Entitäten, weist kanonische Identifikatoren zu und zeichnet beobachtbare Zustände und Relationen als strukturierte Tupel auf (z. B. (t, object, state)).
- Identitätsbindung: Annotatoren verfolgen Entitäten manuell über zeitliche Ankerpunkte hinweg, um eine konsistente Identitätsverfolgung sicherzustellen, selbst bei Verdeckungen oder Zustandsänderungen.
- Automatische QA-Generierung: Ein LLM generiert komplexe Ziel-Fragen auf Basis dieser verifizierten Fakten, wobei sichergestellt wird, dass sie mehrstufiges Schlussfolgern über die Zeit hinweg erfordern.
- Zerlegung: Jede Ziel-Frage wird in eine Sequenz von atomaren Teilfragen zerlegt, die SchlüsselSchritten der räumlich-zeitlichen Überwachung entsprechen (z. B. Identifizieren eines Objekts, Abrufen seines Zustands zu einem bestimmten Zeitpunkt, Verifizieren eines Übergangs).
Evaluierungsmetriken:
- Zielgenauigkeit ( $A_{target}$ ): Standardgenauigkeit bei der finalen Frage.
- Teilfragen-Genauigkeit ( $A_{sub}$ ): Genauigkeit über alle vorausgehenden Teilfragen hinweg.
- Konsistenz ( $A_{cons}$ ): Der Anteil der korrekt beantworteten Teilfragen, gegeben dass die Zielantwort korrekt war. Eine hohe $A_{target}$ bei niedriger $A_{cons}$ deutet auf eine Abhängigkeit von zufälligen Korrelationen statt auf robuste Überwachung hin.

2.2 STEMO-Track: Objektzentriertes Framework

Um die durch STEMO aufgedeckten Versagensmodi zu adressieren, schlagen die Autoren STEMO-Track vor, eine Pipeline, die Entitäten und ihre zeitliche Entwicklung explizit modelliert, anstatt Video als unstrukturierte Sequenz von Bildern zu behandeln.

Pipeline-Architektur:
1. Zeitliche Chunking: Das Video wird in disjunkte zeitliche Abschnitte unterteilt.
2. Chunk-weise Zustandsextraktion: Ein VLM-basierter Zustands-Extraktor ( $E_\phi$ ) verarbeitet jeden Chunk unabhängig, um sichtbare Objekte zu identifizieren und deren Zustände zu schätzen, wodurch lokale Beobachtungen erzeugt werden.
3. Zeitliche Aggregation: Ein zeitlicher Aggregationsmodul ( $A_\psi$ $A_{ψ}$ ) konsolidiert lokale Beobachtungen zu globalen, konsistenten Objekt-Trajektorien. Dies umfasst einen vierstufigen Algorithmus zur Identitätsverknüpfung:
  - Ähnlichkeitsbewertung: Abgleich von Objekten über Chunks hinweg basierend auf visuellen Attributen und räumlicher Nähe.
  - Einschränkungsfilterung: Durchsetzung zeitlicher Nähe und Konfidenzschwellenwerte.
  - Konfliktlösung: Verwendung von bipartitem Matching, um eine Eins-zu-eins-Identitätszuordnung sicherzustellen.
  - Trajektoriengenerierung: Zusammenführung verknüpfter Beobachtungen zu kohärenten Trajektorien ( $S_o$ ).
4. Abfragebasierte Trajektorien-Retrieval: Für eine gegebene Abfrage wählt ein Retriever ( $R_\omega$ ) die relevante Teilmenge von Trajektorien ( $S_Q$ ) aus, die zur Beantwortung der Frage benötigt werden.
5. Trajektorien-gesteuerte Beantwortung: Ein Antwort-Generator ( $G_\eta$ ) schlussfolgert über die abgerufenen Trajektorien, um die finale Antwort zu produzieren.

Dieses Design trennt den Aufbau der Repräsentation von abfrage spezifischer Schlussfolgerung, sodass die Video-Repräsentation einmalig aufgebaut und für mehrere Fragen wiederverwendet werden kann.

3. Hauptbeiträge

STEMO-Bench: Ein Benchmark mit menschlich verifizierten objektzentrierten Fakten, der intermediäre Schlussfolgerungen über atomare Teilfragen evaluiert und echte zeitliches Verständnis von zufälliger Korrektheit unterscheidet.
STEMO-Track: Eine neuartige objektzentrierte Pipeline, die strukturierte Objekt-Trajektorien systematisch konstruiert und abfragt und Antworten explizit auf abgerufenen zeitlichen Daten verankert.
Systematische Evaluation: Eine umfassende Evaluation moderner MLLMs hinsichtlich Zielgenauigkeit versus intermediärer Konsistenz, die räumlich-zeitliche Defizite aufzeigt und die Wirksamkeit expliziter Überwachung demonstriert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten STEMO-Track gegen proprietäre End-to-End-MLLMs (z. B. Gemini-3.1-Pro, GPT-5), Open-Weight-Modelle (z. B. Qwen3-VL, InternVL3) und strukturierte Pipelines (z. B. VideoMind, TraveLER) auf STEMO-Bench.

Leistung: STEMO-Track (unter Verwendung von Gemini-3-Flash) erreichte eine Zielgenauigkeit von 77,1 % und übertraf damit signifikant die stärkste proprietäre Baseline (Gemini-3.1-Pro mit 61,4 %) sowie Open-Weight-Modelle.
Konsistenz: STEMO-Track zeigte eine überlegene Konsistenz ( $A_{cons}$ ) von 81,3 % im Vergleich zu 69,2 % für Gemini-3.1-Pro. Dies deutet darauf hin, dass die korrekten Antworten von STEMO-Track eher durch treue intermediäre Schlussfolgerungen gestützt werden.
Statistische Signifikanz: Die Verbesserungen waren statistisch signifikant ( $p < 0,005$ ) mittels gepaarter Bootstrap-Tests.
Ablationsstudien:
- Visuelles Budget: Die Reduzierung des visuellen Budgets für den Antwort-Generator hatte minimale Auswirkungen auf STEMO-Track (Gemini), verschlechterte jedoch Open-Weight-Modelle erheblich, was darauf hindeutet, dass das Trajektorien-Gedächtnis zeitliche Hinweise effektiv kodiert.
- Aggregation: Deterministische Konkatenation von Trajektorien schnitt besser ab als LLM-basierte Zusammenfassung und verhinderte das Auslassen kritischer Details mit geringer Salienz.
Qualitative Analyse: Fallstudien zeigten, dass Baseline-Modelle oft Ziel-Fragen korrekt beantworteten, während sie vorausgehende Teilfragen fehlschlugen (z. B. falsche Identifizierung der Identität eines Objekts), was bestätigt, dass Metriken, die nur die Zielantwort betrachten, das wahre Verständnis überschätzen.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass die primäre Einschränkung aktueller Video-MLLMs der Mangel an expliziter räumlich-zeitlicher Überwachung ist. Durch die Einführung von STEMO-Bench stellen die Autoren ein Werkzeug bereit, um dieses Versagen rigoros zu diagnostizieren und über „zufällige Korrektheit" hinauszugehen.

Die Bedeutung von STEMO-Track liegt in seiner objektzentrierten Formulierung, die die interne Berechnung des Modells mit den Anforderungen des Videoverständnisses in Einklang bringt: Aufrechterhaltung persistenter Identitäten und Verfolgung der Zustandsentwicklung. Die Autoren behaupten, dass die explizite Konstruktion von Trajektorien ein Schlüsselfaktor zur Reduzierung von Halluzinationen und zur Verbesserung der Konsistenz der Schlussfolgerung ist. Sie schließen, dass zukünftige Arbeiten darauf fokussieren sollten, die feingranulare Bindung visueller Attribute innerhalb dieser Trajektorien zu verbessern, um die Robustheit weiter zu erhöhen, anstatt sich ausschließlich auf End-to-End-Skalierung zu verlassen.