💻 computer science

E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching

E.M.Ground ist ein neuartiges Video-Large-Language-Modell für das zeitliche Video-Grounding, das die Genauigkeit der Ereignislokalisierung verbessert, indem es ein spezielles Token für ganzheitliche semantische Kontinuität, Savitzky-Golay-Glättung zur Rauschreduzierung und eine mehrgranulare Frame-Merkmalsaggregation einführt, um die Einschränkungen bestehender zeitstempelabhängiger Methoden zu überwinden.

Ursprüngliche Autoren: Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

Veröffentlicht 2026-02-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten Video-Assistenten (ein „Video Large Language Model“), der einen Film ansehen und Fragen dazu beantworten kann. Wenn Sie ihn jedoch fragen: „Zeig mir die Stelle, an der die Katze eine Spritze bekommt“, hat der Assistent oft Schwierigkeiten, den exakten Start- und Endzeitpunkt zu finden. Er errät vielleicht die Zeit, in der die Katze erscheint, verpasst aber den Moment, in dem die Nadel tatsächlich die Haut berührt, oder er hört zu früh auf.

Dieses Paper stellt ein neues System namens E.M.Ground vor, um dieses Problem zu lösen. Betrachten Sie es als ein Upgrade für den Assistenten – von einer „Stoppuhr“ hin zu einem „Geschichtenerzählers“.

So funktioniert E.M.Ground, erklärt durch einfache Analogien:

1. Der alte Weg: Zwei separate Stoppuhren

Frühere Methoden (wie ein System namens E.T.Chat) versuchten, die Antwort zu finden, indem sie zwei separate Token (wie zwei verschiedene Stoppuhren) verwendeten.

Stoppu Uhr A versucht zu erraten, wann das Ereignis genau beginnt.
Stoppuhr B versucht zu erraten, wann das Ereignis genau endet.

Das Problem: Das ist so, als würde man versuchen, eine bestimmte Szene in einem Film zu finden, indem man nur den allerersten Frame und den allerletzten Frame betrachtet. Man übersieht alles, was dazwischen passiert. Wenn der Film lang ist, wird der Assistent verwirrt, weil er den „Kern“ der Geschichte ignoriert. Er wählt oft den falschen Start- oder Endzeitpunkt, weil er das gesamte Ereignis nicht als eine kontinuierliche Geschichte versteht.

2. Der neue Weg: Ein „Story-Token“

E.M.Ground ändert die Strategie. Anstatt zwei Stoppuhren zu verwenden, nutzt es ein spezielles Token namens <evt> (kurz für „event“).

Die Analogie: Stellen Sie sich vor, Sie suchen nach einem bestimmten Kapitel in einem Buch. Anstatt zu fragen: „Wo beginnt das Kapitel?“ und „Wo endet es?“ getrennt voneinander, halten Sie ein Lesezeichen hoch, auf dem steht: „Das ganze Kapitel“.
Wie es funktioniert: Dieses einzelne <evt>-Token betrachtet jeden Frame des Videos gleichzeitig. Es fragt: „Gehört dieser Frame zur Geschichte von ‚die Katze bekommt eine Spritze‘?“ Es hält die Geschichte zusammen und stellt sicher, dass der Assistent Anfang, Mitte und Ende als ein zusammenhängendes, kohärentes Ereignis versteht. Dies hilft dabei, lange Videos viel besser zu handhaben, da man nicht mitten in der Handlung den Faden verliert.

3. Das Glätten der „Zittern“

Selbst mit dem neuen „Story-Token“ kann das Vertrauen des Computers etwas „zittrig“ sein. In einer Sekunde ist er sich zu 90 % sicher, dass ein Frame Teil des Ereignisses ist, und in der nächsten Sekunde sinkt dieser Wert nur wegen eines winzigen visuellen Fehlers auf 40 %, um dann wieder anzusteigen.

Die Analogie: Stellen Sie sich eine zittrige Hand vor, die eine Linie auf einem Graphen zeichnet. Die Linie geht zu stark auf und ab, was es schwierig macht, die wahre Form zu erkennen.
Die Lösung: E.M.Ground verwendet eine mathematische Technik namens Savitzky-Golay-Glättung. Betrachten Sie dies als das Überfahren eines zerknitterten Hemdes mit einem warmen Bügeleisen. Es glättet die winzigen, verrauschten Falten (das Zittern), ohne die allgemeine Form des Hemdes (das eigentliche Ereignis) zu verändern. Dies hilft dem System, die Start- und Endzeiten genauer zu bestimmen, indem es das Rauschen ignoriert.

4. Das Wiederaufbauen verlorener Details

Um Videos für Computer leichter verarbeitbar zu machen, komprimieren Systeme diese oft und werfen dabei einige visuelle Details weg (wie das Zusammenquetschen eines hochauflösenden Fotos zu einem Vorschaubild). Dies führt normalerweise dazu, dass der Computer wichtige Hinweise übersieht.

Die Analogie: Es ist, als würde man versuchen, ein Gesicht anhand eines unscharfen, qualitativ minderwertigen Fotos zu erkennen.
Die Lösung: E.M.Ground nutzt multi-granulare Merkmale. Anstatt nur auf das unscharfe Vorschaubild zu schauen, betrachtet es das Foto auf verschiedenen Detailstufen (scharfe Kanten, Farben, Texturen) und kombiniert diese. Es ist, als würde man gleichzeitig eine Lupe, ein Weitwinkelobjektiv und einen Farbfilter verwenden, um die fehlenden Details wieder aufzubauen, damit der Computer nichts Wichtiges übersieht.

Die Ergebnisse

Das Paper hat E.M.Ground auf vielen verschiedenen Video-Datensätzen getestet.

Bessere Genauigkeit: Es hat die bisherigen besten Methoden (wie E.T.Chat) konsistent und um eine große Spanne geschlagen.
Lange Videos: Während ältere Systeme mit zunehmender Videolänge schlechter wurden, blieb E.M.Ground stark, weil es die ganze Geschichte verstand und nicht nur Anfang und Ende.
Weniger Fehler: Es machte weita-hin weniger Fehler, bei denen der vorhergesagte Zeitraum keine Überschneidung mit dem tatsächlichen Ereignis hatte oder bei denen es nur die Mitte des Ereignisses fand und den Anfang/das Ende verpasste.

Zusammenfassend lässt sich sagen: E.M.Ground hört auf, Start- und Endzeiten separat zu raten. Stattdessen behandelt es das Ereignis als eine einzige, kontinuierliche Geschichte, glättet die Verwirrung des Computers und nutzt alle verfügbaren visuellen Details, um den exakten Moment zu finden, in dem das Ereignis stattfindet.

Technisches Resümee: E.M.Ground

Problemstellung

Das zeitliche Video-Grounding (Temporal Video Grounding, TVG) bleibt eine erhebliche Herausforderung für Video-Large-Language-Models (Vid-LLMs). Die Aufgabe erfordert die präzise Lokalisierung von Zeitsegmenten, die einem Abfrageereignis innerhalb eines Videos entsprechen. Während jüngste State-of-the-Art-Methoden wie E.T.Chat die früheren Ansätze durch die Verwendung von Token-zu-Frame-Ähnlichkeitsabgleich anstelle der direkten numerischen Generierung verbessert haben, weisen sie kritische Einschränkungen auf:

Mangelnde ganzheitliche Wahrnehmung: Bestehende Methoden verwenden typischerweise zwei separate Token, um den Start- und Endpunkt eines Ereignisses abzugleichen. Dieser Ansatz zwingt das Modell dazu, sich zu stark auf die Randbilder zu verlassen, während die mittleren Frames vernachlässigt werden, wodurch die semantische Kontinuität und Integrität des Ereignisses nicht erfasst wird.
Rauschen und Instabilität: Die direkte Auswahl von Frames mit den höchsten Ähnlichkeitswerten ist anfällig für Rauschen und abrupte Änderungen der Ähnlichkeit über benachbarte Zeitstempel hinweg, was zu ungenauem Grounding führt.
Informationsverlust: Aggressive visuelle Kompression, die häufig eingesetzt wird, um Rechenbeschränkungen zu erfüllen, führt zu Informationsverlust, der die Leistung beeinträchtigt, insbesondere bei längeren Videos, bei denen Informationen aus mittleren Frames entscheidend sind.

Methodik

Die Autoren schlagen E.M.Ground vor, ein Temporal-Grounding-Vid-LLM, das darauf ausgelegt ist, diese Einschränkungen durch eine ganzheitliche und kohärente Perspektive der Ereigniswahrnehmung zu adressieren. Die Architektur integriert drei neuartige Designs:

1. Ganzheitlicher und kohärenter Ereignisabgleich

Anstatt separate Token für Start- und End-Zeitstempel zu verwenden, führt E.M.Ground ein einheitliches spezielles Token, <evt>, ein, um das gesamte Abfrageereignis zu repräsentieren.

Mechanismus: Das <evt>-Token wird darauf trainiert, Informationen aus allen Frames innerhalb des Ground-Truth-Ereignisbereichs zu aggregieren. Während der Inferenz berechnet das Modell die Kosinus-Ähnlichkeit zwischen den Merkmalen des <evt>-Tokens und den Merkmalen jedes Frames im Video.
Labeling: Für die Konstruktion der Ground-Truth wird eine Strategie mit geglätteten binären Labels verwendet. Frames innerhalb des Ereignisses werden als 1 gelabelt, während Frames nahe der Grenzen abfallende Werte erhalten, um numerische Kontinuität zu gewährleisten und abrupte Übergänge zu reduzieren.
Vorhersage: Das Zielsegment wird identifiziert, indem ein kontinuierlicher Bereich von Frames gefunden wird, in dem die Ähnlichkeitsrate einen Schwellenwert $\sigma$ überschreitet.

2. Multigranulare visuelle Merkmalsaggregation

Um den durch visuelle Kompression verursachten Informationsverlust zu kompensieren, aggregiert das Modell Merkmale aus mehreren Schichten des Large Language Models (LLM).

Implementierung: Frame-Merkmale werden aus verschiedenen Schichten ( $l=1$ bis $L$ ) des LLM extrahiert. Diese Merkmale werden aggregiert (mittels Mittelwertbildung), um eine reichhaltige, multigranulare Repräsentation ( $f_{vt}$ ) für jeden Frame zu erstellen.
Vorteil: Dieser Ansatz nutzt die unterschiedlichen Aufmerksamkeitsmuster (Attention Patterns), die in verschiedenen LLM-Schichten beobachtet werden, und liefert so reichere Hinweise für das temporale Grounding.

3. Savitzky–Golay-Glättung

Um Rauschen und abrupte Fluktuationen in den Ähnlichkeitswerten benachbarter Frames zu mildern, wenden die Autoren die Savitzky–Golay-Glättung auf die Ähnlichkeitssequenz an, bevor die endgültigen Grenzen bestimmt werden.

Funktion: Diese Signalverarbeitungstechnik filtert hochfrequentes Rauschen heraus, während sie die Form von Spitzen (entscheidend für kurz dauernde Ereignisse) und lokale Trends bewahrt.
Ergebnis: Die verfeinerten Ähnlichkeitswerte führen zu stabileren und genaueren Grenzvorhersagen.

Architekturdetails

Backbone: Das Modell nutzt Phi-3-Mini-3.8B als LLM-Backbone, EVA-CLIP (ViT-G/14) als Vision-Encoder und einen Q-Former für die Cross-Modality-Fusion und Token-Kompression.
Training: Das Training folgt einer Drei-Stufen-Strategie: (1) Video-Text-Alignment mittels groß angelegter, grober Daten; (2) Instruction Following mit unfreezed Q-Former und LLM; (3) Event-Matching-Feinabstimmung mit spezifischen Grounding-Daten.
Verlustfunktionen: Das Modell wird unter Verwendung eines Standard-Negative-Log-Likelihood (NLL)-Loss für die Textgenerierung und eines zusätzlichen Matching-Loss optimiert, um die Ähnlichkeitswerte gegenüber den geglätteten Ground-Truth-Labels zu überwachen.

Kernbeiträge

Einheitliches Ereignis-Token: Der Vorschlag eines einzelnen <evt>-Tokens zur Modellierung des ganzheitlichen Abfrageereignisses, wodurch die semantische Kontinuität und Integrität bewahrt wird, was Methoden mit separaten Start/Ende-Tokens übertrifft.
Rauschunterdrückung: Die Einführung der Savitzky–Golay-Glättung zur Verfeinerung des Token-zu-Frame-Abgleichs, was Rauschen und abrupte Änderungen der Ähnlichkeitswerte effektiv lindert.
Robustheit gegenüber der Länge: Die Methode adressiert den Engpass des Informationsverlusts in langen Videos durch die Aggregation multigranularer Merkmale, was zu einer konsistenten Leistung über verschiedene Videolängen hinweg führt.

Experimentelle Ergebnisse

Umfangreiche Zero-Shot-Evaluierungen wurden auf mehreren Benchmarks durchgeführt, darunter Charades-STA, E.T.Bench (umfassend TVG, EPM, TAL und EVS Subtasks), YouCook2, QVHighlights und MVBench.

TVG-Leistung: E.M.Ground erzielt State-of-the-Art-Ergebnisse. Auf Charades-STA übertrifft es das bisher beste Modell (TRACE) um 4,5 % in R@0.5. Auf E.T.Bench übertrifft es E.T.Chat um 13,4 % beim TVG-Subtask und um 7,4 % beim Extractive Video Summarization (EVS) Subtask, obwohl es ein kleineres Sprachmodell verwendet (3.8B vs. 7B/13B Modelle).
Umgang mit variabler Länge: Im Gegensatz zu E.T.Chat, das eine Leistungsdegradation bei längeren Videos zeigt, behält E.M.Ground eine stabile Leistung über alle Ereignisdauern hinweg bei, was seine Fähigkeit validiert, zwischensemantische Informationen zu erfassen.
Fehlerreduktion: Die qualitative Analyse zeigt eine signifikante Reduktion der Fehlertypen „Keine Überlappung“ (No Overlap) und „Vollständig enthalten“ (Completely Contained) im Vergleich zu E.T.Chat, was auf eine bessere Abstimmung mit dem vollen semantischen Umfang der Ereignisse hindeutet.
Generalisierung: Das Modell demonstriert starke Fähigkeiten in verwandten Aufgaben wie Dense Video Captioning (DVC), Video Highlight Detection (VHD) und allgemeinem Videoverständnis (MVBench), was darauf hindeutet, dass der ganzheitliche Ansatz das breitere temporale Verständnis begünstigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass E.M.Ground eine Verschiebung vom randzentrierten Abgleich hin zur ganzheitlichen Ereigniswahrnehmung darstellt. Durch die Umformulierung der Timestamp-Vorhersage in eine Ereignis-Matching-Aufgabe unter Verwendung eines einheitlichen Tokens überwindet die Methode die inhärenten Einschränkungen konventioneller Ansätze bei der Erfassung der semantischen Kontinuität und Integrität von Abfragen.

Die Autoren betonen, dass ihr Ansatz keine zusätzlichen lernbaren Parameter für den Matching-Mechanismus erfordert und eine lineare Komplexität ( $O(T)$ ) relativ zur Anzahl der Frames beibehält. Die Ergebnisse legen nahe, dass eine einheitliche, semantisch kohärente Repräsentation überlegen für die präzise temporale Lokalisierung in Vid-LLMs ist und eine neue Perspektive für die zukünftige Forschung im Bereich des Videoverständnisses bietet.