💻 computer science

See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval

Das Papier schlägt SMORE vor, ein speichereffizientes Framework für das Video Moment Retrieval, das abfragespezifische Bildunterschriften, Bedeutungsmodulation und adaptive Frame-Kompression nutzt, um eine State-of-the-Art-Leistung auf mehreren Benchmarks zu erzielen und gleichzeitig die Speicherbeschränkungen der dichten Frame-Verarbeitung zu überwinden.

Ursprüngliche Autoren: Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

Veröffentlicht 2026-01-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen 2-stündigen Film, aber Sie besitzen nur ein winziges Notizbuch, um aufzuschreiben, was darin passiert. Sie müssen eine bestimmte Szene basierend auf einer Beschreibung wie „Der Moment, in dem der Welpe den roten Ball jagt“ finden.

Das Problem:
Die meisten aktuellen KI-Systeme versuchen, dies auf zwei Arten zu lösen, und beide haben Mängel:

Der „Sparse Snapshot“-Ansatz (Spärliche Schnappschüsse): Sie machen alle paar Sekunden ein paar zufällige Bilder aus dem Film. Wenn der Welpe zwischen diesen Schnappschüssen über den Bildschirm rennt, übersieht die KI ihn komplett. Es ist, als würde man versuchen, ein Buch zu lesen, indem man nur Seite 1, Seite 50 und Seite 100 betrachtet.
Der „Full Description“-Ansatz (Vollständige Beschreibung): Sie versuchen, eine detaillierte Zusammenfassung für jede einzelne Sekunde des Films zu schreiben. Das erfasst zwar alles, aber es füllt Ihr Notizbuch (den Speicher) so schnell, dass der Computer abstürzt, bevor er überhaupt fertig ist.

Die Lösung: SMORE (See MORE, store less – Mehr sehen, weniger speichern)
Die Autoren schlagen ein neues Framework namens SMORE vor. Denken Sie an SMORE als einen superintelligenten, speichereffizienten Assistenten, der genau weiß, wonach Sie suchen, noch bevor er überhaupt mit dem Lesen des Skripts beginnt.

So funktioniert SMORE mithilfe von drei einfachen Tricks:

1. Der „Maßgeschneiderte Textmarker“ (Query-Guided Captions / Abfragegesteuerte Bildunterschriften)

Anstatt generische Notizen wie „Ein Hund läuft“ zu schreiben, hört SMORE zuerst auf Ihre spezifische Frage.

Der alte Weg: Die KI schreibt: „Ein Hund läuft.“ (Generisch, hilft Ihnen vielleicht nicht, die spezifische Szene zu finden).
Der SMORE-Weg: Wenn Sie fragen: „Wo ist der Welpe, der den Ball jagt?“, schreibt die KI: „Ein Welpe jagt einen Ball.“
Die Analogie: Stellen Sie sich einen Bibliothekar vor, der Bücher nicht einfach nach ihrer Farbe katalogisiert, sondern Ihre Anfrage lixt („Ich brauche ein Buch über den Weltraum“) und dann eine spezielle Notiz auf die relevanten Bücher schreibt: „Dieses hier ist über den Weltraum!“ Dies stellt sicher, dass die Notizen exakt zu dem passen, was Sie suchen.

2. Der „Lautstärkeregler“ (Query-Aware Importance / Abfragesensible Wichtigkeit)

Nicht alle Notizen sind gleichermaßen wichtig. Einige Szenen sind nur Hintergrundrauschen; andere sind das Hauptereignis.

Wie es funktioniert: SMORE gibt jeder Notiz, die es schreibt, einen „Lautstärkeregler“. Wenn eine Notiz perfekt zu Ihrer Suche passt, dreht es die Lautstärke hoch (hohe Wichtigkeit). Wenn eine Notiz etwas Irrelevantes beschreibt (wie eine Katze, die im Hintergrund schläft, während Sie nach einem Welpen gefragt haben), dreht es die Lautstärke herunter.
Die Analogie: Es ist wie ein DJ, der eine Playlist mixt. Wenn das Lied kommt, das man hören möchte, dreht der DJ die Lautstärke voll auf. Wenn ein Lied läuft, das einen nicht interessiert, blendet er es aus, damit es nicht ablenkt. Dies hilft der KI, sich nur auf die „lauten“ (wichtigen) Teile des Videos zu konzentrieren.

3. Der „Intelligente Kompressor“ (Structured Visual Compression / Strukturierte visuelle Kompression)

Videos enthalten oft viele Einzelbilder (Frames), die fast identisch aussehen (z. B. ein Auto, das 10 Sekunden lang auf einer geraden Straße fährt). Jedes einzelne Frame zu speichern, ist eine Verschwendung von Platz.

Wie es funktioniert: SMORE betrachtet aufeinanderfolgende Frames. Wenn zwei Frames fast identisch sind, wirft es eines nicht einfach weg (was Informationen verlieren würde). Stattdessen „quetscht“ es sie mathematisch zu einer einzigen, kompakten Zusammenfassung zusammen, die die wichtigsten Details beibehält.
Die Analogie: Stellen Sie sich vor, Sie haben einen Stapel von 100 Fotos eines Sonnenuntergangs, bei dem sich die Sonne kaum bewegt. Anstatt alle 100 Fotos zu behalten, nehmen Sie die besten 5 und verschmelzen sie zu einem einzigen, hochwertigen „Super-Foto“, das die gesamte Bewegung einfängt, ohne dass Sie 100 separate Dateien benötigen.

Die Ergebnisse

Das Paper testete dieses System auf drei großen Videodatensätzen (QVHighlights, Charades-STA und ActivityNet-Captions).

Leistung: SMORE schlug die derzeit besten Modelle (wie Chrono und LLaVA-MR) beim Finden der richtigen Videomomente.
Effizienz: Es erreichte dies bei gleichzeitig geringerem Speicherbedarf. Während andere Top-Modelle einen massiven, teuren Computerchip (80 GB Speicher) benötigten, um zu laufen, konnte SMORE bessere Ergebnisse auf einem kleineren, gängigeren Chip (48 GB Speicher) erzielen.

Zusammenfassend:
SMORE ist wie ein Detektiv, der nicht einfach blind die gesamte Fallakte liest. Stattdessen liest er den spezifischen Hinweis, den Sie ihm geben, markiert die relevanten Seiten, regelt das Hintergrundrauschen herunter und fasst die langweiligen Teile zusammen, damit er das Rätsel schneller und mit weniger Papier lösen kann.

Technisches Resümee: SMORE (See MORE, store less)

Problemstellung

Video Moment Retrieval (VMR) erfordert die Identifizierung spezifischer zeitlicher Segmente innerhalb eines Videos, die semantisch mit einer natürlichen Sprachabfrage übereinstimmen. Während Multimodale Large Language Models (MLLMs) das Video-Verständnis vorangebracht haben, bleibt VMR aufgrund der mit der Verarbeitung dicht beprobter Videoframes über längere Zeiträume verbundenen Speicherbeschränkungen eine Herausforderung.

Bestehende Methodologien stehen vor einem Kompromiss zwischen Informationsauflösung und Speichereffizienz:

Sparse Sampling (Dünne Abtastung): Traditionelle Ansätze verlassen sich oft auf die Auswahl einer begrenzten Anzahl von Keyframes, um innerhalb der Speicherbudgets zu bleiben. Dies birgt das Risiko, kritische, flüchtige visuelle Hinweise zu übersehen, was zu Informationsverlust führt, insbesondere bei langen Videos.
Dense Processing mit generischen Captions (Dichte Verarbeitung mit generischen Bildunterschriften): Alternative Strategien versuchen, den visuellen Inhalt in Text-Captions zu verdichten, um die Speicherlast zu reduzieren. Herkömmliche Zero-Shot-Captioning-Verfahren erzeugen jedoch generische Beschreibungen, denen es an der Abstimmung mit spezifischen Nutzerabsichten mangelt, was zu einer suboptimalen Retrieval-Leistung führt.
Speicherengpässe (Memory Bottlenecks): Jüngste MLLM-basierte VMR-Systeme (z. B. Chrono, LLaVA-MR) verbessern das zeitliche Bewusstsein, erfordern jedoch oft beträchtlichen GPU-Speicher (z. B. 80 GB A100), was deren Zugänglichkeit und Skalierbarkeit einschränkt.

Methodik: SMORE-Framework

Die Autoren schlagen SMORE (See MORE, store less) vor, ein Framework, das darauf ausgelegt ist, die Speichereffizienz zu steigen und gleichzeitig eine hohe Informationsauflösung beizubehalten. SMORE operiert innerhalb einer interleavten Token-Architektur, in der Videoframes mit Zeitstempeln kombelt und durch abfragegestützte Text-Captions angereichert werden. Das Framework besteht aus drei Kernkomponenten:

1. Abfragegestützte Caption-Generierung (Query-Guided Caption Generation)

Um die Diskrepanz zwischen generischen Captions und Nutzerabfragen zu adressieren, führt SMORE einen zweistufigen Captioning-Prozess ein:

Abfrage-Parsing (Query Parsing): Die Eingabeabfrage wird analysiert, um spezifische Objekte und Aktionen zu extrahieren.
QA-basierte Relevanzprüfung (QA-Based Relevance Check): Ein Question-Answering (QA)-Modul bewertet, ob spezifische Objekte oder Aktionen in einer gegebenen Videoszene vorkommen.
Dual-Path-Captioning (Zweiwege-Captioning):
- Relevante Szenen: Wenn eine Szene abfragerelevante Elemente enthält, wird eine „abfragespezifische Prompt“ verwendet, um eine Caption zu generieren, die speziell auf die Absicht des Nutzers abgestimmt ist (z. B. Fokus auf „Kochen“ und „Facetime“, falls diese in der Abfrage enthalten sind).
- Irrelevante Szenen: Szenen, die die Relevanzprüfung nicht bestehen, erhalten Standard-Captions mit generischem Inhalt.
  Dies stellt sicher, dass das Modell eine dichte semantische Abdeckung erhält, ohne irreführende oder ablenkende Texte für irrelevante Segmente zu generieren.

2. Abfragesensible Wichtigkeit-Modulation (Query-Aware Importance Modulation)

Nicht alle generierten Captions tragen gleichermaßen zur Retrieval-Aufgabe bei. SMORE setzt einen Gewichtungsmechanismus ein, um informative Inhalte zu priorisieren:

Ein Ähnlichkeitswert $S_q(f_i, c_i)$ wird für jedes Frame-Caption-Paar basierend auf der Kosinus-Ähnlichkeit zwischen dem Frame und der Abfrage sowie der Abfrage und der Caption (unter Berücksichtigung der Frame-Caption-Ähnlichkeit) berechnet.
Die Caption-Embeddings werden vor dem Eintritt in die Self-Attention-Schicht des LLMs durch diesen Score neu gewichtet. Dies ermöglicht es dem Modell, sich auf Segmente mit hoher semantischer Relevanz zur Abfrage zu konzentrieren und Hintergrundinformationen oder redundante Daten abzuwerten.

3. Strukturierte Visuelle Kompression (Structured Visual Compression - SVC)

Um die räumliche Redundanz zu reduzieren, ohne die zeitliche Treue zu verlieren, nutzt SMORE eine geringfügige Kompressionsstrategie basierend auf der Singulärwertzerlegung (Singular Value Decomposition - SVD):

Redundanzdetektion: Hintereinanderliegende Frame-Embeddings werden mittels Kosinus-Ähnlichkeit gegen einen aktuellen Anker-Frame verglichen.
SVD-Kompression: Wenn die Ähnlichkeit einen Schwellenwert $\theta$ überschreitet, werden die Frames gestapelt und mittels einer abgeschnittenen SVD (Rank-1-Approximation) komprimiert. Der resultierende Durchschnitts-Row dient als kompaktes Embedding, das die dominanten räumlichen Merkmale beibehält, während untergeordnete Redundanzen verworfen werden.
Anker-Aktualisierung: Wenn die Ähnlichkeit niedrig ist, wird der aktuelle Frame als neuer Anker beibehalten.
Dieser Ansatz bewahrt die wesentlichen visuellen Dynamiken und die zeitliche Ordnung besser als einfache Frame-Selektion oder Average Pooling.

Zentrale Beiträge

Speichereffizientes VMR-Framework: SMORE erreicht State-of-the-Art (SOTA) Performance auf Standard-Benchmarks, während es innerhalb restriktiver Speicherumgebungen (48 GB A6000) operiert, im Gegensatz zu Methoden, die 80 GB A100-GPUs erfordern.
Abfragegestützte semantische Abstraktion: Die Einführung von abfragegestütztem Captioning und Wichtigkeit-Modulation schließt die Lücke zwischen dichter visueller Abdeckung und spezifischer Nutzerabsicht, was die Präzision des Retrievals verbessert, ohne die Anzahl der visuellen Tokens zu erhöhen.
Strukturierte visuelle Kompression: Die vorgeschlagene SVD-basierte Kompression reduziert den Speicherbedarf effektiv durch Eliminierung redundanter Frames, während sie entscheidende visuelle Belege bewahrt, und übertrifft dabei naives Frame-Selection und Average Pooling.

Experimentelle Ergebnisse

Die Autoren evaluierten SMORE auf drei repräsentativen Datensätzen: QVHighlights, Charades-STA und ActivityNet-Captions.

QVHighlights: SMORE erreichte eine neue State-of-the-Art (SOTA) Performance. Es verbesserte das High-Precision-Modell SG-DETR um 4,19 % in R1@0,5 und um 6,24 % in R1@0,7, während es gleichzeitig eine höhere mittlere Average Precision (mAP) (+0,62 %) beibehielt. Es übertraf zudem das High-Recall-Modell LLaVA-MR sowohl in den Recall- als auch in den mAP-Metriken.
Charades-STA: SMORE setzte einen neuen SOTA und übertraf LLaVA-MR um 1,12 % in mIoU und um 0,61 % in R1@0,5.
ActivityNet-Captions: Das Modell erzielte Gewinne von 1,15 % in R1@0,5 und 0,66 % in R1@0,7 gegenüber dem bisherigen SOTA.
Ablationsstudien: Progressive Ablationen bestätigten, dass jede Komponente (Zero-Shot-Captioning, abfragegestütztes Captioning, Wichtigkeit-Modulation und SVC) synergetisch zur Endleistung beiträgt, wobei das vollständige Modell eine Gesamtverbesserung von +2,86 % im mAP-Durchschnitt gegenüber der Baseline zeigt.
Speichereffizienz: Experimente zeigten, dass SMORE die Frame-only-Baselines über verschiedene Speicherbudgets hinweg (30 GB bis 45 GB) konsistent übertrifft, was seine Fähigkeit beweist, auf längere Videos mit reicheren multimodalen Informationen unter engen Bedingungen zu skalieren.

Bedeutung und Behauptungen

Das Paper behauptet, dass SMORE demonstriert, dass hohe Retrieval-Genauigkeit und Speichereffizienz nicht gegensätzlich sind. Durch die Nutzung von abfragegestützter semantischer Abstraktion und strukturierter visueller Kompression ermöglicht das Framework den Einsatz leistungsstarker Video-Sprach-Modelle auf zugänglicherer Hardware (z. B. 48-GB-GPUs), ohne das feingranulare zeitliche Verständnis zu beeinträchtigen.

Die Autoren positionieren SMORE als Lösung für den grundlegenden Trade-off in der VMR zwischen der Notwendigkeit dichter zeitlicher Argumentation und den Limitationen aktueller Speicherressourcen. Sie merken an, dass das Framework zwar eine leichte Inferenz-Latenz aufgrund seiner modularen Pipeline einführt, aber eine flexible Architektur bietet, die entweder im speichereffizienten Modus (On-Demand-Captioning) oder im latenzeffizienten Modus (vorgefertigte Captions) operieren kann, was es für vielfältige reale Anwendungen anpassbar macht.

Das Paper schließt mit der Anerkennung von Limitationen, wie etwa der Leistungsdegradation bei hochgradig ambivalenten Abfragen oder Videos, und legt nahe, dass zukünftige Arbeiten Decoder-only-Modelle untersuchen könnten, um die Generalisierbarkeit des Frameworks zu erweitern.