💻 computer science

See More, Store Less: Memory-Efficient Resolution for Video Moment Retrieval

Het artikel stelt SMORE voor, een geheugenefficiënt framework voor Video Moment Retrieval dat gebruikmaakt van query-gestuurde bijschriften, belangsmodulatie en adaptieve framecompressie om state-of-the-art prestaties op meerdere benchmarks te behalen terwijl de geheugenbeperkingen van dichte frameverwerking worden overwonnen.

Oorspronkelijke auteurs: Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

Gepubliceerd 2026-01-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mingyu Jeon, Sungjin Han, Jinkwon Hwang, Minchol Kwon, Jonghee Kim, Junyeong Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film van 2 uur hebt, maar je hebt slechts een klein notitieblokje om op te schrijven wat er gebeurt. Je moet een specifieke scène vinden op basis van een beschrijving zoals: "Het moment dat de puppy achter de rode bal aanrent."

Het Probleem:
De meeste huidige AI-systemen proberen dit op twee manieren op te lossen, en beide hebben gebreken:

De "Sparse Snapshot"-aanpak: Ze maken elke paar seconden een paar willekeurige foto's van de film. Als de puppy tussen deze snapshots door over het scherm rent, mist de AI het volledig. Het is alsoer dat je een boek probeert te lezen door alleen naar pagina 1, pagina 50 en pagina 100 te kijken.
De "Full Description"-aanpak: Ze proberen een gedetailleerde samenvatting te schrijven van elke enkele seconde van de film. Dit legt alles vast, maar het vult je notitieblok (geheugen) zo snel dat de computer crasht voordat het zelfs maar klaar is.

De Oplossing: SMORE (See MORE, store less)
De auteurs stellen een nieuw framework voor genaamd SMORE. Denk aan SMORE als een super-slimme, geheugenefficiënte assistent die precies weet waar je naar op zoek bent voordat hij zelfs maar begint met het lezen van het script.

Zo werkt SMORE, met drie eenvoudige trucs:

1. De "Customized Highlighter" (Query-Guided Captions)

In plaats van generieke aantekeningen te maken zoals "Een hond loopt," luistert SMORE eerst naar jouw specifieke vraag.

De oude manier: De AI schrijft: "Een hond loopt." (Generiek, helpt je misschien niet om de specifieke scène te vinden).
De SMORE-manier: Als je vraagt: "Waar is de puppy die achter de bal aanrent?", kijkt de AI naar de video en schrijft: "Een puppy is een bal aan het achternaslaan."
De Analogie: Stel je een bibliothecaris voor die, in plaats van elk boek alleen op kleur te catalogiseren, jouw verzoek leest ("Ik zoek een boek over de ruimte") en dan een speciale notitie op de relevante boeken schrijft: "Deze gaat over de ruimte!" Dit zorgt ervoor dat de aantekeningen exact overeenkomen met waar je naar op zoek bent.

2. De "Volume Knob" (Query-Aware Importance)

Niet alle aantekeningen zijn even belangrijk. Sommige scènes zijn slechts achtergrondruis; andere zijn de hoofdgebeurtenis.

Hoe het werkt: SMORE geeft een "volumehendel" aan elke aantekening die het maakt. Als een aantekening perfect bij jouw zoekopdracht past, draait het volume omhoog (hoge belangrijkheid). Als een aantekening over iets onrelevant gaat (zoals een kat die op de achtergrond slaapt terwijl je vroeg naar een puppy), draait het volume omlaag.
De Analogie: Het is als een DJ die een afspeellijst mixt. Wanneer het nummer dat je wilt horen begint, draait de DJ het volume flink omhoog. Wanneer een nummer speelt waar je niet om geeft, laat hij het wegsterven zodat het niet afleidt. Dit helpt de AI om zich alleen te concentreren op de "luide" (belangrijke) delen van de video.

3. De "Smart Compressor" (Structured Visual Compression)

Video's bevatten vaak veel frames die bijna identiek zijn (bijv. een auto die over een rechte weg rijdt gedurende 10 seconden). Het opslaan van elk afzonderlijk frame is verspilling van ruimte.

Hoe het werkt: SMORE kijkt naar opeenvolgende frames. Als twee frames bijna hetzelfde zijn, gooit het er niet zomaar één weg (wat informatieverlies zou betekenen). In plaats daarvan "perst" het ze wiskundig samen tot één compacte samenvatting die de belangrijkste details behoudt.
De Analogie: Stel je voor dat je een stapel van 100 foto's hebt van een zonsondergang waarbij de zon nauwelijks beweegt. In plaats van alle 100 foto's te bewaren, neem je de beste 5 en meng je deze tot één hoogwaardige "superfoto" die de hele beweging vastlegt zonder dat je 100 aparte bestanden nodig hebt.

De Resultaten

De paper testte dit systeem op drie grote videodatabases (QVHighlights, Charades-STA, en ActivityNet-Captions).

Prestaties: SMORE versloeg de huidige beste modellen (zoals Chrono en LLaVA-MR) in het vinden van de juiste videomomenten.
Efficiëntie: Het deed dit terwijl het minder geheugen gebruikte. Terwijl andere topmodellen een enorme, dure computerchip (80GB geheugen) nodig hadden om te draaien, kon SMORE betere resultaten behalen op een kleinere, meer gangbare chip (48GB geheugen).

In een Notendop:
SMORE is als een detective die niet zomaar blindelings een heel dossier doorleest. In plaats daarvan leest de detective de specifieize clue die je geeft, markeert de relevante pagina's, draait het lawaai zachter en vat de saaie delen samen, zodat hij het mysterie sneller en met minder papier kan oplossen.

Technische Samenvatting: SMORE (See MORE, store less)

Probleemstelling

Video Moment Retrieval (VMR) vereist het identificeren van specifieke temporele segmenten binnen een video die semantisch overeenkomen met een natuurlijke taalzoekopdracht. Hoewel Multimodale Large Language Models (MLLM's) de video-begrip hebben geavanceerd, blijft VMR uitdagend vanwege de geheugenbeperkingen die gepaard gaan met het verwerken van dicht gesamplede videoframes over langere perioden.

Bestaande methodologieën kampen met een afruil tussen informatieresolutie en geheugenefficiëntie:

Sparse Sampling (IJle bemonstering): Traditionele benaderingen vertrouwen vaak op het selecteren van een beperkt aantal sleutelframes om binnen de geheugenbudgetten te passen. Dit brengt het risico met zich mee dat kritieke, vluchtige visuele aanwijzingen worden gemist, wat leidt tot informatieverlies, vooral in langdurige video's.
Dense Processing met Generieke Captions (Dichte verwerking met generieke beschrijvingen): Alternatieve strategieën proberen de visuele inhoud samen te vatten in tekstuele captions om de geheugenbelasting te verminderen. Conventionele zero-shot captioning genereert echter generieke beschrijvingen die een gebrek hebben aan afstemming met specifieke gebruikersintenties, wat resulteert in suboptimale retrieval-prestaties.
Geheugenbottlenecks: Recente MLLM-gebaseerde VMR-systemen (bijv. Chrono, LLaVA-MR) verbeteren het temporele bewustzijn, maar vereisen vaak aanzienlijk GPU-geheugen (bijv. 80GB A100), wat hun toegankelijkheid en schaalbaarheid beperkt.

Methodologie: SMORE Framework

De auteurs stellen SMORE (See MORE, store less) voor, een framework ontworpen om de geheugenefficiëntie te verbeteren terwijl de hoge informatieresolutie behouden blijft. SMORE werkt binnen een geïnterleaved token-architectuur waarbij videoframes worden gecombineerd met tijdstempels en worden verrijkt met zoekopdracht-gestuurde tekstuele captions. Het framework bestaat uit drie kerncomponenten:

1. Query-Guided Caption Generation (Zoekopdracht-gestuurde caption-generatie)

Om de mismatch tussen generieke captions en gebruikerszoekopdrachten aan te pakken, introduceert SMORE een tweetraps captioning-proces:

Query Parsing (Zoekopdracht-analyse): De invoerzoekopdracht wordt geparsed om specifieke objecten en acties te extraheren.
QA-Based Relevance Check (QA-gebaseerde relevantiecontrole): Een Question-Answering (QA) module evalueert of specifieke objecten of acties aanwezig zijn in een gegeven videoscène.
Dual-Path Captioning (Dubbel pad voor captioning):
- Relevante Scènes: Als een scène elementen bevat die relevant zijn voor de zoekopdracht, wordt een "query-aware prompt" gebruikt om een caption te genereren die specifiek is afgestemd op de intentie van de gebruiker (bijv. focussen op "koken" en "facetime" als die in de zoekopdracht staan).
- Irrelevante Scènes: Scènes die de relevantiecontrole niet doorstaan, ontvangen standaard, generieke captions.
  Dit zorgt ervoor dat het model een dichte semantische dekking krijgt zonder dat er afleidende of misleidende tekst wordt gegenereerd voor irrelevante segmenten.

2. Query-Aware Importance Modulation (Zoekopdracht-bewuste belangsmodulatie)

Niet alle gegenereerde captions dragen evenveel bij aan de retrieval-taak. SMORE hanteert een weegmechanisme om informatieve inhoud te prioriteren:

Een gelijkenissscore $S_q(f_i, c_i)$ wordt berekend voor elk frame-caption paar op basis van de cosinus-gelijkenis tussen het frame en de zoekopdracht, en de zoekopdracht en de caption (waarbij de frame-caption gelijkenis wordt meegenomen).
Caption-embeddings worden door deze score opnieuw gewogen voordat ze de self-attention laag van de LLM ingaan. Dit stelt het model in staat om te focussen op segmenten met een hoge semantische relevantie voor de zoekopdracht en achtergrond- of redundante informatie te down-weighten.

3. Structured Visual Compression (Gestructureerde visuele compressie)

Om ruimtelijke redundantie te verminderen zonder de temporele getrouwheid te verliezen, maakt SMORE gebruik van een lage-overhead compressiestrategie gebaseerd op Singular Value Decomposition (SVD):

Redundantie Detectie: Achtereenvolgende frame-embeddings worden vergeleken met een huidige ankerframe middels cosinus-gelijkenis.
SVD Compressie: Als de gelijkenis een drempelwaarde $\theta$ overschrijdt, worden de frames gestapeld en gecomprimeerd met behulp van truncated SVD (Rank-1 benadering). De resulterende gemiddelde rij dient als een compacte embedding die de dominante ruimtelijke kenmerken behoudt terwijl lagere-orde redundanties worden weggegooid.
Anchor Update: Als de gelijkenis laag is, wordt het huidige frame behouden als het nieuwe anker.
Deze aanpak bewaart essentiële visuele dynamiek en de temporele volgorde beter dan eenvoudige frame-selectie of average pooling.

Belangrijkste Bijdragen

Geheugenefficiënt VMR-Framework: SMORE bereikt state-of-the-art prestaties op standaard benchmarks terwijl het opereert binnen beperkte geheugenomgevingen (48GB A6000), in tegenstelling tot methoden die 80GB A100 GPU's vereisen.
Query-Guided Semantic Abstraction: De introductie van query-gestuurde captioning en belangsmodulatie overbrugt de kloof tussen dichte visuele dekking en specifieke gebruikersintentie, wat de retrieval-precisie verbetert zonder het aantal visuele tokens te verhogen.
Structured Visual Compression: De voorgestelde SVD-gebaseerde compressiemethode vermindert het geheugengebruik effectief door redundante frames te elimineren terwijl cruciale visuele bewijslast behouden blijft, waarmee het eenvoudige frame-selectie en average pooling overtreft.

Experimentele Resultaten

De auteurs hebben SMORE geëvalueerd op drie representatieve datasets: QVHighlights, Charades-STA en ActivityNet-Captions.

QVHighlights: SMORE bereikte een nieuwe state-of-the-art (SOTA) prestatie. Het verbeterde ten opzichte van het high-precision model SG-DETR met 4,19% in R1@0.5 en 6,24% in R1@0.7, terwijl het ook een hogere gemiddelde Average Precision (mAP) behield (+0,62%). Het overtrof ook het high-recall model LLaVA-MR in zowel recall als mAP-metrieken.
Charades-STA: SMORE vestigde een nieuwe SOTA en presteerde beter dan LLaVA-MR met 1,12% in mIoU en 0,61% in R1@0.5.
ActivityNet-Captions: Het model behaalde winsten van 1,15% in R1@0.5 en 0,66% in R1@0.7 ten opzichte van de vorige SOTA.
Ablatie-studies: Progressieve ablatie bevestigde dat elk component (zero-shot captioning, query-gestuurde captioning, belangsmodulatie en SVC) synergetisch bijdraagt aan de uiteindelijke prestaties, waarbij het volledige model een totale verbetering van +2,86% in mAP Average laat zien ten opzichte van de baseline.
Geheugenefficiëntie: Experimenten toonden aan dat SMORE consistent beter presteert dan frame-only baselines over diverse geheugenbudgetten (30GB tot 45GB), wat zijn vermogen bewijst om te schalen naar langere video's met rijkere multimodale informatie onder strikte beperkingen.

Betekenis en Claims

Het artikel claimt dat SMORE aantoont dat hoge retrieval-accuratesse en geheugenefficiëntie niet wederzijds uitsluitend zijn. Door gebruik te maken van query-gestuurde semantische abstractie en gestructureerde visuele compressie, maakt het framework de inzet van krachtige video-taalmodellen op meer toegankelijke hardware (bijv. 48GB GPU's) mogelijk zonder de fijnmazige temporele verstandhouding in gevaar te brengen.

De auteurs positioneren SMORE als een oplossing voor de fundamentele afruil in VMR tussen de noodzaak voor dichte temporele redenering en de beperkingen van de huidige geheugenbronnen. Ze merken op dat hoewel het framework een lichte inferentie-latentie introduceert door zijn modulaire pijplijn, het een flexibele architectuur biedt die kan opereren in Storage-Efficient (on-demand captioning) of Latency-Efficient (pre-computed captions) modi, waardoor het aanpasbaar is voor diverse real-world implementaties.

Het artikel concludeert door beperkingen te erkennen, zoals prestatievermindering bij zeer ambigue zoekopdrachten of video's, en suggereert dat toekomstig werk decoder-only modellen zou kunnen verkennen om de generaliseerbaarheid van het framework uit te breiden.