Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval

Titel: Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval

Auteurs: Jun Li et al. (HIT Shenzhen, Tsinghua, Peng Cheng Laboratory)
Doel: Het verbeteren van het zoeken naar ongesneden video's op basis van tekstuele queries die slechts een deel van de video beschrijven.

---

1. Het Probleem: Partially Relevant Video Retrieval (PRVR)

Traditionele tekst-naar-video zoekopdrachten (T2VR) gaan ervan uit dat de video volledig relevant is voor de query. In de echte wereld zijn video's echter vaak ongesneden (untrimmed) en beschrijven gebruikers slechts een specifiek moment of gebeurtenis binnen die video. Dit noemt men Partially Relevant Video Retrieval (PRVR).

De belangrijkste uitdagingen in PRVR zijn:

• Query-Ambiguïteit: Een algemene query kan per ongeluk overeenkomen met lokale fragmenten in andere, globaal irrelevante video's. Dit leidt tot "spurious responses" (vals positieve pieken in activatie) en zoekfouten.
• Incomplete Globale Context: Bestaande methoden missen vaak een expliciete modellering van de globale context van de video. Ze vertrouwen te veel op lokale clip-matching.
• Beperkingen van Multiple Instance Learning (MIL): Veel PRVR-methoden gebruiken MIL, waarbij alleen het best passende clip wordt beloond. Hierdoor blijven andere clips ondergetraind en ontbreekt het aan voldoende context om ambiguïteit op te lossen.

2. Methodologie: DreamPRVR

De auteurs stellen DreamPRVR voor, een raamwerk dat een "coarse-to-fine" (grof-naar-fijn) leerparadigma hanteert. De kernidee is: "Imagineren voordat je concentreert". Het model genereert eerst globale semantische registers (een soort "globale samenvatting") en gebruikt deze vervolgens om de fijne details te verfijnen.

Het proces bestaat uit vier hoofdkomponenten:

A. Textuele Semantische Structuur Learning

Om betrouwbare globale registers te genereren, is een goed gestructureerde tekstuele ruimte nodig.

• Query Similarity Preservation (QSP) Loss: Bestaande methoden gebruiken vaak alleen een "diversity loss" om queries uit elkaar te duwen. DreamPRVR introduceert QSP, die queries van dezelfde video als complementaire positieve voorbeelden behandelt. Dit zorgt voor compactheid binnen een video en scheiding tussen video's.
• Textual Perturbation Sampler (TPS): Om de inherent onzekere aard van tekstuele queries te modelleren, wordt ruis toegevoegd aan de gemiddelde query-embeddings. Dit creëert een gestructureerde latente ruimte die dient als supervisie voor de generatie van registers.

B. Register Generatie via Truncated Diffusion

In plaats van directe pooling van video-features (wat ruis bevat), gebruikt het model een diffusiemodel om de registers te "imagineren".

• Probabilistic Variational Sampler (PVS): In plaats van te starten met willekeurige ruis, initialiseert het model de registers vanuit een "video-centric distribution". Dit betekent dat het model een leerbaar kansverdelingsspace leert die gebaseerd is op de video-inhoud zelf, wat een semantisch onderbouwde startpunt biedt.
• Diffusion Register Estimator (DRE): Een lichtgewicht diffusiemodel (truncated diffusion) dat iteratief ruis verwijdert uit de geinitialiseerde registers. Het doel is om de registers te laten convergeren naar de "schone" globale semantiek die wordt gesuperviseerd door de tekstuele features (via TPS). Dit proces vindt plaats over een beperkt aantal tijdstappen (bijv. T=10), wat het efficiënt maakt.

C. Register-Augmented Video Representatie

Zodra de optimale globale registers ($r_0$) zijn gegenereerd, worden ze geïntegreerd in de video-encodering.

• Register-augmented Gaussian Attention Blocks (RAB): De video-tokens en de gegenereerde registers worden samengevoegd. Een aangepaste Gaussian Attention mechanisme met asymmetrische maskers zorgt ervoor dat:
  • Video-tokens kunnen kijken naar zowel andere video-tokens als de globale registers (contextbewust).
  • Registers alleen kijken naar video-tokens (ze fungeren als globale gidsen).
• Dit helpt lokale ruis te onderdrukken en zorgt voor een coherentere embedding-ruimte.

D. Optimisatie

Het totale verlies ($L_{total}$) combineert:

1. $L_{sim}$: Standaard zoekverlies (triplet & InfoNCE) voor cross-modale matching.
2. $L_{tssl}$: Loss voor de textuele structuur (QSP + Diversity).
3. $L_{pvs}$: Loss om de PVS-verdeling te regulariseren.
4. $L_{dre}$: Loss voor het diffusieproces (denoising).

3. Belangrijkste Bijdragen

1. DreamPRVR Framework: Een nieuw raamwerk dat "contextuele imaginatie" (generatie van globale registers) koppelt aan fijne-granulariteitsleer, waardoor een hiërarchische en progressieve cross-modale uitlijning wordt bereikt.
2. Diffusion-Guided Registers: Het is de eerste PRVR-methode die diffusiemodellen gebruikt om betrouwbare, holistische globale registers te genereren, geïnitieerd vanuit een video-centric verdeling in plaats van willekeurige ruis.
3. Textuele Semantische Structuur: De introductie van QSP en TPS om een goed gestructureerde latente ruimte te creëren die de generatie van registers effectief superviseert.
4. Efficiëntie: Ondanks het gebruik van een generatief model (diffusie), is het framework lichtgewicht en efficiënt, omdat het slechts een paar registers en tijdstappen vereist.

4. Resultaten

Het model is getest op drie standaard benchmarks: ActivityNet Captions, Charades-STA en TVR.

• Prestaties: DreamPRVR presteert state-of-the-art (SOTA) op alle drie de datasets.
  • Op TVR bereikte het een SumR (som van recalls) van 193.1, wat een duidelijke verbetering is ten opzichte van de vorige beste methoden (bijv. GMMFormerV2 met 189.1).
  • Op ActivityNet Captions en Charades-STA werden eveneens de hoogste scores behaald.
• Efficiëntie: Hoewel het een diffusieproces bevat, is de inferentietijd vergelijkbaar met bestaande SOTA-modellen (zoals HLFormer). De extra kosten voor het genereren van registers zijn verwaarloosbaar omdat video-features vooraf worden berekend.
• Ablatie Studies:
  • Het verwijderen van registers leidt tot een significante daling in prestaties.
  • Het vervangen van de diffusiegeneratie door simpele pooling (AP) werkt slechter, wat aantoont dat iteratieve verfijning noodzakelijk is.
  • Het starten met willekeurige ruis (zonder PVS) werkt slechter dan video-centric initialisatie.
  • Visualisaties tonen aan dat de registers tijdens het diffusieproces "schoner" worden en duidelijke grenzen tussen video's vormen.

5. Betekenis en Conclusie

DreamPRVR biedt een nieuwe kijk op PRVR door een unificatie van generatieve en discriminatieve paradigma's te introduceren. In plaats van alleen te focussen op het matchen van lokale fragmenten, "imagineren" de modellen eerst een betrouwbare globale context. Dit lost het probleem van query-ambiguïteit op door lokale ruis te onderdrukken en de focus te leggen op de totale relevantie van de video.

De studie toont aan dat het gebruik van diffusiemodellen niet alleen beperkt is tot generatie van content, maar ook zeer effectief kan zijn voor het verbeteren van representatieleer en zoekopdrachten in complexe, ongesneden videodata. De code is open-source beschikbaar gemaakt.