Denoise-then-Retrieve: Text-Conditioned Video Denoising for Video Moment Retrieval

Sintesi Tecnica: Denoise-then-Retrieve: Video Denoising Condizionato dal Testo per il Video Moment Retrieval

Definizione del Problema

Il Video Moment Retrieval (VMR) guidato dal testo mira a localizzare segmenti temporali specifici all'interno di video non ritagliati (untrimmed) che corrispondano semanticamente a una query testuale a forma libera. Sebbene le architetture basate su Transformer siano diventate prevalenti per le loro forti capacità di interazione tra feature, i metodi esistenti soffrono di un limite critico: trattano tutti i clip video allo stesso modo durante la codifica multimodale.

Nei video non ritagliati del mondo reale, i clip rilevanti per il testo (inclusi quelli di ground truth e i frame non target impegnativi) occupano spesso solo una piccola frazione della durata totale, mentre i clip "rumorosi" non rilevanti per il testo dominano la scena. Ad esempio, l'analisi del dataset QVHighlights rivela che i clip di ground truth occupano tipicamente meno del 30% di un video, mentre i clip rumorosi ne rappresentano oltre il 60%. Gli approcci attuali, che elaborano tutti i clip indiscriminatamente, introducono rumore semantico nelle rappresentazioni multimodali, interrompendo l'allineamento e ostacolando l'ottimizzazione. I metodi tradizionali in due fasi tentano di mitigare questo problema generando numerosi proposal, ma ciò riduce l'efficienza e complica il processo di matching.

Metodologia: Il Paradigma Denoise-then-Retrieve

Per affrontare il problema del rumore semantico, gli autori propongono un paradigma Denoise-then-Retrieve. Invece di elaborare tutti i clip, il metodo filtra esplicitamente i clip non rilevanti per il testo per restringere l'intervallo di retrieval e purificare le rappresentazioni multimodali. Ciò è implementato tramite la Denoise-then-Retrieve Network (DRNet), che consiste in tre componenti principali:

1. Modulo di Text-Conditioned Denoising (TCD)

Il modulo TCD identifica dinamicamente i clip rumorosi e genera una maschera di rumore per purificare le rappresentazioni video. Opera attraverso i seguenti passaggi:

• Cross-Attention: Gli embedding del testo vengono utilizzati come chiavi (keys) e valori (values) per interrogare le rappresentazioni video, creando feature video consapevoli del testo.
• Context Interaction Operator (CIO): Basandosi sui Modelli di Stato Strutturato (specificamente Mamba), il CIO propaga il contesto in entrambe le direzioni temporali, forward e backward. Integra le feature video consapevole del testo con le feature del testo e token globali apprendibili per catturare il contesto intra-modale, cross-modale e globale.
• Denoising Dinamico: Le feature del testo vengono aggregate (pooled) e passate attraverso uno strato completamente connesso per generare kernel di convoluzione dinamici. Questi kernel eseguono convoluzioni point-wise sulle feature visive per produrre punteggi di allineamento testo-clip.
• Mascheramento (Masking): Viene applicata una soglia a questi punteggi per generare una maschera di rumore binaria. I clip con bassi punteggi di allineamento vengono mascherati, producendo rappresentazioni visive "purificate".

2. Modulo di Text-Reconstruction Feedback (TRF)

Per fornire una supervisione ausiliaria al processo di denoising durante l'addestramento, il modulo TRF assicura che le rappresentazioni video purificate mantengano l'essenza semantica del testo di input.

• Un embedding di query apprendibile interagisce con le feature video purificate (tramite i CIO) per rigenerare un embedding di query a livello di frase.
• Questo embedding rigenerato viene allineato con l'embedding del testo originale utilizzando una perdita di coerenza semantica (similarità del coseno).
• Minimizzare questa perdita costringe il modulo TCD a conservare solo le feature visive che sono semanticamente coerenti con il testo, migliorando così la qualità del denoising.

3. Decoder

Il decoder esegue l'interazione multimodale sulle feature video (mascherate dal rumore) e del testo purificato per recuperare il momento target. Utilizza:

• Global Retrieval: Regredisce la coordinata temporale centrale e l'intervallo (span) utilizzando le feature globali.
• Predizione dei Confini (Boundary Prediction): Predice gli offset sinistro e destro per ogni clip utilizzando strati convoluzionali.
• Classificazione del Foreground: Classifica i clip come foreground (rilevanti) o background utilizzando kernel di convoluzione condizionati dal testo.
• Apprendimento Contrastivo: Incorpora l'apprendimento contrastivo intra-video e inter-video per raffinare ulteriormente l'allineamento delle feature.

Contributi Principali

Il documento delinea quattro contributi primari:

1. Architettura DRNet: La proposta di una nuova rete che integra il Text-Conditioned Denoising (TCD) e il Text-Reconstruction Feedback (TRF) per estrarre rappresentazioni visive purificate, raggiungendo prestazioni state-of-the-art.
2. Approccio di Text-Conditioned Denoising: Un metodo che integra cross-attention e blocchi di stato strutturato (Mamba) per la fusione multimodale a più livelli, utilizzando kernel dinamici per un'accurata identificazione del rumore.
3. Meccanismo di Text-Reconstruction Feedback: Una strategia di supervisione ausiliaria che allinea le query rigenerate dalle feature purificate con il testo di input, migliorando il processo di denoising.
4. Generalizzazione del Paradigma: Dimostrazione che il paradigma "denoise-then-retrieve" può essere integrato senza problemi in modelli VMR avanzati esistenti (es. UniVTG, VMS) per potenziare le prestazioni senza modifiche all'architettura.

Risultati Sperimentali

Sono stati condotti esperimenti estesi su due benchmark: Charades-STA e QVHighlights.

• QVHighlights: DRNet ha superato tutti i metodi state-of-the-art (inclusi MomentDiff, MESM, UVCOM e TR-DETR) in tutte le metriche. In particolare, ha superato il concorrente più vicino (MESM) del 4,36% sulla metrica mAP@0.7.
• Charades-STA: Il modello ha raggiunto prestazioni di alto livello utilizzando sia le backbone VGG che SlowFast+CLIP. Ha superato il concorrente più vicino (MESM) del 4,36% su mAP@0.7 con la backbone VGG.
• Studi di Ablazione:
  • Rimuovendo il modulo TCD, si è verificato un calo significativo delle prestazioni medie dell'11,71%, confermando il ruolo critico del filtraggio del rumore.
  • Sostituendo i CIO basati su Mamba con encoder Transformer standard, si è verificato un calo delle prestazioni del 5,1%, attribuito alla superiore capacità di Mamba di propagare informazioni selettive rispetto alla self-attention globale.
  • È stato dimostrato che il modulo TRF è essenziale per fornire supervisione ausiliaria al processo di denoising.
• Generalizzazione: Quando applicato a modelli esistenti come UniVTG e VMS, il paradigma di denoising ha prodotto miglioramenti costanti (ad esempio, UniVTG ha registrato un aumento del 2,72% in mAP@Avg), validando l'adattabilità dell'approccio.

Significato e Rivendicazioni

Il documento afferma che il collo di bottiglia principale nei metodi VMR attuali è l'inclusione di clip rumorosi semanticamente irrilevanti, che interrompono l'allineamento multimodale. Filtrando esplicitamente questi clip prima del retrieval, il paradigma proposto Denoise-then-Retrieve migliora significativamente la qualità delle rappresentazioni multimodali.

Gli autori sostengono che il loro approccio non solo stabilisce nuovi record (state-of-the-art) nei benchmark, ma offre anche una strategia generalizzabile. La capacità di integrare questo paradigma in modelli esistenti senza una revisione dell'architettura suggerisce una via pratica per migliorare una vasta gamma di compiti di comprensione video. I risultati dimostrano che concentrarsi su contesti "purificati" piuttosto che elaborare tutti i dati disponibili porta a un video moment retrieval più accurato ed efficiente.