Resumo Técnico: Denoise-then-Retrieve: Text-Conditioned Video Denoising for Video Moment Retrieval

Declaração do Problema

A Recuperação de Momentos de Vídeo (VMR) orientada por texto visa localizar segmentos temporais específicos dentro de vídeos não editados que correspondam semanticamente a uma consulta de texto livre. Embora as arquiteturas baseadas em Transformer tenham se tornado prevalentes devido às suas fortes capacidades de interação de características, os métodos existentes sofrem de uma limitação crítica: eles tratam todos os clipes de vídeo de forma igual durante a codificação multimodal.

Em vídeos não editados do mundo real, clipes relevantes ao texto (incluindo o ground truth e frames não-alvo desafiadores) costumam ocupar uma pequena fração da duração total, enquanto clipes irrelevantes ao texto ("ruídos") dominam. Por exemplo, a análise do dataset QVHighlights revela que os clipes de ground truth tipicamente ocupam menos de 30% de um vídeo, enquanto os clipes ruidosos representam mais de 60%. As abordagens atuais, que processam todos os clipes indiscriminadamente, introduzem ruído semântico nas representações multimodais, interrompendo o alinhamento e dificultando a otimização. Os métodos tradicionais de dois estágios tentam mitigar isso gerando inúmeras propostas, mas isso reduz a eficiência e complica o processo de correspondência.

Metodologia: O Paradigma Denoise-then-Retrieve

Para abordar a questão do ruído semântico, os autores propõem um paradigma Denoise-then-Retrieve (Denoisar-então-Recuperar). Em vez de processar todos os clipes, o método filtra explicitamente os clipes irrelevantes ao texto para estreitar o intervalo de recuperação e purificar as representações multimodais. Isso é implementado via Denoise-then-Retrieve Network (DRNet), que consiste em três componentes principais:

1. Módulo Text-Conditioned Denoising (TCD)

O módulo TCD identifica dinamicamente clipes ruidosos e gera uma máscara de ruído para purificar as representações de vídeo. Ele opera através das seguintes etapas:

• Cross-Attention: Embeddings de texto são usados como chaves (keys) e valores (values) para consultar as representações de vídeo, criando características de vídeo conscientes do texto.
• Context Interaction Operator (CIO): Baseado em Modelos de Espaço de Estado Estruturado (especificamente Mamba), o CIO propaga o contexto em ambas as direções temporais, direta e reversa. Ele integra características de vídeo conscientes do texto com características de texto e tokens globais aprendíveis para capturar o contexto intra-modal, cross-modal e global.
• Dynamic Denoising: As características de texto são agrupadas (pooled) e passadas através de uma camada totalmente conectada para gerar kernels de convolução dinâmica. Esses kernels realizam convoluções ponto a ponto nas características visuais para produzir pontuações de alinhamento entre texto e clipe.
• Masking (Mascaramento): Um limiar (threshold) é aplicado a essas pontuações para gerar uma máscara de ruído binária. Clipes com baixas pontuações de alinhamento são mascarados, resultando em representações visuais "purificadas".

2. Módulo Text-Reconstruction Feedback (TRF)

Para fornecer supervisão auxiliar para o processo de denoising durante o treinamento, o módulo TRF garante que as representações de vídeo purificadas mantenham a essência semântica do texto de entrada.

• Um embedding de consulta aprendível interage com as características de vídeo purificadas (via CIOs) para regenerar um embedding de consulta ao nível de sentença.
• Este embedding regenerado é alinhado com o embedding de texto original usando uma perda de consistência semântica (similaridade de cosseno).
• Minimizar esta perda força o módulo TCD a reter apenas as características visuais que são semanticamente consistentes com o texto, melhorando assim a qualidade do denoising.

3. Decoder (Decodificador)

O decodificador realiza a interação multimodal nas características de vídeo (com máscara de ruído) e de texto purificadas para recuperar o momento alvo. Ele utiliza:

• Global Retrieval (Recuperação Global): Regressão da coordenada temporal central e do intervalo (span) usando características globais.
• Boundary Prediction (Predição de Fronteira): Predição de offsets à esquerda e à direita para cada clipe usando camadas convolucionais.
• Foreground Classification (Classificação de Primeiro Plano): Classificação de clipes como primeiro plano (relevante) ou fundo (background) usando kernels de convolução condicionados ao texto.
• Contrastive Learning (Aprendizado Contrastivo): Incorporação de aprendizado contrastivo intra-vídeo e inter-vídeo para refinar ainda mais o alinhamento de características.

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Arquitetura DRNet: A proposta de uma nova rede que integra Text-Conditioned Denoising (TCD) e Text-Reconstruction Feedback (TRF) para extrair representações visuais purificadas, alcançando desempenho estado da arte.
2. Abordagem de Text-Conditioned Denoising: Um método que integra cross-attention e blocos de espaço de estado estruturado (Mamba) para fusão multimodal de múltiplos níveis, utilizando kernels dinâmicos para identificação precisa de ruído.
3. Mecanismo de Text-Reconstruction Feedback: Uma estratégia de supervisão auxiliar que alinha consultas regeneradas a partir de características purificadas com o texto de entrada, aprimorando o processo de denoising.
4. Generalização do Paradigma: Demonstração de que o paradigma "denoise-then-retrieve" pode ser integrado perfeitamente em modelos avançados de VMR existentes (ex: UniVTG, VMS) para aumentar o desempenho sem modificações arquiteturais.

Resultados Experimentais

Experimentos extensivos foram conduzidos em dois benchmarks: Charades-STA e QVHighlights.

• QVHighlights: O DRNet superou todos os métodos estado da arte (incluindo MomentDiff, MESM, UVCOM e TR-DETR) em todas as métricas. Notavelmente, superou o competidor mais próximo (MESM) em 4,36% na métrica mAP@0.7.
• Charades-STA: O modelo alcançou desempenho de alto nível usando tanto backbones VGG quanto SlowFast+CLIP. Superou o competidor mais próximo (MESM) em 4,36% no mAP@0.7 com o backbone VGG.
• Estudos de Ablação:
  • A remoção do módulo TCD resultou em uma queda significativa de desempenho médio de 11,71%, confirmando o papel crítico da filtragem de ruído.
  • Substituir os CIOs baseados em Mamba por encoders Transformer padrão levou a uma queda de desempenho de 5,1%, atribuída à capacidade superior do Mamba de propagar informações seletivas em comparação com a auto-atenção global.
  • O módulo TRF mostrou-se essencial para fornecer supervisão auxiliar ao processo de denoising.
• Generalização: Ao ser aplicado a modelos existentes como UniVTG e VMS, o paradigma de denoising gerou melhorias consistentes (ex: o UniVTG teve um aumento de 2,72% no mAP@Avg), validando a adaptabilidade da abordagem.

Significância e Alegações

O artigo afirma que o principal gargalo nos métodos atuais de VMR é a inclusão de clipes ruidosos semanticamente irrelevantes, o que interrompe o alinhamento multimodal. Ao filtrar explicitamente esses clipes antes da recuperação, o paradigma proposto Denoise-then-Retrieve melhora significativamente a qualidade das representações multimodais.

Os autores asseguram que sua abordagem não apenas estabelece novos patamares de estado da arte, mas também oferece uma estratégia generalizável. A capacidade de integrar este paradigma em modelos existentes sem uma reformulação arquitetural sugere um caminho prático para melhorar uma ampla gama de tarefas de compreensão de vídeo. Os resultados demonstram que focar em contextos "purificados", em vez de processar todos os dados disponíveis, leva a uma recuperação de momentos de vídeo mais precisa e eficiente.