Resumen Técnico: Denoise-then-Retrieve: Desruido de Video Condicionado por Texto para la Recuperación de Momentos en Video

Declaración del Problema

La recuperación de momentos en video (VMR) impulsada por texto tiene como objetivo localizar segmentos temporales específicos dentro de videos no recortados que coincidan semánticamente con una consulta de texto de forma libre. Aunque las arquitecturas basadas en Transformers se han vuelto predominantes debido a sus fuertes capacidades de interacción de características, los métodos existentes sufren una limitación crítica: tratan todos los clips de video de manera igual durante la codificación multimodal.

En videos no recortados del mundo real, los clips relevantes para el texto (incluyendo el de verdad fundamental o ground truth y los clips no objetivo desafiantes) suelen ocupar una pequeña fracción de la duración total, mientras que los clips irrelevantes para el texto ("ruidosos") predominan. Por ejemplo, el análisis del conjunto de datos QVHighlights revela que los clips de verdad fundamental suelen ocupar menos del 30% de un video, mientras que los clips ruidosos representan más del 60%. Los enfoques actuales que procesan todos los clips indiscriminadamente introducen ruido semántico en las representaciones multimodales, interrumpiendo la alineación y dificultando la optimización. Los métodos tradicionales de dos etapas intentan mitigar esto generando numerosas propuestas, pero esto reduce la eficiencia y complica el proceso de emparejamiento.

Metodología: El Paradigma Denoise-then-Retrieve

Para abordar el problema del ruido semántico, los autores proponen un paradigma de Denoise-then-Retrieve (Desruido-luego-Recuperación). En lugar de procesar todos los clips, el método filtra explícitamente los clips irrelevantes para el texto para estrechar el rango de recuperación y purificar las representaciones multimodales. Esto se implementa mediante la Red Denoise-then-Retrieve (DRNet), que consta de tres componentes principales:

1. Módulo de Desruido Condicionado por Texto (TCD)

El módulo TCD identifica dinámicamente los clips ruidosos y genera una máscara de ruido para purificar las representaciones del video. Opera a través de los siguientes pasos:

• Atención Cruzada (Cross-Attention): Las incrustaciones (embeddings) de texto se utilizan como llaves (keys) y valores (values) para consultar las representaciones de video, creando características de video conscientes del texto.
• Operador de Interacción de Contexto (CIO): Basado en Modelos de Espacio de Estado Estructurado (específicamente Mamba), el CIO propaga el contexto en ambas direcciones temporales, hacia adelante y hacia atrás. Integra las características de video conscientes del texto con las características de texto y tokens globales aprendibles para capturar el contexto intra-modal, cross-modal y global.
• Desruido Dinámico: Las características de texto se agrupan (pooling) y se pasan a través de una capa totalmente conectada para generar núcleos de convolución dinámica. Estos núcleos realizan convoluciones punto a punto sobre las características visuales para producir puntuaciones de alineación entre el texto y el clip.
• Enmascaramiento (Masking): Se aplica un umbral a estas puntuaciones para generar una máscara de ruido binaria. Los clips con puntuaciones de alineación bajas son enmascarados, lo que resulta en representaciones visuales "purificadas".

2. Módulo de Retroalimentación de Reconstrucción de Texto (TRF)

Para proporcionar supervisión auxiliar al proceso de desruido durante el entrenamiento, el módulo TRF asegura que las representaciones de video purificadas retengan la esencia semántica del texto de entrada.

• Una incrustación de consulta aprendible interactúa con las características de video purificadas (mediante CIOs) para regenerar una incrustación de consulta a nivel de oración.
• Esta incrustación regenerada se alinea con la incrustación de texto original utilizando una pérdida de consistencia semántica (similitud de coseno).
• Minimizar esta pérdida obliga al módulo TCD a retener solo las características visuales que son semánticamente consistentes con el texto, mejorando así la calidad del desruido.

3. Decodificador

El decodificador realiza la interacción multimodal en las características de video (con máscara de ruido) y de texto purificadas para recuperar el momento objetivo. Utiliza:

• Recuperación Global: Regresión de la coordenada temporal central y la extensión (span) utilizando características globales.
• Predicción de Fronteras: Predicción de desplazamientos (offsets) izquierdos y derechos para cada clip utilizando capas convolucionales.
• Clasificación de Primer Plano (Foreground): Clasificación de clips como primer plano (relevante) o fondo utilizando núcleos de convolución condicionados por texto.
• Aprendizaje Contrastivo: Incorporación de aprendizaje contrastivo intra-video e inter-video para refinar aún más la alineación de características.

Principales Contribuciones

El artículo detalla cuatro contribuciones primordiales:

1. Arquitectura DRNet: La propuesta de una nueva red que integra el Desruido Condicionado por Texto (TCD) y la Retroalimentación de Reconstrucción de Texto (TRF) para extraer representaciones visuales purificadas, logrando un rendimiento de vanguardia (state-of-the-art).
2. Enfoque de Desruido Condicionado por Texto: Un método que integra la atención cruzada y bloques de espacio de estado estructurado (Mamba) para la fusión multimodal de múltiples niveles, utilizando núcleos dinámicos para una identificación precisa del ruido.
3. Mecanismo de Retroalimentación de Reconstrucción de Texto: Una estrategia de supervisión auxiliar que alinea las consultas regeneradas a partir de las características purificadas con el texto de entrada, mejorando el proceso de desruido.
4. Generalización del Paradigma: Demostración de que el paradigma "denoise-then-retrieve" puede integrarse sin problemas en modelos avanzados de VMR existentes (por ejemplo, UniVTG, VMS) para potenciar el rendimiento sin modificaciones arquitectónicas.

Resultados Experimentales

Se realizaron experimentos extensos en dos bancos de pruebas: Charades-STA y QVHighlights.

• QVHighlights: DRNet superó a todos los métodos de vanguardia (incluyendo MomentDiff, MESM, UVCOM y TR-DETR) en todas las métricas. Notablemente, superó al competidor más cercano (MESM) por un 4.36% en la métrica mAP@0.7.
• Charades-STA: El modelo alcanzó un rendimiento de primer nivel utilizando tanto backbones VGG como SlowFast+CLIP. Superó al competidor más cercano (MESM) por un 4.36% en mAP@0.7 con el backbone VGG.
• Estudios de Ablación:
  • Eliminar el módulo TCD resultó en una caída significativa del rendimiento promedio de 11.71%, confirmando el papel crítico del filtrado de ruido.
  • Reemplazar los CIOs basados en Mamba con codificadores Transformer estándar provocó una caída del rendimiento del 5.1%, atribuida a la capacidad superior de Mamba para propagar información selectiva en comparación con la auto-atención global.
  • Se demostró que el módulo TRF es esencial para proporcionar supervisión auxiliar al proceso de desruido.
• Generalización: Al aplicarse a modelos existentes como UniVTG y VMS, el paradigma de desruido produjo mejoras consistentes (por ejemplo, UniVTG vio un incremento del 2.72% en mAP@Avg), validando la adaptabilidad del enfoque.

Significado y Afirmaciones

El artículo afirma que el principal cuello de botella en los métodos actuales de VMR es la inclusión de clips ruidosos semánticamente irrelevantes, lo que interrumpe la alineación multimodal. Al filtrar explícitamente estos clips antes de la recuperación, el paradigma propuesto Denoise-then-Retrieve mejora significativamente la calidad de las representaciones multimodales.

Los autores sostienen que su enfoque no solo establece nuevos estándares de vanguardia, sino que también ofrece una estrategia generalizable. La capacidad de integrar este paradigma en modelos existentes sin una reestructuración arquitectónica sugiere una vía práctica para mejorar una amplia gama de tareas de comprensión de video. Los resultados demuestran que centrarse en contextos "purificados" en lugar de procesar todos los datos disponibles conduce a una recuperación de momentos de video más precisa y eficiente.