Resumen Técnico: Modelos de Lenguaje y Visión con Difusión Enmascarada para la Localización Temporal de Acciones

Enunciado del Problema

La Localización Temporal de Acciones (TAL) requiere reconocer un evento objetivo y localizar con precisión sus tiempos de inicio y fin dentro de videos sin recortar. Aunque los Modelos de Lenguaje y Visión (VLM) recientes han mejorado el razonamiento semántico y las salidas condicionadas por el lenguaje, suelen depender de decodificadores autoregresivos (AR). Estos modelos AR generan tokens estrictamente de izquierda a derecha, creando una limitación estructural: una vez que se genera un token (como un límite de marca de tiempo), no puede ser revisado basándose en el contexto semántico futuro. Este "compromiso de izquierda a derecha" impide que el modelo refine conjuntamente los límites temporales y las descripciones semánticas, lo que conduce a una precisión subóptima, especialmente bajo criterios estrictos de Intersección sobre Unión temporal (tIoU).

Los enfoques existentes tratan la TAL como una tarea de clasificación/regresión de propuestas visuales (careciendo de priores lingüísticos) o utilizan VLM basados en AR (careciendo de refinamiento bidireccional). Existe la necesidad de un marco que permita que toda la secuencia de respuesta, incluidos tanto el texto semántico como los límites temporales, permanezca editable durante todo el proceso de generación.

Metodología: MDVLM-TAL

Los autores proponen MDVLM-TAL, un marco que adapta los Modelos de Lenguaje y Visión con Difusión Enmascarada (MDVLMs) a la tarea de TAL. En lugar de la generación autoregresiva, el modelo comienza con una respuesta completamente enmascarada y desruido iterativamente los tokens utilizando atención bidireccional. Esto permite que los tokens semánticos y los tokens de tiempo de límite se refinen conjuntamente hasta el paso final.

Para abordar las discrepancias específicas entre la difusión enmascarada estándar y la tarea de TAL, los autores introducen tres componentes técnicos clave:

1. Descripción General de la Arquitectura

El sistema sigue un diseño estándar de Video-LLM:

• Codificadores: Un codificador de visión congelado (SigLIP) y un codificador de texto procesan el video de entrada y la consulta.
• Compresor: Un compresor de tokens entrenable reduce la dimensionalidad de los tokens visuales.
• Esqueleto (Backbone): Un modelo de lenguaje con difusión enmascarada (basado en LLaDA-8B) sirve como desruidor.
• Contexto: Los tokens de video, los tokens de texto y los tokens de límite especiales se concatenan en un contexto multimodal. El modelo predice la distribución de tokens limpios $p_\theta(x_0 | x_t, C, t)$ en cada paso de difusión $t$.

2. Objetivo de Entrenamiento Planificado

La difusión enmascarada estándar corrompe todas las posiciones uniformemente al azar. Sin embargo, los autores observan que en TAL, los tokens de límite (marcas de tiempo) solo se vuelven fiables después de recuperar suficiente contexto semántico. Para alinear el entrenamiento con este comportamiento de inferencia, proponen:

• Enmascaramiento Consciente de los Límites: Una política que mantiene los tokens de límite temporal enmascarados por más tiempo que los tokens semánticos durante el proceso de corrupción hacia adelante. Esto se logra definiendo probabilidades de retención específicas por tipo, donde los tokens de límite tienen una menor probabilidad de ser revelados en las etapas tempranas de los pasos de difusión.
• Reconstrucción Ponderada por Pasos: La pérdida de reconstrucción asigna un peso mayor a los pasos de menor ruido (más tarde en el proceso inverso) donde los detalles temporales finos son críticos, asegurando que el modelo ensaye el comportamiento de "revelación tardía" de los tokens de tiempo.

3. Recompensa de IoU a Nivel de Paso

La pérdida estándar de entropía cruzada penaliza los errores de identidad de tokens por igual, fallando en distinguir entre una predicción de $\langle t_{47} \rangle$ y $\langle t_0 \rangle$ cuando la verdad fundamental es $\langle t_{43} \rangle$. Para abordar esto, los autores introducen una señal de supervisión consciente de la superposición:

• Puntuación Suave de IoU: En cada paso de desruido, el modelo calcula una puntuación de superposición suave basada en las posiciones de inicio y fin esperadas derivadas de las distribuciones de tokens.
• Mecanismo de Puerta: La recompensa de IoU solo se activa una vez que ambos tokens de límite de inicio y fin han sido revelados, evitando una supervisión ruidosa por segmentos incompletos.
• Objetivo Unificado: La pérdida final combina la entropía cruzada estándar, la pérdida de entrenamiento planificada y la recompensa de IoU, lo que fomenta una mejora monótona de la superposición temporal durante la trayectoria de desruido inversa.

Contribuciones Clave

1. Formulación: El artículo formula la TAL como una tarea de generación de secuencias con difusión enmascarada, permitiendo el refinamiento bidireccional de tokens semánticos y de límites en lugar de una decodificación fija de izquierda a derecha.
2. Objetivo de Entrenamiento Planificado: Una estrategia de entrenamiento novedosa que utiliza enmascaramiento consciente de los límites y reconstrucción ponderada por pasos para retrasar la recuperación de tokens de tiempo en relación con los tokens semánticos, coincidiendo con la dinámica de inferencia.
3. Recompensa de IoU a Nivel de Paso: Un mecanismo que inyecta supervisión consciente de la superposición en estados intermedios de desruido, recompensando las actualizaciones que mejoran la precisión de la localización temporal.
4. Rendimiento Empírico: El método demuestra un rendimiento superior tanto sobre las líneas base de VLM autoregresivos como sobre detectores discriminativos especializados en TAL.

Resultados Experimentales

El modelo fue evaluado en tres puntos de referencia: ActivityNet-1.3, THUMOS-14 y ActivityNet-RTL.

• Localización de Conjunto Cerrado (ActivityNet-1.3 y THUMOS-14): MDVLM-TAL (utilizando un esqueleto de 8B) superó a los detectores discriminativos más avanzados (por ejemplo, TriDet, CLTDR) y a las líneas base generativas (DiffTAD). Notablemente, logró la mayor Precisión Promedio Media (mAP) en umbrales estrictos de tIoU (por ejemplo, 0.7 y 0.95), indicando una precisión de límites superior.
• Localización Basada en Razonamiento (ActivityNet-RTL): El modelo superó a la línea base anterior más fuerte de Video-LLM (LITA-13B) tanto en calidad de localización (mIoU) como en calidad de explicación (Puntuación), a pesar de utilizar un esqueleto más pequeño de 8B.
• Estudios de Ablación:
  • Entrenamiento Planificado: Revelar los tokens de tiempo después de los tokens semánticos (cronología de razonamiento primero) produjo un mIoU más alto que revelarlos temprano.
  • Puerta: La recompensa de IoU fue más efectiva cuando se activó mediante una puerta para activarse solo después de que ambos tokens de límite estuvieran presentes.
  • Equilibrio de Pérdida: La combinación de entrenamiento planificado, recompensa de IoU con puerta y entropía cruzada de secuencia completa proporcionó beneficios complementarios, logrando el modelo completo los mejores resultados.

Significado y Afirmaciones

El artículo afirma que MDVLM-TAL cierra con éxito la brecha entre las capacidades de comprensión contextual de los modelos de lenguaje grandes y los requisitos temporales precisos de la localización de acciones. Al reformular la localización como un problema de generación de secuencias estructuradas donde la respuesta completa permanece editable, el modelo permite que la evidencia semántica y la evidencia temporal se refinen mutuamente.

Los autores enfatizan que la calidad de la localización no depende solo de la salida final, sino de la trayectoria de desruido. El "Entrenamiento Planificado" y la "Recompensa de IoU a Nivel de Paso" propuestos aseguran que el modelo aprenda a priorizar el contexto semántico antes de comprometerse con límites precisos. Este enfoque apunta hacia una clase unificada de modelos de video-lenguaje donde la localización, la descripción y el razonamiento se tratan como partes de un único proceso de generación refinado bidireccionalmente, en lugar de módulos aislados. Los resultados sugieren que alejarse de las restricciones autoregresivas ofrece un camino viable para mejorar la precisión temporal en la comprensión generativa de video.