LFS: Learnable Frame Selector for Event-Aware and Temporally Diverse Video Captioning

Resumen Técnico: Selector de Fotogramas Aprendible (LFS) para la Generación de Descripciones de Video Consciente de Eventos y Temporalmente Diversa

Enunciado del Problema
Los modelos actuales de generación de descripciones de video, particularmente aquellos que aprovechan los Modelos de Lenguaje Grandes (LLM), convierten típicamente los fotogramas de video en tokens visuales para generar descripciones. Sin embargo, codificar todos los fotogramas es computacionalmente prohibitivo. En consecuencia, el muestreo uniforme se ha convertido en la estrategia predeterminada para seleccionar un número fijo de fotogramas. Si bien esto asegura una cobertura temporal, no tiene en cuenta la distribución desigual de eventos informativos dentro de un video. El muestreo uniforme a menudo ignora acciones breves pero críticas o agrupa fotogramas redundantes, lo que conduce a descripciones detalladas subóptimas. Los métodos existentes de selección impulsados por consultas (por ejemplo, para Preguntas y Respuestas sobre Video) son inadecuados para tareas agnósticas a la consulta como la generación de descripciones detalladas, y los enfoques actuales basados en Top-K o aprendizaje por refuerzo a menudo luchan por equilibrar la relevancia del evento con la diversidad temporal o son difíciles de integrar con video-LLMs congelados. Además, los autores identifican una brecha significativa entre las evaluaciones de referencia existentes y la comprensión cognitiva humana del contenido del video.

Metodología: Selector de Fotogramas Aprendible (LFS)
El artículo propone LFS, un módulo ligero, de tipo plug-and-play, diseñado para seleccionar un pequeño conjunto de fotogramas temporalmente diversos y relevantes para los eventos. LFS opera sin modificar los parámetros del modelo de lenguaje aguas abajo. Su arquitectura y proceso de entrenamiento consisten en tres componentes principales:

1. Modelado de la Importancia Temporal (TSNet):
   Dadas las incrustaciones de fotogramas de un codificador de visión congelado (Long-CLIP), LFS emplea una Red de Puntuación Temporal (TSNet) para predecir un campo continuo de importancia temporal. La TSNet utiliza convoluciones temporales para capturar transiciones locales y un resumen global con modulación de puerta para reescalar adaptativamente las características. Esto permite que el modelo puntúe la importancia de los fotogramas de manera agnóstica a la consulta.

2. Selección Top-K Estratificada:
   Para asegurar la diversidad temporal y evitar el agrupamiento, LFS emplea una estrategia Top-K estratificada durante la inferencia. La línea de tiempo del video se divide en $K$ segmentos iguales, y se selecciona el fotograma con la puntuación de importancia más alta de cada segmento. Esto garantiza una cobertura temporal completa. Durante el entrenamiento, se utiliza una distribución de probabilidad suave para permitir la propagación de gradientes, mientras que la selección estratificada dura se aplica solo en la inferencia.

3. Optimización Guiada por la Descripción:
   A diferencia de los métodos que optimizan objetivos proxy, LFS se entrena utilizando retroalimentación de descripciones de un video-LLM congelado (específicamente Qwen3-VL-8B). El selector aprende a elegir fotogramas que maximizan directamente la calidad de la descripción generada. El objetivo de entrenamiento incluye:

   • Pérdida Relativa de Descripción: Alinea la selección de fotogramas con la calidad de la descripción comparándola con una línea base uniforme.
   • Regularización $\ell_1$: Fomenta un peso compacto de fotogramas en fotogramas representativos.
   • Regularización de Entropía: Promueve la exploración durante las etapas tempranas del entrenamiento.

Contribuciones Clave

1. Marco LFS: La propuesta de un selector de fotogramas aprendible que equilibra explícitamente la conciencia de eventos y la diversidad temporal mediante selección estratificada y supervisión guiada por descripciones. Está diseñado para integrarse fácilmente en pipelines existentes sin ajustar finamente el LLM.
2. Referencia ICH-CC: La introducción de ICH-CC (Descripción de Cocina del Patrimonio Cultural Inmaterial), una nueva referencia construida para reflejar mejor la comprensión cognitiva humana. Presenta preguntas cuidadosamente diseñadas y descripciones escritas por humanos para videos de cocina china e inglesa, abordando la desalineación encontrada en referencias existentes como VDC y Dream-1K.
3. Validación Empírica: Experimentos extensos que demuestran que LFS mejora consistentemente la generación de descripciones detalladas de video y la respuesta a preguntas sobre video cero-shot aguas abajo en múltiples arquitecturas base y referencias.

Resultados Experimentales
Los autores evaluaron LFS en tres referencias: ICH-CC, VDC y Dream-1K, utilizando diversas arquitecturas base de video-LLM (por ejemplo, Qwen3-VL-8B, AuroraCap-7B, Tarsier2-7B).

• ICH-CC: LFS mejoró significativamente el rendimiento. Para Qwen3-VL-8B, aumentó la precisión en un 4.47% en el subconjunto en inglés y un 3.14% en el subconjunto en chino. El análisis cualitativo mostró que LFS capturó con éxito pasos breves y críticos (por ejemplo, hervir, decorar) que el muestreo uniforme pasó por alto.
• VDC: LFS proporcionó ganancias consistentes en todas las categorías, con la mejora más notable en la categoría "Detallada" (por ejemplo, +2.02% de precisión para Qwen3-VL-8B).
• Dream-1K: Como prueba de robustez para videos cortos, LFS mantuvo un rendimiento comparable al muestreo uniforme (puntuación F1 de 0.40), lo que indica que no degrada el rendimiento en clips cortos donde el muestreo uniforme ya es efectivo.
• Preguntas y Respuestas sobre Video Cero-Shot: Las descripciones mejoradas generadas mediante LFS condujeron a un mejor rendimiento en tareas de preguntas y respuestas sobre video aguas abajo (por ejemplo, +2.1% en MVBench), confirmando que una mejor selección de fotogramas produce descripciones más informativas para el razonamiento.

Significado y Afirmaciones
El artículo afirma que la selección de fotogramas es un cuello de botella crítico para la generación de descripciones detalladas de video. Al modelar explícitamente la relevancia del evento y la diversidad temporal, LFS proporciona una solución efectiva y fácil de integrar que mejora la calidad de las descripciones sin requerir el reentrenamiento de modelos de lenguaje grandes. Los autores enfatizan que su enfoque cierra la brecha entre las restricciones computacionales y la necesidad de descripciones finas y temporalmente coherentes, apoyando finalmente tareas aguas abajo como la recuperación de video y preguntas y respuestas multimodales. La introducción de ICH-CC también se destaca como un paso necesario para alinear la evaluación de referencias con la cognición humana.