Resumen Técnico: RANKVIDEO – Reclasificación por Razonamiento para la Recuperación de Texto a Vídeo

Declaración del Problema

La recuperación de texto a vídeo enfrenta desafíos significativos debido a la complejidad de alinear consultas de lenguaje natural con contenido audiovisual. Aunque existen recuperadores de primera etapa eficientes (bi-encoders), estos suelen tener dificultades con la escala de las colecciones del mundo real (cientos de miles de vídeos) y la necesidad de una comprensión multimodal detallada. Los enfoques de reclasificación existentes para vídeo están mayormente subexplorados o dependen de la extracción de texto (subtítulos, transcripciones) para alimentar modelos de razonamiento basados en texto. Este enfoque basado únicamente en texto es limitado porque omite información visual y de audio crítica, puede no estar disponible para todos los vídeos e incurre en costes computacionales de generación. Además, los reclasificadores nativos de vídeo actuales suelen fallar al generalizar a tareas de recuperación del mundo real, funcionando bien en conjuntos de datos artificiales pero degradándose en benchmarks de gran escala e intensivos en razonamiento.

Metodología

Los autores presentan RANKVIDEO, un reclasificador de razonamiento nativo de vídeo diseñado para evaluar la relevancia entre la consulta y el vídeo mediante el razonamiento directo sobre entradas audiovisuales. El sistema opera dentro de un marco de recuperación de dos etapas y emplea un novedoso currículo de entrenamiento de dos etapas.

1. Síntesis de Datos

Para abordar la falta de datos de entrenamiento para la recuperación de vídeo intensiva en razonamiento, los autores desarrollaron un pipeline de síntesis de datos:

• Extracción de Características: Los vídeos se procesan para extraer subtítulos visuales (usando QWEN3-OMNI), transcripciones de audio (usando WHISPER-LARGE-V2) y texto en pantalla (OCR).
• Generación de Consultas: Un modelo de razonamiento de texto (QWEN3-32B) genera variaciones diversas de consultas basadas en estas características extraídas (solo subtítulo, solo audio, solo OCR, solo metadatos y combinados).
• Filtrado: Las consultas se filtran para asegurar una alta calidad e intensidad de razonamiento. Esto implica descartar consultas donde el vídeo positivo no está en los 1000 candidatos principales de un recuperador base, eliminar consultas donde los negativos difíciles son demasiado fáciles de distinguir, y filtrar pares mal clasificados por un modelo profesor. El conjunto de datos final contiene aproximadamente 35,000 registros con pares de consulta-vídeo positivos y negativos únicos.

2. Proceso de Entrenamiento de Dos Etapas

RANKVIDEO se entrena utilizando un currículo que separa la percepción de la optimización de la clasificación:

• Etapa 1: Ajuste Fino Supervisado Basado en la Percepción (SFT)

  • Objetivo: Anclar el modelo en el contenido del vídeo antes de introducir objetivos de clasificación.
  • Método: El modelo es ajustado finamente para generar subtítulos para vídeos basados en subtítulos proporcionados por el profesor. Esto fomenta que el modelo preste atención a entidades y eventos visuales discriminativos en lugar de aprender inmediatamente una decisión de relevancia binaria.
  • Objetivo: Pérdida de entropía cruzada estándar para la generación de subtítulos ($L_{cap}$).

• Etapa 2: Ajuste Fino de Clasificación (Ranking)

  • Objetivo: Optimizar el modelo para la reclasificación de pares de consulta-vídeo.
  • Minería de Negativos Difíciles: Los candidatos se estratifican utilizando un profesor de razonamiento (REASONRANK) en "negativos confiables" (claramente irrelevantes), "positivos sospechosos" (descartados para evitar falsos negativos) y "negativos difíciles" (candidatos ambiguos que se parecen a los positivos).
  • Objetivo Unificado: El modelo es entrenado para producir un puntaje escalar de relevancia $s_\theta(q, v)$ derivado de la diferencia de logit entre los tokens "sí" y "no" en un punto de decisión, evitando la necesidad de decodificar trazas de razonamiento largas. La función de pérdida combina tres componentes:
    1. Pérdida de Clasificación por Pares (Pairwise): Incentiva que el vídeo positivo obtenga una puntuación mayor que los negativos difíciles dentro de un lote.
    2. Destilación de Probabilidad del Profesor: Utiliza la confianza (logits) del profesor para proporcionar una supervisión calibrada más allá de las etiquetas binarias.
    3. Pérdida de Punto Único (Pointwise): Una pérdida de clasificación binaria con objetivos suavizados para estabilizar el entrenamiento contra el desequilibrio de clases y el ruido de los datos.

3. Mecanismo de Inferencia

A diferencia de otros modelos de razonamiento que generan trazas de Cadena de Pensamiento (CoT) verbosas para cada consulta, RANKVIDEO predice la relevancia comparando las log-probabilidades de los tokens de respuesta discretos ("sí" vs. "no"). Esto produce un puntaje de relevancia escalar sin requerir la generación de texto de razonamiento intermedio, lo que reduce significativamente la latencia de inferencia.

Contribuciones Clave

1. Modelo RANKVIDEO: Un reclasificador de razonamiento nativo de vídeo entrenado directamente sobre entradas audiovisuales, eliminando la dependencia de texto extraído para la etapa de inferencia.
2. Pipeline de Síntesis de Datos: Un método para generar pares de consulta-vídeo intensivos en razonamiento aprovechando características de vídeo multimodales (visuales, audio, OCR, metadatos).
3. Currículo de Dos Etapas: Una estrategia de entrenamiento que primero ancla el modelo en la percepción de vídeo mediante el subtitulado, seguido de un ajuste fino de clasificación multiobjetivo (por pares, por punto único y destilación).
4. Eficiencia: El modelo logra un alto rendimiento sin la sobrecarga computacional de generar trazas completas de CoT durante la inferencia, adaptando el esfuerzo de razonamiento dinámicamente.

Resultados Experimentales

Los experimentos se realizaron en el benchmark MULTIVENT 2.0, un conjunto de datos a gran escala que contiene más de 100,000 vídeos.

• Rendimiento: RANKVIDEO mejoró consistentemente el rendimiento de la recuperación en varios recuperadores de primera etapa (incluyendo OMNIEMBED, MMMORRF, CLIP, LanguageBind y Video-ColBERT).
  • Logró una mejora promedio del 31% en nDCG@10 en comparación con el baseline de la primera etapa.
  • Superó a los reclasificadores de razonamiento basados solo en texto (REASONRANK) y a otros baselines de lenguaje-visión (QWEN3-VL-8B-INSTRUCT, QWEN3-VL-8B-THINKING y QWEN3-VL-RERANKER-8B). Notablemente, algunos baselines nativos de vídeo en realidad degradaron el rendimiento de la primera etapa, mientras que RANKVIDEO lo mejoró.
• Distribución de Puntajes: El entrenamiento desplazó la distribución de puntajes de modo que los pares relevantes recibieron márgenes positivos más grandes y los no relevantes recibieron márgenes negativos más grandes, reduciendo el solapamiento y mejorando la calidad del ranking.
• Eficiencia: RANKVIDEO fue significativamente más rápido que los baselines de razonamiento como QWEN3-VL-THINKING (que genera trazas CoT) y comparable en latencia a los reclasificadores basados en texto, a pesar de operar sobre vídeo bruto.
• Impacto en Aplicaciones Posteriores: En un entorno de Generación Aumentada por Recuperación (RAG) utilizando el conjunto de datos WIKIVIDEO, RANKVIDEO mejoró la cobertura de afirmaciones y la factualidad de los artículos, demostrando su utilidad más allá de las métricas de recuperación estándar.

Significado y Reivindicaciones

El artículo afirma que RANKVIDEO aborda una brecha crítica en la recuperación de vídeo al demostrar que la reclasificación basada en el razonamiento puede aplicarse eficazmente a entradas nativas de vídeo. Los autores argumentan que depender de texto extraído para la reclasificación de vídeo es subóptimo debido a la pérdida de información y los costes computacionales. Al entrenar un modelo para razonar directamente sobre señales audiovisuales, RANKVIDEO logra un rendimiento de vanguardia mientras permanece computacionalmente eficiente.

El trabajo destaca que:

• Los modelos de lenguaje-visión suelen tener dificultades con el juicio de relevancia zero-shot debido a la alucinación y la baja precisión.
• Los modelos de reclasificación entrenados en conjuntos de datos artificiales (subtítulo-a-vídeo) no generalizan bien a la recuperación de vídeo de razonamiento intensivo en el mundo real.
• Un currículo que separa la percepción (subtitulado) del razonamiento (clasificación) conduce a un entrenamiento multimodal más estable y efectivo.

Los autores concluyen que, si bien la optimización de lista completa (list-wise) y las optimizaciones de razonamiento dinámico adicionales son direcciones futuras, RANKVIDEO establece un fuerte baseline para la recuperación de vídeo eficiente impulsada por el razonamiento.