Resumen Técnico: TORM - Modelado Internalizado para el Razonamiento Espacio-Temporal en Modelos de Lenguaje-Video

Declaración del Problema

Las tareas de razonamiento en video requieren que los modelos rastreen el movimiento, el orden temporal y los estados visuales evolutivos a través de los fotogramas. Si bien los Modelos de Lenguaje-Visión Grandes (LVLM) han tenido éxito en la comprensión de imágenes estáticas, extender esto al video sigue siendo un desafío. Los enfoques existentes a menudo dependen de externalizar el razonamiento mediante Cadenas de Pensamiento (CoT) textuales, la reinyección repetida de fotogramas, la descomposición temporal o el uso de herramientas externas.

El artículo identifica limitaciones críticas en estas pipelines externas:

1. Ineficiencia: Introducen una latencia sustancial en tiempo de inferencia y complejidad de ingeniería.
2. Pérdida de Información: Obligan a que la evidencia visual-temporal rica y continua se serialice en tokens de texto discretos o se vuelva a codificar repetidamente, perdiendo potencialmente información dinámica fina.
3. Compensación: Existe una tensión fundamental entre preservar información visual-temporal intermedia rica (beneficiosa para el razonamiento) y la eficiencia de la inferencia (obstaculizada por la generación o recuperación de evidencia explícita en el momento de la prueba).

Metodología: TORM

Los autores proponen TORM (Razonamiento Espacio-Temporal mediante Modelado Internalizado), un marco de dos etapas diseñado para enseñar a los LVLM a razonar a través de trayectorias latentes continuas acotadas en lugar de CoT textuales explícitas o herramientas externas. La intuición central es que el razonamiento visual puede ocurrir implícitamente dentro de los estados ocultos antes de la verbalización.

Arquitectura Central

TORM augmenta el proceso estándar de generación de respuesta a partir de pregunta en video con un corto segmento de simulación latente que contiene $K$ tokens latentes (ajustado a $K=8$ en los experimentos).

• Inferencia: Cuando el modelo genera un token especial <|latent_start|>, entra en un "modo de simulación latente". En lugar de predecir tokens de texto discretos, el decodificador genera estados ocultos continuos (tokens latentes) que se retroalimentan como incrustaciones de entrada para los pasos subsiguientes. Esto continúa hasta que se genera <|latent_end|>, después de lo cual se reanuda la decodificación de texto normal para la respuesta final. Este proceso está acotado para garantizar una latencia fija.
• Sin Herramientas Externas: A diferencia de otros métodos, TORM no regenera videos, no reinserta fotogramas ni llama a herramientas externas durante la inferencia.

Pipeline de Datos

Para entrenar al modelo a internalizar el razonamiento, los autores construyen una secuencia de entrenamiento con tres señales alineadas para cada par de pregunta-respuesta:

1. Fotogramas Clave: Fotogramas relevantes para la pregunta extraídos del video fuente.
2. Video de Pensamiento: Un video dinámico corto generado que visualiza el movimiento y los cambios de estado relevantes para la pregunta (generado utilizando un plan de CoT de un modelo docente y un modelo de generación de video como Wan 2.1).
3. Respuesta: La secuencia de tokens de respuesta objetivo.

Estrategia de Entrenamiento de Dos Etapas

El proceso de entrenamiento se divide en dos etapas para primero fundamentar el espacio latente y luego internalizar el razonamiento:

• Etapa I: Entrenamiento Supervisado Fundamentado en Latencia

  • El modelo se entrena para alinear los estados latentes predichos ($z_i$) con las características del video de pensamiento generado ($g_i$).
  • El video de pensamiento se codifica y sus características se agrupan para coincidir con el número fijo de ranuras latentes ($K$).
  • La función de pérdida combina la entropía cruzada estándar de tokens de respuesta ($L_{ans}$) con una pérdida MSE ($L_{latent}$) para minimizar la distancia entre los estados latentes y las características del video de pensamiento.
  • Objetivo: Fundamentar las ranuras latentes en evidencia visual dinámica sin requerir supervisión explícita de CoT textual.

• Etapa II: Consolidación Solo de Respuesta

  • Se elimina la supervisión latente directa (pérdida MSE).
  • El modelo se entrena solo con la pérdida de tokens de respuesta ($L_{ans}$), mientras que las ranuras latentes permanecen en la secuencia de entrada.
  • Objetivo: Fomentar que el modelo internalice el comportamiento de razonamiento aprendido en la Etapa I, haciendo que el proceso latente sea autoorganizado y robusto para la inferencia sin objetivos explícitos.

Contribuciones Clave

1. Marco TORM: Un marco de razonamiento en video que realiza simulación dinámica interna en el espacio latente continuo, eliminando la necesidad de CoT textual explícito o inferencia basada en herramientas pesadas.
2. Estrategia de Entrenamiento de Dos Etapas: Un enfoque novedoso que combina la alineación latente con la supervisión de video de pensamiento (Etapa I) y la consolidación centrada en la respuesta (Etapa II) para internalizar el razonamiento espacio-temporal.
3. Pipeline de Supervisión de Video de Pensamiento: Un método escalable para alinear trazas dinámicas generadas, fotogramas clave y anotaciones de QA para entrenar el razonamiento latente en video.
4. Eficiencia y Rendimiento: Demostración de que el razonamiento internalizado puede lograr una alta precisión mientras reduce significativamente la sobrecarga de inferencia en comparación con pipelines basadas en herramientas pesadas o generación de video.

Resultados Experimentales

Los autores evaluaron TORM en seis benchmarks: VideoMME, MVBench, TempCompass, Video-Holmes, VideoEspresso y MMVU.

• Rendimiento: TORM superó consistentemente a las líneas base estándar de Ajuste Fino Supervisado (SFT) (por ejemplo, Qwen2.5-VL-7B-SFT) en todos los benchmarks. También igualó o superó a modelos especializados que dependen de pipelines de computación costosas en tiempo de prueba (por ejemplo, LongVT, Video-Thinker).
  • Ejemplo: En VideoMME, TORM alcanzó una precisión del 61.0%, superando la línea base SFT (55.4%) y compitiendo con modelos propietarios como GPT-4o (71.9%) y Gemini-1.5-Pro (75.0%) mientras utilizaba un backbone de código abierto.
  • Ejemplo: En MMVU, TORM alcanzó un 65.9%, superando a Video-R1 (64.2%) y Qwen2.5-VL-CoT (60.0%).
• Latencia: TORM demostró una reducción masiva en la latencia de inferencia.
  • LongVT y Video-Thinker requirieron ~15–17 segundos por elemento.
  • TORM procesó elementos a ~0.47 segundos por elemento (2.14 elementos/s), una aceleración de ~30x, al evitar la recuperación repetida de fotogramas y las llamadas a herramientas externas.
• Estudios de Ablación:
  • Tamaño Latente: Un presupuesto de 8 tokens latentes proporcionó el mejor equilibrio. Presupuestos más grandes (16 o 256) degradaron el rendimiento, lo que sugiere que las trayectorias latentes compactas son más efectivas que retener tokens visuales redundantes.
  • Etapas de Entrenamiento: Tanto la Etapa I (fundamentación) como la Etapa II (consolidación) fueron necesarias; usar cualquiera de las etapas por sí sola resultó en un rendimiento inferior.
  • Análisis de Recuperación: Las sondas mostraron que los estados latentes aprendidos retuvieron información temporal específica del video mejor que las representaciones textuales, logrando un 71% de Hit@1 en recuperación del mismo video en comparación con el 29% para texto.

Significado y Afirmaciones

El artículo afirma que TORM representa un paso práctico hacia el razonamiento visual nativo eficiente en modelos de lenguaje-video. Al desplazar la carga del razonamiento dinámico de la orquestación de herramientas en tiempo de inferencia a un proceso latente internalizado, TORM aborda la compensación entre la calidad del razonamiento y la eficiencia computacional.

Los autores enfatizan que:

• La evidencia visual dinámica se utiliza solo durante el entrenamiento para enseñar a los estados latentes.
• En la inferencia, el modelo reutiliza este comportamiento aprendido a través de una trayectoria latente compacta y de presupuesto fijo sin generar nuevos videos ni invocar herramientas externas.
• Este enfoque permite a los LVLM manejar tareas complejas de razonamiento espacio-temporal con la eficiencia de un proceso de decodificación de un solo modelo, evitando la latencia y la complejidad de las pipelines de razonamiento externas.

El artículo reconoce limitaciones, señalando que la calidad del entrenamiento depende de los videos de pensamiento generados y que la evaluación actual se centra en preguntas de opción múltiple. Se sugiere trabajo futuro para razonamiento abierto y otras arquitecturas.