Pause and Think: A Dataset and Benchmark for Video-Grounded Assistive Action Suggestion

Resumen Técnico: Pause-and-Think: Un Conjunto de Datos y un Benchmark para la Sugerencia de Acciones Asistenciales Basadas en Video

Planteamiento del Problema
Los modelos de Lenguaje-Visión (VLM) recientes demuestran capacidades perceptivas y conversacionales sólidas, pero tienen dificultades con el razonamiento accionable basado en video. Aunque los modelos de vanguardia pueden identificar objetos, a menudo fallan al generar instrucciones concisas, conscientes del contexto y temporalmente consistentes para tareas de múltiples pasos (por ejemplo, "¿Qué debo hacer a continuación?"). Los benchmarks existentes se basan principalmente en preguntas de opción múltiple que evalúan el reconocimiento en lugar de la capacidad de producir orientación de forma libre y fundamentada. Además, los modelos de gran escala suelen sufrir de deriva contextual, verbosidad y alucinaciones, lo que los hace ineficientes para agentes asistenciales desplegables en tiempo real en dispositivos periféricos (edge).

Metodología
Los autores introducen un marco centrado en el razonamiento que comprende un nuevo conjunto de datos, un benchmark y una estrategia de ajuste fino (fine-tuning) diseñada para imponer un comportamiento de "pausa y piensa" (pause-and-think) en modelos compactos.

1. Construcción del Conjunto de Datos (Pause-and-think-T):

   • Fuente: Derivado de tres conjuntos de datos de video a gran escala (Epic-Kitchens, Assembly101, Ego4D) que cubren perspectivas tanto egocéntricas como exocéntricas.
   • Pipeline: Los videos brutos y las anotaciones pasan por un refinamiento de tres etapas:
     • Refinamiento de Anotación: Un modelo multimodal (gpt-oss-120b) corrige inconsistencias temporales y organiza las acciones en fases orientadas a objetivos sin acceso a los fotogramas del video (refinamiento solo de texto).
     • Segmentación de Video: Los videos largos se dividen en segmentos de 5 a 20 segundos que representan transiciones de tareas específicas.
     • Generación de QA de Razonamiento: Utilizando Qwen3-VL-235B, el sistema genera pares conversacionales estructurados. Crucialmente, las respuestas se descomponen en dos partes: un segmento <thinking> (razonamiento intermedio fundamentado en evidencia visual) y un segmento <answer> (instrucción concisa y accionable).
   • Escala: El conjunto de entrenamiento final contiene aproximadamente 10,051 instancias de QA de alta calidad y estructura de razonamiento, equilibradas entre la comprensión de la escena y la planificación de objetivos.

2. Benchmark (Pause-and-think-B):

   • Un benchmark curado de 300 muestras diseñado para evaluar la comprensión contextual y la planificación de objetivos en entornos impulsados por video. Incluye un subconjunto desafiante de casos de fallo de modelos de vanguardia para probar la robustez.

3. Protocolo de Entrenamiento:

   • Los autores realizan el ajuste fino de un modelo compacto de 4 mil millones de parámetros (Qwen3-VL-4B) utilizando el conjunto de datos Pause-and-think-T.
   • El objetivo de entrenamiento fomenta que el modelo estructure internamente la inferencia alrededor de la etapa de razonamiento antes de generar la respuesta final, sin exponer la cadena de razonamiento durante la inferencia.
   • Los experimentos comparan modelos entrenados con el componente <thinking> (T) frente a aquellos sin él (NT), y contra modelos de vanguardia (por ejemplo, GPT-5.2, Qwen3-VL-235B).

Contribuciones Clave

• Pause-and-think-T & B: Introducción de un conjunto de datos de entrenamiento centrado en el razonamiento (~10k muestras) y un benchmark que apunta específicamente a la sugerencia de acciones asistenciales, yendo más allá del reconocimiento basado en opción múltiple hacia una guía libre y fundamentada.
• Rendimiento Pareto-Eficiente: Demostración de que la supervisión de razonamiento dirigida en un conjunto de datos pequeño y de alta calidad permite que un modelo de 4B alcance un rendimiento competitivo con sistemas de escala de vanguardia (por ejemplo, Qwen3-VL-235B, GPT-5.2) utilizando 59 veces menos parámetros.
• Reducción de la Verbosidad y la Deriva: Evidencia de que la supervisión de razonamiento estructurado reduce significamente la deriva contextual y la verbosidad, produciendo instrucciones concisas, útiles para el usuario y fieles al contexto.

Resultados Experimentales

• Rendimiento del Benchmark: El modelo de 4B ajustado alcanza un 58.0% de precisión en el benchmark Pause-and-think-B, igualando a GPT-5.2 (58.9%) y superando a GPT-4o (50.3%) y Qwen3-VL-235B (58.9% con 59× más parámetros).
• Impacto del Razonamiento: Los modelos entrenados con la supervisión <thinking> (T) superan consistentemente a sus contrapartes sin pensamiento (NT) (58.0% vs. 54.67% para el modelo de 4B), particularmente en tareas de planificación orientadas a objetivos.
• Generalización: El modelo muestra un fuerte rendimiento fuera de la distribución (OOD) en benchmarks externos (TempCompass, EgoThink) sin entrenamiento específico. Notablemente, supera a GPT-5.2 en razonamiento de orden de eventos (+4.7%) y razonamiento situado (+11.0%) en EgoThink.
• Análisis Cualitativo: El modelo ajustado por razonamiento exhibe una fundamentación espacial superior (orientación izquierda/derecha, posicionamiento relativo de objetos) y robustez ante la oclusión en comparación con los modelos de vanguardia, que a menudo dependen de sesgos lingüísticos o alucinan pasos.
• Métricas de Utilidad: El modelo ajustado logra la puntuación agregada de "utilidad" (helpfulness) más alta (0.760), impulsada por una concisión significativamente mayor (0.806) mientras mantiene una cortesía competitiva.

Significancia y Reivindicaciones
El artículo argumenta que la calidad de los datos y la supervisión del razonamiento, más que el simple escalado de parámetros, son los principales motores para una asistencia efectiva basada en video. Al imponer un paradigma de "pausa y piensa" mediante la supervisión estructurada, los modelos compactos pueden ofrecer una guía accionable y visualmente fundamentada adecuada para el despliegue en tiempo real en dispositivos periféricos. El trabajo desafía la necesidad de computación a escala de vanguardia para agentes asistenciales, demostando que un modelo de 4B puede rivalizar con sistemas cientos de veces más grandes cuando se entrena con datos de alto rendimiento y estructura de razonamiento. Los autores concluyen que este enfoque permite a los modelos generalizar más allá de las distribuciones de entrenamiento y realizar razonamientos temporales complejos sin requerir infraestructura de Aprendizaje por Refuerzo (RL) o conteos masivos de parámetros.