Resumen Técnico: ProcObject-10K

Enunciado del Problema

Las evaluaciones actuales para la comprensión procedimental en videos instruccionales son predominantemente centradas en acciones. Modelan la estructura procedimental como secuencias de acciones o eventos, a menudo pasando por alto el papel fundamental de las transiciones de estado de los objetos. En tareas procedimentales del mundo real (por ejemplo, cocina, ensamblaje), el objetivo se logra mediante la transformación progresiva de los estados de los objetos bajo interacción humana. La misma acción puede producir resultados diferentes dependiendo del estado inicial del objeto, lo que a su vez dicta las acciones subsiguientes válidas.

Los conjuntos de datos existentes no evalúan si los modelos pueden razonar sobre estas dinámicas a nivel de objeto. Mientras que algunos conjuntos de datos se centran en el seguimiento de objetos, carecen de una estructura procedimental orientada a objetivos; por el contrario, los conjuntos de datos de videos instruccionales se centran en secuencias de acciones sin modelar las dependencias causales inducidas por los cambios en el estado de los objetos. En consecuencia, las evaluaciones actuales permiten que los modelos logren un alto rendimiento al depender de priors lingüísticos y patrones de acción, en lugar de realizar un razonamiento detallado sobre cómo evolucionan los objetos para completar una tarea.

Metodología

1. La Evaluación PROCOBJECT-10K

Los autores introducen PROCOBJECT-10K, la primera evaluación diseñada para evaluar conjuntamente el razonamiento centrado en objetos y la fundamentación de evidencia temporal en videos instruccionales.

• Composición del Conjunto de Datos: El conjunto de datos comprende 10,522 pares de preguntas y respuestas (VideoQA) de respuesta abierta fundamentados en 1,799 fragmentos de video que abarcan 137 tareas en 9 dominios (incluyendo vistas egocéntricas y exocéntricas).
• Pipeline de Generación de Datos: Se empleó un pipeline semiautomático de cuatro etapas:
  1. Recopilación: Los videos se curaron a partir de conjuntos de datos existentes (CaptainCook4D, EgoPER, HoloAssist, COIN) conocidos por sus interacciones complejas mano-objeto.
  2. Muestreo: Se muestrearon secuencias de acciones temporalmente contiguas para garantizar la coherencia causal y la apariencia consistente de los objetos.
  3. Generación de QA: Se solicitaron Modelos de Lenguaje y Visión (VLM) con descripciones densas centradas en objetos y marcos dispersos para generar preguntas, respuestas y intervalos de evidencia temporal de soporte.
  4. Verificación: Un proceso de filtrado riguroso eliminó instancias resolubles únicamente por sentido común (solo texto), verificó la alineación entre respuesta y evidencia mediante LLM, e incluyó revisión humana para refinar la ambigüedad y garantizar la fundamentación temporal.
• Taxonomía de Preguntas: La evaluación define cinco tipos de razonamiento centrados en la dinámica de los objetos:
  1. Fundamentación de Precondiciones: Identificar los estados de objeto necesarios antes de una acción.
  2. Evolución del Estado del Objeto: Rastrear cómo cambia un objeto entre pasos.
  3. Razonamiento Contrafáctico: Predecir resultados si se alteraran estados de objeto específicos.
  4. Reconocimiento de Errores: Identificar errores en el manejo o estado de los objetos.
  5. Evaluación de Preparación: Determinar si un objeto está en el estado correcto para el siguiente paso.

2. Ajuste Fino Supervisado Centrado en Objetos (SFT)

Para abordar las brechas de razonamiento identificadas, los autores proponen un marco de SFT que incentiva explícitamente a los modelos a atender la evolución dinámica de los objetos relevantes para la acción.

• Construcción de Pseudoetiquetas: En lugar de anotación manual, el marco utiliza un VLM para extraer frases clave de objetos de los pares de QA, las cuales luego se localizan en marcos de video utilizando un modelo de detección de objetos. Esto genera:
  • Máscaras Suaves a Nivel de Parche: Supervisión espacial que indica la superposición entre parches de imagen y objetos detectados.
  • Indicadores de Presencia de Objetos: Supervisión temporal que indica qué marcos contienen objetos relevantes.
• Objetivos de Entrenamiento: La pérdida generativa estándar ($L_{gen}$) se complementa con dos restricciones auxiliares:
  • Restricción Espacial ($L_{spl}$): Incentiva al modelo a enfocarse en parches de imagen que se superponen con objetos de soporte.
  • Restricción Temporal ($L_{tmp}$): Incentiva al modelo a enfocarse en marcos específicos donde ocurren dinámicas clave de objetos.
• Inferencia: Las cabezas auxiliares se eliminan durante la inferencia para mantener la eficiencia, dejando un modelo con representaciones visuales aprendidas centradas en objetos.

Resultados Clave

1. La Brecha entre Respuesta y Fundamentación

La evaluación de 13 Modelos de Lenguaje Grandes Multimodales (MLLM) líderes reveló una discrepancia sustancial:

• Respuestas Plausibles, Mala Fundamentación: Los modelos lograron puntuaciones razonables en preguntas de respuesta abierta (basándose en priors lingüísticos) pero fallaron en localizar la evidencia temporal de soporte.
• Bajo Rendimiento de Fundamentación: La Intersección sobre la Unión media (mIoU) para la fundamentación temporal se mantuvo consistentemente por debajo del 45% en todos los modelos, incluso para modelos propietarios y de código abierto a gran escala.
• Rendimiento Ciego de LLM: Los modelos solo de lenguaje (por ejemplo, GPT-5.4-Mini) lograron puntuaciones competitivas de respuesta (puntuación de LLM como Juez ~3.14) sin entrada de video, confirmando que los modelos actuales a menudo eluden la evidencia visual.

2. Impacto del SFT Centrado en Objetos

El modelo ajustado finamente con el marco de SFT centrado en objetos propuesto (Qwen3-VL-4B) demostró mejoras significativas:

• Rendimiento en la Evaluación: Logró el rendimiento más alto en la mayoría de las métricas, superando a líneas base mucho más grandes (por ejemplo, modelos de 38B parámetros) tanto en precisión de respuesta como de fundamentación.
• Generalización:
  • VideoQA: El modelo ajustado finamente se transfirió efectivamente a la evaluación MultiHop-EgoQA en un entorno de cero disparos (zero-shot), superando a modelos ajustados finamente específicamente en ese conjunto de datos.
  • Planificación Encarnada: Cuando se integró como un planificador de cero disparos en el marco ALFRED, el modelo ajustado finamente mejoró la Tasa de Éxito (SR) y las puntuaciones Condicionadas al Objetivo (GC) en comparación con las líneas base de cero disparos, lo que indica que el razonamiento centrado en objetos ayuda a la ejecución de tareas encarnadas.

Significado y Afirmaciones

El artículo afirma que PROCOBJECT-10K sirve como una herramienta de diagnóstico crítica, exponiendo la dependencia de los MLLM actuales de priors lingüísticos en lugar de dinámicas de objetos detalladas. Los autores argumentan que:

1. La comprensión procedimental requiere razonamiento centrado en objetos: Las secuencias de acciones por sí solas son insuficientes; comprender las dependencias causales de las transiciones de estado de los objetos es fundamental para sistemas inteligentes que asisten en tareas procedimentales.
2. La supervisión explícita es necesaria: El marco de SFT propuesto demuestra que supervisar explícitamente a los modelos sobre la dinámica de los estados de los objetos (mediante pseudoetiquetas y restricciones espaciotemporales) es una estrategia efectiva para cerrar la brecha entre respuesta y fundamentación.
3. Transferibilidad: Las representaciones centradas en objetos aprendidas a partir de esta evaluación no se limitan al conjunto de datos en sí, sino que se generalizan a otras tareas de VideoQA fundamentadas y escenarios de planificación encarnada, lo que sugiere un valor más amplio para la comprensión procedimental en la IA.

Los autores concluyen que PROCOBJECT-10K tiene como objetivo catalizar la investigación futura sobre el razonamiento procedimental centrado en objetos, una integración más estrecha con agentes encarnados y el desarrollo de modelos del mundo que comprendan mejor las transiciones de estado físico.