From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs

Este trabajo presenta el conjunto de datos M2AD, que alinea manuales de instrucciones con videos de ensamblaje de muebles, para evaluar la capacidad de los Modelos de Lenguaje Multimodales (MLLM) de asistir en tiempo real en tareas procedimentales y revelar sus limitaciones actuales en el razonamiento secuencial y la referencia a instrucciones.

Lo esencial

¡Claro que sí! Imagina que acabas de comprar un mueble de IKEA. Sabes lo que viene: esa caja gigante, cientos de tornillos y un manual de instrucciones que parece escrito en un idioma alienígena. Ahora, imagina que en lugar de luchar solo, tienes un asistente virtual superinteligente que no solo lee el manual, sino que te ve mientras trabajas y te dice exactamente qué hacer.

Ese es el sueño al que apunta este paper. Aquí te explico de qué trata, usando analogías sencillas:

1. El Problema: Los "Cerebros" que solo leen

Hasta hace poco, las Inteligencias Artificiales (IA) eran como bibliotecarios expertos: podían leer millones de libros (texto) y responder preguntas increíbles. Pero si les mostrabas una foto de un mueble desarmado, se quedaban mirando fijamente sin entender nada.

Recientemente, surgieron los Modelos de Lenguaje Multimodales (MLM). Son como esos bibliotecarios que de repente ganaron ojos y oídos. Ahora pueden ver videos y escuchar, no solo leer. Pero, ¿son lo suficientemente inteligentes para ayudarte a armar un mueble en tiempo real? ¿Pueden entender que "poner el tornillo A en el agujero B" significa lo mismo en una foto del manual que en la realidad?

2. La Solución: El "Entrenamiento de Realidad" (M2AD)

Para poner a prueba a estos robots, los autores crearon un nuevo "campo de entrenamiento" llamado M2AD (Dataset de Manual a Acción).

• ¿Qué es? Imagina una biblioteca gigante donde cada libro (manual de instrucciones) está emparejado con un video real de alguien armando ese mueble.
• ¿Por qué es especial? Antes, los datos para entrenar a las IAs eran como recetas de cocina escritas por un chef perfecto: cada paso estaba marcado milimétricamente. Pero la vida real es caótica. La gente salta pasos, vuelve atrás, se distrae o mira el manual de forma diferente.
• La analogía: M2AD es como tener un entrenador de realidad. No le dice al robot "haz esto en el segundo 5.2", sino que le muestra el video real y el manual, y le pregunta: "¿Qué está pasando aquí? ¿Coincide con el paso 3 del manual?".

3. El Examen: ¿Pueden los Robots Armar Muebles?

Los investigadores tomaron varios de estos "cerebros" de IA (algunos gratuitos y que caben en una computadora normal, no en superordenadores) y les pusieron tres pruebas difíciles:

1. El Detective de Pasos Completados: Se les muestra una foto del mueble a medio armar y una página del manual. La IA debe decir: "¿Ya se hizo este paso?".
   • Resultado: Algunos acertaron un poco más de la mitad, pero muchos fallaron como si estuvieran adivinando al azar.
2. El Buscador de la Página Correcta: Se les da un video de alguien trabajando y dos páginas del manual (una correcta y una incorrecta). La IA debe elegir la página correcta.
   • Resultado: Solo unos pocos modelos lograron hacerlo mejor que un niño de 5 años adivinando.
3. El Contador de Pasos: Se les muestra el video y deben decir exactamente en qué número de paso están (ej: "Están en el paso 14").
   • Resultado: ¡Aquí fue donde más se trabaron! La mayoría se perdió. Uno de los modelos (MolMo) tuvo éxito, pero solo porque usó un "truco": miró la imagen como un mapa, diciendo "el paso correcto está a la izquierda", en lugar de entender realmente el contenido.

4. La Verdad Incómoda (y Esperanzadora)

El estudio revela dos cosas importantes:

• El problema de hardware: Imagina que le pides a un robot que resuelva un rompecabezas de 1000 piezas, pero solo le das una ventana pequeña para mirar. Así funcionan las IAs actuales en computadoras normales: tienen "ventanas" de visión limitadas. No pueden ver todo el video y todo el manual a la vez con claridad.
• La necesidad de "Ojos y Oídos" juntos: Las IAs actuales son buenas leyendo o viendo, pero malas conectando ambas cosas. Necesitan aprender a "pensar" viendo el video y leyendo el texto al mismo tiempo, no por separado.

En Resumen

Este paper es como un informe de salud para los asistentes robóticos del futuro. Nos dice: "¡Están mejorando! Ya no son ciegos, pero todavía se confunden cuando intentan seguir instrucciones complejas en tiempo real".

El mensaje final es que, aunque hoy en día un robot no puede reemplazar a un amigo que te ayuda a armar un armario sin que se le caiga todo, estamos en el camino correcto. Necesitamos entrenarlos mejor y darles computadoras más potentes para que, en el futuro, puedan ser esos asistentes virtuales perfectos que nos guían paso a paso sin que tengamos que leer un manual aburrido.

¿El objetivo? Que la próxima vez que compres un mueble, tu IA te diga: "Oye, ese tornillo va aquí, no en el agujero de al lado, y mira, el paso 5 del manual coincide con lo que estás haciendo". ¡Y que no se pierda en el intento!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs", traducido y estructurado en español:

1. Planteamiento del Problema

El avance de los Modelos de Lenguaje Grandes (LLM) ha impulsado el desarrollo de Modelos de Lenguaje Multimodales (MLM), capaces de procesar texto, imágenes y video. Sin embargo, existe una brecha significativa en la evaluación de estos modelos para asistencia técnica en tiempo real en tareas procedimentales complejas (como el montaje de muebles).

Los desafíos actuales incluyen:

• Limitaciones de los Benchmarks existentes: Conjuntos de datos anteriores (como IKEA Manuals at Work o HoloAssist) se centran en tareas atómicas (reconocimiento de acciones, detección de errores) o requieren anotaciones manuales extremadamente detalladas y costosas (nivel de fotograma, límites de objetos) que no escalan bien.
• Falta de razonamiento secuencial: Los modelos actuales tienen dificultades para integrar instrucciones textuales (manuales) con el flujo visual continuo de un video, especialmente en escenarios de asistencia donde el modelo debe rastrear el progreso, detectar desviaciones y guiar al usuario paso a paso.
• Restricciones de Hardware: La mayoría de las evaluaciones se realizan en servidores potentes, ignorando la necesidad de ejecutar estos modelos en hardware de nivel de consumidor para garantizar la privacidad de los datos y la baja latencia en entornos industriales o domésticos.

2. Metodología y Contribución Principal: M2AD

Para abordar estas limitaciones, los autores presentan M2AD (Manual-to-Action Dataset), un nuevo conjunto de datos diseñado específicamente para evaluar la capacidad de razonamiento multimodal en tareas de asistencia técnica.

Características del Dataset M2AD:

• Origen de los datos: Compuesto por más de 50 piezas de muebles de IKEA, utilizando videos extraídos de YouTube (escenarios realistas) y manuales de instrucciones raspados del sitio web oficial.
• Alineación: Cada video se alinea con los manuales correspondientes. Las anotaciones vinculan segmentos de video específicos con los pasos del manual, incluyendo:
  • Timestamps de inicio y fin de cada paso.
  • Número de paso y número de página del manual.
• Diversidad de perspectivas: Incluye tanto vistas egocéntricas (primera persona, simulando VR/AR) como exocéntricas (tercera persona), capturando la variabilidad real en la ejecución de tareas (saltos de pasos, repeticiones, interrupciones).
• Anotación Eficiente: A diferencia de datasets anteriores, M2AD utiliza un enfoque de anotación mínima. En lugar de etiquetar cada objeto o acción a nivel de fotograma, se alinean segmentos temporales con los pasos del manual. Esto obliga al modelo a extraer información relevante por sí mismo, reduciendo costos y evaluando la capacidad de inferencia del MLM.
• Estadísticas: 53 muebles, 1228 anotaciones, promedio de 23.2 pasos por video y una duración total promedio de montaje de ~10.8 minutos.

3. Experimentos y Evaluación

Los autores evaluaron varios MLMs de código abierto (LLaVa-Video, LLaVa-OneVision, MFuyu, MolMo, Ovis, Qwen2-VL, Pixtral, Mantis-Idefics2) ejecutándose en hardware de consumidor (NVIDIA RTX 4090, 64GB RAM) sin cuantización. Se plantearon tres tareas clave:

1. Detección de Finalización de Paso (Step Completion): Dado un frame de video y una página del manual, ¿el modelo puede determinar si el paso se ha completado correctamente?
2. Detección de Paso (Step Detection): Dado un video y varias páginas del manual (una correcta y distractores), ¿puede el modelo identificar qué página corresponde al paso actual?
3. Identificación de Paso (Step Identification): Dado el video y el manual, ¿puede el modelo identificar el número exacto del paso que se está ejecutando? (Un problema de clasificación multiclase).

4. Resultados Clave

Los resultados revelaron tanto capacidades prometedoras como limitaciones severas:

• Rendimiento General: La mayoría de los modelos obtuvieron puntuaciones cercanas al azar en las tareas de identificación y detección de pasos, lo que indica una dificultad significativa para alinear instrucciones textuales complejas con secuencias visuales dinámicas.
• Modelos Destacados:
  • LLaVa-Video y Qwen2-VL: Mostraron el mejor rendimiento en la detección de finalización de pasos y detección de páginas relevantes.
  • MolMo: Destacó notablemente en la tarea de identificación de pasos (logrando ~79% de precisión), superando a modelos mucho más grandes. Los autores atribuyen esto a su capacidad única de "apuntar" a entidades en la imagen y su enfoque espacial (razonamiento sobre la disposición izquierda/derecha de las imágenes concatenadas), a pesar de no tener soporte nativo para texto-imagen entrelazado en este contexto.
• Limitaciones Detectadas:
  • Restricciones Arquitectónicas: La incapacidad de procesar ventanas de contexto grandes y múltiples frames simultáneamente limita la comprensión de secuencias largas.
  • Falta de Razonamiento Espacial e Interleaved: Los modelos luchan para integrar instrucciones textuales con múltiples imágenes de manera fluida. La mayoría falla al intentar comparar una página estática de un manual con un video en movimiento.
  • Dependencia de Hardware: El rendimiento se ve severamente afectado por las limitaciones de memoria y resolución en hardware de consumidor.

5. Significado y Conclusiones

El trabajo de Toschi et al. es significativo por varias razones:

1. Validación de la Eficiencia de Anotación: Demuestra que es posible evaluar modelos multimodales avanzados utilizando anotaciones de alto nivel (alineación paso-a-paso) en lugar de anotaciones costosas a nivel de fotograma, lo que sugiere un futuro más escalable para la creación de datasets.
2. Benchmark Realista: M2AD introduce una evaluación más fiel a los escenarios del mundo real, incluyendo variabilidad humana, cambios de perspectiva y la necesidad de razonamiento temporal, algo que los benchmarks anteriores ignoraban.
3. Direcciones Futuras: El estudio subraya la necesidad de mejorar el razonamiento espacial y la capacidad de entrelazar texto e imágenes en los MLMs. Sugiere que el futuro de la asistencia técnica reside en modelos que puedan "señalar" objetos y mantener un contexto visual-textual coherente a lo largo del tiempo, incluso bajo restricciones de hardware.

En resumen, el paper establece un nuevo estándar para evaluar la viabilidad de los asistentes de IA multimodales en tareas procedimentales, demostrando que, aunque los modelos actuales tienen potencial, aún necesitan avances arquitectónicos significativos para ser asistentes fiables en tiempo real.