Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment

Resumen Técnico: Benchmarking y Análisis Mecanístico de Modelos Visión-Lenguaje para la Alineación de Instrucciones de Ensamblaje

1. Planteamiento del Problema

El ensamblaje de productos (especialmente muebles como los de IKEA) mediante diagramas 2D abstractos y sin texto presenta desafíos significativos para los usuarios. Existen asistentes de realidad mixta emergentes que buscan guiar al usuario superponiendo instrucciones en tiempo real sobre la vista de la cámara. Sin embargo, la tecnología actual enfrenta una "brecha de representación" (depiction gap) crítica:

• Discrepancia Visual: Los diagramas de instrucciones utilizan siluetas, flechas y vistas explotadas (estilo esquemático), mientras que el flujo de video de la cámara muestra escenas fotorealistas, desordenadas y con manos manipulando piezas.
• Falta de Características Comunes: A pesar de representar el mismo paso de ensamblaje, las dos modalidades no comparten características visuales directas.
• Limitación Actual: Los Modelos de Lenguaje y Visión (VLM) existentes no han sido evaluados sistemáticamente para esta tarea de alineación "diagrama-a-video", y los resultados preliminares sugieren un rendimiento insuficiente.

2. Metodología

A. IKEA-Bench (Nuevo Benchmark)
Los autores introducen IKEA-Bench, el primer benchmark diseñado específicamente para evaluar la alineación de instrucciones de ensamblaje entre diagramas 2D y video.

• Datos: Construido sobre el conjunto de datos IKEA Manuals at Work, cubriendo 29 productos de muebles de IKEA (97 videos de ensamblaje, 2,569 frames extraídos).
• Escala: 1,623 preguntas generadas de forma determinista.
• Tipos de Tareas (6 categorías):
  • Alineación Fundamental (L1):
    • T1 (Reconocimiento de paso): Identificar qué diagrama corresponde al video actual.
    • T2 (Verificación de paso): Determinar si un segmento de video coincide con un diagrama dado.
    • T3 (Seguimiento de progreso): Localizar el paso actual entre todos los diagramas del producto.
    • T4 (Predicción del siguiente paso): Predecir el diagrama del paso siguiente basándose en el video actual.
  • Tareas Diagnósticas:
    • D1 (Discriminación de video): ¿Puede el modelo distinguir entre dos segmentos de video de pasos diferentes? (Prueba de comprensión temporal).
    • D2 (Comprensión de instrucciones): ¿Puede el modelo ordenar correctamente tres diagramas consecutivos? (Prueba de comprensión de instrucciones puras).
• Estrategias de Alineación: Se evalúan tres configuraciones de entrada:
  1. Visual: Solo imágenes (diagrama + video).
  2. Visual+Texto: Imágenes + descripciones textuales generadas por LLM de los diagramas.
  3. Solo Texto: Las imágenes de los diagramas se reemplazan completamente por texto.

B. Evaluación de Modelos
Se evaluaron 19 VLMs (17 de código abierto de 8 familias arquitectónicas, desde 2B hasta 38B parámetros, y 2 modelos propietarios de Google Gemini) bajo las tres estrategias de alineación.

C. Análisis Mecanístico de Tres Capas
Para entender por qué fallan los modelos, se realizó un análisis profundo en cuatro modelos representativos (~8B parámetros):

1. Capa 1 (Representaciones ViT): ¿Comparten diagramas y video un espacio de características común? Se usó CKA (Centered Kernel Alignment) y recuperación cruzada.
2. Capa 2 (Estados Ocultos del LLM): ¿Reduce el texto la dependencia del modelo en las representaciones visuales de los diagramas? Se midió la similitud coseno entre el estado final de predicción y los estados de las modalidades.
3. Capa 3 (Enrutamiento de Atención): ¿Desvía el texto la atención de las entradas visuales? Se analizó la distribución de pesos de atención en las capas del decodificador.

3. Resultados Clave

Rendimiento del Benchmark:

• Bajo Rendimiento General: La precisión en la alineación cruzada (T1) es baja, oscilando entre el 33% y el 65% (incluso para los modelos propietarios más avanzados).
• Dificultad del Razonamiento Procedimental: El rendimiento cae drásticamente al predecir el siguiente paso (T4), indicando que el razonamiento temporal es un cuello de botella mayor que el reconocimiento estático.
• Familia Arquitectónica > Tamaño: La familia del modelo es un predictor más fuerte de la precisión que el número de parámetros. Las arquitecturas más nuevas (ej. Qwen3.5) superan a las versiones anteriores incluso con menos parámetros, y los modelos densos superan a los MoE (Mixture of Experts) en esta tarea específica.
• Efecto Contraintuitivo del Texto:
  • Añadir texto mejora masivamente la comprensión de las instrucciones (D2: +23.6 pp).
  • Sin embargo, añadir texto degrada la alineación diagrama-video (T1: -3.1 pp en promedio). El texto distrae al modelo de las características visuales necesarias para la coincidencia.
• Techo de Comprensión de Video: La tarea D1 (discriminación de video) permanece baja en todos los modelos y estrategias, estableciendo un "techo duro" que ninguna estrategia de entrada supera.

Hallazgos del Análisis Mecanístico:

1. Subespacios Disjuntos: En el nivel del codificador visual (ViT), los diagramas y los frames de video ocupan subespacios representacionales disjuntos (CKA ≈ 0). No hay un espacio compartido donde sean vecinos.
2. Desplazamiento hacia el Texto: Al añadir texto, el modelo cambia su mecanismo de razonamiento de visual a basado en texto. La influencia de las representaciones del diagrama en el estado oculto de predicción disminuye significativamente.
3. Redistribución de Atención: El texto absorbe la atención del modelo, reduciendo la atención asignada tanto a los tokens de video como a los de diagrama.

4. Contribuciones Principales

1. IKEA-Bench: El primer benchmark estandarizado para la alineación de instrucciones de ensamblaje 2D-a-video, con 1,623 preguntas y 6 tipos de tareas.
2. Análisis Mecanístico: Una investigación de tres capas que localiza el fallo en el codificador visual (falta de espacio compartido) y demuestra que el texto actúa como una distracción en lugar de un puente para la alineación visual.
3. Directrices de Diseño: Evidencia empírica que sugiere que para sistemas de guía de ensamblaje:
   • Se debe priorizar la selección de la familia arquitectónica sobre el escalamiento de parámetros.
   • La estrategia de entrada debe ser híbrida (Visual para coincidencia, Texto para comprensión), no una fusión simple.
   • La mejora futura debe centrarse en el codificador visual (entrenamiento contrastivo esquema-real) en lugar de simplemente añadir más texto.

5. Significado e Impacto

Este trabajo revela que la limitación actual de los VLMs en tareas de asistencia robótica o de realidad aumentada no es solo falta de datos o capacidad de razonamiento, sino una falla fundamental en la alineación de representaciones visuales entre estilos abstractos y realistas.

El hallazgo de que el texto "desvía" la atención visual es crucial para el diseño de futuros sistemas multimodales: simplemente añadir descripciones textuales a los diagramas no resuelve el problema de la alineación visual y puede incluso empeorar el rendimiento en tareas de coincidencia. Esto redirige el foco de la investigación hacia el desarrollo de codificadores visuales robustos capaces de entender tanto esquemas técnicos como escenas fotorealistas en un espacio latente unificado, posiblemente mediante pre-entrenamiento contrastivo específico para dominios técnicos.