Benchmarking and Mechanistic Analysis of Vision-Language Models for Cross-Depiction Assembly Instruction Alignment

Resumo Técnico: Benchmarking e Análise Mecanística de Modelos Visão-Linguagem para Alinhamento de Instruções de Montagem entre Representações Diferentes

1. O Problema: A Lacuna de Representação (Depiction Gap)

O artigo aborda o desafio crítico de criar assistentes inteligentes para montagem de produtos (como móveis da IKEA) que utilizam manuais 2D abstratos e sem texto. O objetivo é alinhar instruções de diagramas esquemáticos (desenhos técnicos, silhuetas, setas) com feeds de vídeo em tempo real (fotorealistas, mãos humanas, ambientes desordenados).

O problema central é a "Lacuna de Representação" (Depiction Gap):

• Incompatibilidade Visual: Diagramas e vídeos representam o mesmo passo de montagem, mas não compartilham características visuais diretas (texturas, iluminação, formas reais vs. esquemáticas).
• Complexidade Temporal: Diferente de reconhecimento de objetos estáticos, a tarefa envolve procedimentos temporais onde o estado correto depende de quais peças já foram montadas.
• Limitação Atual: Modelos de Linguagem e Visão (VLMs) existentes falham em alinhar essas duas modalidades distintas, resultando em baixa precisão para tarefas de reconhecimento de passos, verificação de erros e previsão do próximo passo.

2. Metodologia

Os autores propõem uma abordagem em três frentes: criação de um benchmark, avaliação extensiva e análise mecanística.

A. IKEA-Bench (O Benchmark)
Foi construído o primeiro benchmark dedicado ao alinhamento diagrama-vídeo para montagem:

• Dados: Baseado no conjunto IKEA Manuals at Work, cobrindo 29 produtos de móveis da IKEA, 97 vídeos de montagem e 1.623 perguntas.
• Tarefas (6 tipos):
  • T1 (Reconhecimento de Passo): Identificar qual diagrama corresponde ao vídeo atual.
  • T2 (Verificação de Passo): Julgar se o vídeo corresponde a um diagrama específico.
  • T3 (Rastreamento de Progresso): Localizar o passo atual entre todos os diagramas do produto.
  • T4 (Previsão do Próximo Passo): Prever o diagrama do passo seguinte.
  • D1 (Discriminação de Vídeo): Diferenciar dois segmentos de vídeo de passos diferentes (controle unimodal de vídeo).
  • D2 (Compreensão de Instrução): Ordenar corretamente três diagramas consecutivos (controle unimodal de diagrama).
• Estratégias de Alinhamento: Os modelos foram testados sob três condições:
  1. Visual: Apenas imagens (diagrama + vídeo).
  2. Visual+Texto: Imagens + descrições textuais geradas por IA dos diagramas.
  3. Apenas Texto: Diagramas substituídos totalmente por descrições textuais.

B. Avaliação de Modelos

• Escopo: 19 VLMs (17 open-source de 8 famílias arquitetônicas, variando de 2B a 38B parâmetros, e 2 modelos proprietários: Gemini 3.1 Pro e 3 Flash).
• Protocolo: Avaliação zero-shot com decodificação greedy.

C. Análise Mecanística de 3 Camadas
Para entender por que os modelos falham, os autores realizaram uma análise profunda em quatro modelos representativos:

1. Camada 1 (Representação ViT): Verificou se o codificador visual cria um espaço compartilhado para diagramas e vídeos usando CKA (Centered Kernel Alignment), sondas lineares e recuperação cruzada.
2. Camada 2 (Estados Ocultos do LLM): Analisou se a adição de texto reduz a dependência do modelo nas representações dos diagramas, medindo a similaridade cosseno entre o estado final e as representações modais.
3. Camada 3 (Roteamento de Atenção): Investigou se o texto desvia a atenção do modelo das entradas visuais, somando os pesos de atenção por modalidade.

3. Principais Resultados e Descobertas

A. Desempenho Geral e Limitações

• Baixa Precisão: O alinhamento cruzado é difícil. A precisão média no T1 (Reconhecimento) para modelos open-source é de ~45,6%, enquanto os modelos proprietários atingem apenas ~63-65%.
• Fator Arquitetural > Tamanho: A família do modelo prediz a precisão melhor do que o número de parâmetros. Modelos mais novos (ex: Qwen3.5) superam versões anteriores maiores. Arquiteturas densas performam melhor que variantes MoE (Mixture of Experts) de tamanho similar para esta tarefa.
• Teto de Vídeo (Video Ceiling): A tarefa D1 (discriminação de vídeo) permanece baixa em todos os modelos e estratégias, indicando que a compreensão de vídeo procedural é um gargalo fundamental não resolvido por nenhuma estratégia de entrada.

B. O Paradoxo do Texto

• Recuperação de Instrução: A compreensão das instruções de montagem (tarefa D2) melhora drasticamente (+23,6 pontos percentuais) quando os diagramas são substituídos por texto.
• Degradação do Alinhamento: Contrariamente à intuição, adicionar texto aos diagramas (estratégia Visual+Texto) piora o alinhamento diagrama-vídeo (T1), reduzindo a precisão em média em 3,1 pontos. O texto não ajuda a conectar o diagrama ao vídeo; ele distrai o modelo.

C. Descobertas Mecanísticas

1. Subespaços Disjuntos: No nível do codificador visual (ViT), diagramas e vídeos ocupam subespaços representacionais completamente separados (CKA ≈ 0). O projetor visual adiciona alguma estrutura, mas não fecha a lacuna.
2. Desvio de Atenção: A adição de texto reduz significativamente a influência das representações dos diagramas no estado oculto final e desvia a atenção do modelo das entradas visuais (diagrama e vídeo) para os tokens de texto. O modelo passa a raciociar baseado no texto em vez de tentar alinhar visualmente as duas imagens.

4. Contribuições Chave

1. IKEA-Bench: O primeiro benchmark para alinhamento diagrama-vídeo em montagem, cobrindo 1.623 perguntas em 6 tarefas e 3 estratégias de entrada.
2. Análise Mecanística: Localiza a falha de alinhamento cruzado especificamente no codificador visual (que não mapeia os dois estilos para o mesmo espaço) e revela que o texto atua como um distrator, desviando o foco do modelo das modalidades visuais.
3. Diretrizes de Design:
   • Para tarefas de alinhamento visual (T1, T3), o modo Visual (sem texto) é superior.
   • Para compreensão de instruções (D2), o modo Apenas Texto é superior.
   • Sistemas práticos devem rotear tarefas para estratégias diferentes.
   • A prioridade para pesquisa futura deve ser o codificador visual (fine-tuning com dados pareados esquemático-real), e não apenas o aumento da escala de parâmetros ou uso de texto.

5. Significado e Impacto

Este trabalho demonstra que a promessa dos VLMs para assistentes de montagem em realidade mista ainda enfrenta barreiras fundamentais não resolvidas apenas por aumentar o tamanho do modelo. A descoberta de que o texto pode prejudicar o alinhamento visual é contra-intuitiva e crucial para o desenvolvimento de sistemas robustos. O estudo sugere que o caminho para a melhoria não está em "ler melhor" o manual, mas em ensinar o modelo a "ver" a conexão entre o desenho esquemático e a realidade física, possivelmente através de pré-treinamento contrastivo específico para essa lacuna de representação.

O projeto e o código estão disponíveis em: https://ryenhails.github.io/IKEA-Bench/.