From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs

Este trabalho apresenta o conjunto de dados M2AD, que alinha manuais de instruções com vídeos de montagem de móveis, para avaliar a capacidade de Multimodal Large Language Models (MLLMs) atuarem como assistentes em tempo real em tarefas procedimentais, revelando que, embora compreendam sequências, seu desempenho ainda é limitado por restrições arquitetônicas e de hardware.

O essencial

Imagine que você está tentando montar um móvel novo, aquele que vem em uma caixa gigante com parafusos, pregos e um manual de instruções cheio de desenhos. Você já deve ter sentido aquela frustração: "Será que eu já coloquei esse parafuso? Será que essa peça é a da página 4 ou da página 5?".

Bem, os cientistas deste artigo criaram uma nova ferramenta para ensinar os computadores a serem os ajudantes perfeitos nessa situação. Vamos chamar esse projeto de "O Manual que Fala com a Câmera".

Aqui está a explicação do que eles fizeram, usando uma linguagem bem simples:

1. O Problema: O Robô Cego

Hoje, temos inteligência artificial (IA) que é muito boa em ler texto e outra que é boa em ver imagens. Mas, quando você pede para um robô te ajudar a montar um móvel, ele precisa de ambas as coisas ao mesmo tempo: ele precisa ver o que você está fazendo (pelo celular ou óculos de realidade aumentada) E ler o manual de instruções.

O problema é que os robôs atuais são como alunos que estudaram muito, mas nunca praticaram. Eles sabem o que é um parafuso e sabem ler um manual, mas quando você coloca os dois juntos na hora H, eles se confundem. Eles não sabem se você já terminou o passo 3 ou se está prestes a começar o passo 4.

2. A Solução: O "M2AD" (O Treino de Montagem)

Para resolver isso, os autores criaram um novo "campo de treinamento" chamado M2AD.

• O que é? É uma coleção de vídeos reais de pessoas montando móveis da IKEA, lado a lado com os manuais de instruções originais.
• A Mágica: Eles não apenas jogaram os vídeos na internet. Eles "marcaram" cada segundo do vídeo com o passo exato do manual. É como se eles tivessem criado um mapa do tesouro onde cada movimento da mão do montador corresponde a uma linha específica no papel.
• Por que é especial? Diferente de outros testes que são muito rígidos (como um teste de múltipla escolha), este treino é baseado na realidade bagunçada do mundo real. As pessoas pulam passos, voltam atrás, olham para o manual de um jeito diferente. O M2AD ensina a IA a lidar com essa bagunça.

3. O Teste: Colocando os Robôs à Prova

Os autores pegaram vários "cérebros" de IA (chamados de Modelos Multimodais) que qualquer pessoa pode baixar e rodar em computadores comuns (sem precisar de supercomputadores caros) e os colocaram para jogar três jogos:

1. O Jogo do "Já Acabou?": A IA vê uma foto do móvel e uma página do manual. Ela precisa dizer: "Sim, o usuário terminou este passo" ou "Não, ainda falta algo".
   • Resultado: Alguns robôs acertaram, mas muitos ficaram perdidos, como se tivessem esquecido o que viram segundos antes.
2. O Jogo da "Página Certa": A IA vê o móvel sendo montado e recebe duas páginas do manual. Ela precisa escolher qual página corresponde ao que está acontecendo na foto.
   • Resultado: A maioria dos robôs chutou. Eles não conseguiam conectar a imagem do móvel com o desenho abstrato do manual.
3. O Jogo do "Qual Passo é Esse?": A IA vê a montagem e deve dizer exatamente em qual número do passo o usuário está (ex: "Ele está no passo 12").
   • Resultado: Foi o mais difícil. Um modelo chamado MolMo se saiu muito bem, quase como um gênio, porque ele tinha uma habilidade especial de "apontar" para as coisas na imagem, como se dissesse: "Olhe para a esquerda, veja o parafuso, isso é o passo 12".

4. O Que Aprendemos? (A Lição da História)

O estudo mostrou duas coisas principais:

• Os Robôs ainda são "Crianças": Eles precisam de ajuda. A maioria dos modelos atuais não consegue entender sozinha a relação entre um desenho no papel e uma peça de madeira real. Eles precisam de instruções muito detalhadas (o que é caro e demorado para criar).
• O Futuro é Promissor: Alguns modelos, como o MolMo e o LLaVa-Video, mostraram que têm potencial. Eles conseguem entender que "ver" e "ler" devem acontecer juntos. Eles começam a ter aquela intuição de que, se o usuário está segurando uma chave de fenda, ele provavelmente está no meio de um passo de apertar parafusos.

Resumo em uma Analogia

Pense nos modelos de IA atuais como estagiários muito inteligentes, mas inexperientes.

• Você entrega a eles o manual e a caixa de ferramentas.
• Eles sabem o que é cada ferramenta (leem o manual).
• Mas, quando você pede para eles olharem para a mesa e dizerem o que você está fazendo, eles ficam confusos. "Ah, você está segurando um martelo? Será que é para bater prego ou para abrir uma lata?"

O M2AD é o manual de estágio que ensina esses estagiários a observar, comparar e entender o contexto. O estudo diz: "Eles ainda não são mestres carpinteiros, mas com o treino certo (e modelos melhores), em breve eles poderão ser os ajudantes perfeitos que nunca se cansam e nunca se esquecem de onde você parou."

Conclusão: O trabalho abre caminho para assistentes de IA que, no futuro, poderão usar óculos de realidade aumentada para olhar para o seu móvel e dizer: "Ei, você esqueceu de colocar essa peça na página 5 antes de fechar a porta!", tornando a montagem de móveis (e outras tarefas técnicas) muito menos estressante para todos nós.

Resumo técnico

1. Problema e Motivação

O avanço dos Grandes Modelos de Linguagem (LLMs) evoluiu para Modelos de Linguagem Multimodais (MLMs), capazes de processar texto, imagens e vídeos. A motivação central deste trabalho é avaliar a capacidade desses MLMs de atuarem como assistentes técnicos em tempo real para tarefas procedimentais complexas, especificamente a montagem de móveis.

O problema identificado é que os benchmarks existentes (como IKEA Manuals at Work, ENIGMA-51 ou HoloAssist) focam frequentemente em tarefas atômicas (reconhecimento de ação, detecção de erros) ou exigem anotações extremamente detalhadas e laboriosas (nível de quadro, limites de objetos). Isso não reflete a complexidade de cenários do mundo real, onde um assistente precisa:

• Rastrear o progresso de uma sequência de passos.
• Correlacionar visualmente uma página de manual com a ação em vídeo.
• Identificar em qual passo específico o usuário se encontra.
• Operar com restrições de hardware (dispositivos de consumo) e privacidade de dados (processamento local).

2. Metodologia: O Dataset M2AD

Para abordar essas lacunas, os autores introduziram o M2AD (Manual-to-Action Dataset).

• Origem dos Dados: O dataset consiste em pares de vídeos e manuais de instruções de móveis da IKEA. Os vídeos foram extraídos do YouTube (cenários realistas, não controlados) e os manuais foram raspados do site oficial.
• Escala: Contém 53 peças de móveis únicas, com 1.228 anotações no total, cobrindo uma média de 23,2 passos por vídeo.
• Anotação: Diferente de datasets anteriores que exigem anotações frame-a-frame complexas, o M2AD utiliza uma abordagem de anotação mínima. Cada segmento de vídeo é alinhado com um passo específico do manual, fornecendo:
  • Timestamps de início e fim do passo.
  • Número do passo e número da página do manual.
• Perspectivas: O dataset inclui tanto visões egocêntricas (primeira pessoa, simulando VR/AR) quanto exocêntricas (terceira pessoa, câmeras externas), capturando a variabilidade de oclusões e mudanças de cena.
• Qualidade: A concordância entre anotadores (IAA) foi medida via Intersection-over-Union (IoU), atingindo uma média de ~70%, validando a consistência das anotações temporais.

3. Experimentos e Configuração

Os autores realizaram experimentos de zero-shot (sem treinamento adicional) em hardware de nível de consumidor (Intel Core i9, 64GB RAM, NVIDIA RTX 4090) para garantir reprodutibilidade e simular cenários industriais reais. Foram testados 8 MLMs de código aberto (incluindo LLaVa-Video, Qwen2-VL, MolMo, Ovis, Pixtral, etc.).

Foram avaliadas três tarefas principais:

1. Detecção de Conclusão do Passo (Step Completion Detection): Dado um vídeo e uma página do manual, o modelo deve determinar se o passo mostrado no vídeo foi concluído com sucesso.
2. Detecção do Passo (Step Detection): Dado um vídeo e duas páginas do manual (uma correta, uma distratora), o modelo deve identificar se a página contém instruções relevantes para a ação no vídeo.
3. Identificação do Passo (Step Identification): Dado um vídeo e duas páginas do manual, o modelo deve identificar o número exato do passo sendo executado (problema de classificação multiclasse).

4. Resultados Principais

Os resultados revelaram limitações significativas nos modelos atuais, mas também destacaram capacidades promissoras:

• Desempenho Geral: A maioria dos modelos teve desempenho próximo ao de um classificador aleatório nas tarefas de identificação e detecção de passos, indicando dificuldades em raciocínio multimodal complexo.
• Destaque do LLaVa-Video e Qwen2-VL: Estes modelos apresentaram os melhores resultados nas tarefas de conclusão e detecção de passos, superando ligeiramente a linha de base aleatória.
• Destaque do MolMo: Surpreendentemente, o MolMo obteve o melhor desempenho na tarefa de Identificação do Passo (79,56% de precisão), apesar de não suportar nativamente raciocínio intercalado texto-imagem. Os autores atribuem isso à sua capacidade de "apontar" para entidades na imagem e ao raciocínio espacial (usando referências de "esquerda" e "direita" para correlacionar o vídeo com o manual lado a lado).
• Limitações Arquitetônicas: O desempenho foi severamente limitado pela incapacidade de muitos modelos de processar múltiplas imagens intercaladas com texto e pela restrição de janelas de contexto em hardware de consumo. Modelos que não conseguiam integrar bem as pistas visuais e textuais falharam em tarefas que exigiam compreensão sequencial.

5. Contribuições e Significância

• Novo Benchmark Realista: O M2AD preenche a lacuna de datasets que avaliam assistentes multimodais em tarefas procedimentais de longo prazo, com anotações mais eficientes e focadas na correspondência entre manual e ação.
• Validação de Hardware de Consumo: Ao rodar em GPUs de consumidor, o trabalho demonstra a viabilidade e os limites de implantar assistentes de IA locais, preservando a privacidade dos dados industriais.
• Direções Futuras: O estudo sugere que o futuro dos assistentes técnicos depende de:
  • Melhoria no raciocínio espacial e na capacidade de apontar para objetos.
  • Suporte nativo a raciocínio intercalado (texto e múltiplas imagens).
  • Redução da dependência de anotações granulares, confiando mais na capacidade de compreensão intrínseca dos modelos pré-treinados.

Em suma, o paper conclui que, embora os MLMs abertos tenham potencial para reduzir custos de anotação, eles ainda enfrentam barreiras arquitetônicas significativas para serem assistentes confiáveis em tarefas técnicas complexas e sequenciais, exigindo avanços na integração multimodal e no raciocínio espacial.