Resumo Técnico: FLAT-PACK BENCH

Declaração do Problema

Os Modelos Atuais de Visão e Linguagem (LVLMs) possuem capacidades avançadas de compreensão de vídeo, contudo, os benchmarks existentes focam predominantemente em tarefas de granularidade grosseira, como segmentação de ações, classificação, legendagem e recuperação. Esses benchmarks frequentemente dependem de entidades facilmente identificáveis (por exemplo, objetos domésticos, animais) e cenas desobstruídas, falhando em testar a resistência dos modelos em cenários complexos do mundo real que exigem raciocínio espaço-temporal de alta granularidade.

Muitas aplicações práticas, como montagem de móveis, culinária ou reparo de equipamentos, exigem a capacidade de:

1. Rastrear objetos específicos ao longo de demonstrações longas e multi-etapas.
2. Localizar eventos e estados temporais específicos.
3. Compreender interações físicas (por exemplo, acoplamento de peças, contato e conexão).
4. Resolver referências espaciais em ambientes desordenados onde as peças podem parecer semelhantes.

O artigo argumenta que os LVLMs atuais carecem das habilidades necessárias para lidar com esses desafios espaço-temporais de alta granularidade, uma lacuna não adequadamente abordada pelos frameworks de avaliação existentes.

Metodologia: FLAT-PACK BENCH

Para abordar essa lacuna, os autores introduzem o FLAT-PACK BENCH, um novo benchmark centrado em tarefas de montagem de móveis. O benchmark é construído utilizando o conjunto de dados IKEA-Manuals-at-Work (IMaW), aumentado com novas anotações significativas para suportar avaliação de alta granularidade.

Construção de Dados

• Fonte: 50 vídeos de montagem de móveis provenientes do conjunto de dados IMaW, cobrindo 24 itens de móveis únicos com uma média de 7 peças cada.
• Anotações: Os autores curaram manualmente segmentações para 343 quadros para criar prompts visuais, pois as anotações originais do IMaW estavam incompletas (limitadas a subconjuntos ou peças atualmente sendo conectadas). Eles também adicionaram anotações de conexão peça-a-peça de alta granularidade especificando quais peças se conectam, a quê e quando.
• Tipos de Vídeo: O benchmark utiliza dois formatos de vídeo:
  • Vídeos Recortados: Vídeos realistas e contínuos com cartões de instrução apenas em texto removidos.
  • Vídeos de Quadros-Chave: Sequências concisas de quadros salientes (1 FPS) oferecendo uma visão simplificada do processo de montagem.

Categorias de Tarefas

O benchmark avalia LVLMs em quatro tarefas específicas de compreensão de vídeo de alta granularidade, apresentadas como perguntas de múltipla escolha (MCQs) acopladas a prompts visuais (quadros segmentados e rotulados):

1. Ordenação Temporal (TORD): Determinar a sequência correta de eventos de conexão entre peças.
2. Localização Temporal (TLOC): Identificar eventos imediatamente antes ou depois de um estado de montagem específico mostrado em um prompt visual.
3. Rastreamento (TRACK): Recuperar correspondências corretas entre peças em dois quadros embaralhados (Imagem A e Imagem B) usando o contexto do vídeo.
4. Acoplamento (MATE): Determinar se duas peças específicas estão fisicamente conectadas na montagem final.

Configuração de Avaliação

• Modelos: O benchmark avalia uma ampla gama de LVLMs proprietários (por exemplo, GPT-5, Gemini 2.5/3.1) e de código aberto (por exemplo, InternVL3, Qwen-VL, variantes LLaVA), bem como modelos especializados treinados para compreensão regional ou sensibilidade temporal.
• Estratégias de Prompting: O estudo testa três configurações de prompt visual:
  • Mídia Mista: Vídeo e imagens de prompt visual fornecidos separadamente.
  • Colagem: Prompts visuais incorporados como uma grade dentro de cada quadro do vídeo.
  • Concatenação: Prompts visuais concatenados como os quadros iniciais do vídeo.
• Baselines: O desempenho é comparado contra o acaso aleatório, baselines baseadas em frequência e desempenho humano (coletado de estudantes de Ciência da Computação e trabalhadores de fontes crowdsourced).
• Abordagem Agêntica: Os autores também avaliam um "Agente de Vídeo Temporal" (TVA) que decompõe tarefas em subproblemas de rastreamento (usando SAM2) e raciocínio de contato (usando VLMs) para verificar se pipelines aumentados por ferramentas podem superar as limitações dos modelos.

Resultados Chave

Os experimentos revelam que os LVLMs mais avançados lutam significativamente com o raciocínio espaço-temporal de alta granularidade:

• Lacuna de Desempenho: O desempenho humano no benchmark é excepcionalmente alto (94,18% de precisão), enquanto o modelo proprietário de melhor desempenho (GPT-5) alcança apenas ~38% de precisão. Modelos de código aberto performam de forma similar, com o melhor (InternVL3-78B) atingindo ~41%.
• Dificuldades Específicas por Tarefa:
  • Rastreamento (TRACK): Os modelos performam particularmente mal em tarefas de rastreamento (por exemplo, GPT-5: 25,68%, InternVL3-78B: 42,02%), indicando uma falha em manter a identidade do objeto através de oclusões, cortes de câmera e rotações.
  • Ordenação Temporal (TORD): Os modelos mostram melhoria modesta sobre o acaso, mas falham em inferir confiavelmente sequências complexas de conexão.
  • Acoplamento (MATE): O desempenho é ligeiramente melhor, mas ainda muito abaixo dos níveis humanos, sugerindo dificuldades em compreender estados de contato físico.
• Uso Ineficaz do Contexto Temporal: Quando avaliados em uma versão "apenas imagem" do benchmark (removendo o vídeo), o desempenho do modelo caiu significativamente (em ~8,8% no geral), mas, notavelmente, o desempenho nas tarefas de Acoplamento e Localização Temporal na verdade melhorou ou permaneceu estável. Isso sugere que os modelos não estão utilizando efetivamente a informação temporal do vídeo, dependendo em vez disso de pistas de imagem estáticas e raciocínio de senso comum.
• Análise de Erros: A análise qualitativa das autoexplicações dos modelos (via Gemini 2.5 Pro) identificou as principais fontes de erro como Ancoragem de Objetos (37,28%) e Raciocínio Espaço-Temporal (32,45%), confirhando falhas no rastreamento de objetos e na compreensão de suas interações ao longo do tempo.
• Limitações Agênticas: O agente TVA, que tenta resolver tarefas chamando ferramentas externas (SAM2 para rastreamento, VLM para contato), também performou mal (11,79% de precisão). A análise mostrou que as ferramentas subjacentes em si (SAM2 para rastreamento no ambiente natural, VLMs para raciocínio de contato) são gargalos, falhando em fornecer os primitivos confiáveis necessários para o sucesso do agente.

Significado e Afirmações

O artigo afirma que o FLAT-PACK BENCH expõe uma limitação crítica nos LVLMs atuais: apesar do rápido progresso na compreensão geral de vídeo, esses modelos carecem do raciocínio espaço-temporal robusto e de alta granularidade necessário para tarefas físicas práticas e passo a passo.

• Contribuição do Benchmark: O FLAT-PACK BENCH fornece um campo de testes rigoroso para avaliar a capacidade dos modelos de rastrear objetos, compreender interações físicas e raciocinar sobre sequências temporais em cenários do mundo real desordenados.
• Limitações dos Modelos: Os resultados indicam que os modelos atuais (tanto proprietários quanto de código aberto) ainda não são capazes de aproveitar efetivamente a informação temporal de vídeos ou compreender interações espaciais como contato físico.
• Limitações das Ferramentas: A falha da baseline agêntica sugere que simplesmente decompor tarefas e usar ferramentas de visão de última geração (como SAM2) é insuficiente; as capacidades fundamentais dessas ferramentas em cenários "no ambiente natural" também são limitadas.
• Direções Futuras: Os autores sugerem que trabalhos futuros devem focar no ajuste fino específico de tarefas com dados simulados sintéticos, técnicas aprimoradas de prompt visual para compreensão regional e pipelines agênticos mais sofisticados que possam aproveitar sinais de baixo nível como geometria 3D e profundidade.

O artigo conclui que alcançar o nível de compreensão espaço-temporal demonstrado por humanos neste domínio permanece um desafio significativo para o campo da visão computacional e da IA multimodal.