From Perception to Action: An Interactive Benchmark for Vision Reasoning

Este artigo apresenta o CHAIN, um benchmark interativo 3D e baseado em física que avalia a capacidade de modelos de visão e linguagem de raciocinar sobre estruturas físicas e planejar sequências de ações, revelando que os modelos atuais ainda têm dificuldades significativas em internalizar restrições causais e geométricas para resolver problemas de longo prazo.

O essencial

Imagine que você está tentando montar um quebra-cabeça 3D complexo, como um castelo de madeira antigo, ou empilhar caixas de diferentes formatos dentro de um caminhão pequeno. Para fazer isso com sucesso, você não pode apenas olhar para as peças; você precisa entender como elas se encaixam, como a gravidade funciona e o que acontece se você mover uma peça errada agora (o que pode travar todo o caminhão depois).

É exatamente sobre isso que trata este novo trabalho de pesquisa chamado CHAIN.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: "Ver" não é o mesmo que "Fazer"

Até hoje, os testes para Inteligência Artificial (IA) eram como um exame de múltipla escolha em uma foto estática.

• O jeito antigo: A IA vê uma foto de um quebra-cabeça e responde: "Qual cor é a peça do meio?". Ela acerta porque apenas "reconheceu" a imagem.
• A realidade: No mundo real, se você tentar montar um móvel, não basta saber como as peças parecem. Você precisa saber em qual ordem montar, senão a mesa vai desmoronar.

Os pesquisadores dizem que as IAs atuais são como turistas que olham um mapa, mas nunca dirigem um carro. Elas sabem onde estão as ruas, mas quando precisam virar na esquina certa, elas batem no poste. Elas falham em entender a física: o que sustenta o que, o que pode se mover e o que está travado.

2. A Solução: O "CHAIN" (O Campo de Treinamento)

Para consertar isso, os criadores do CHAIN construíram um simulador de videogame 3D (como um laboratório virtual) onde a IA tem que interagir, não apenas olhar.

O teste tem duas partes principais, como se fossem dois tipos de desafios em um parque de diversões:

• Desafio 1: O Quebra-Cabeça de Bloqueio (Puzzles)
  Imagine um cadeado de madeira chinês antigo (o famoso "Lock de Kongming"). Para abri-lo, você precisa puxar, girar e deslizar peças em uma ordem muito específica. Se você puxar a peça errada primeiro, ela fica travada para sempre.

  • O teste: A IA precisa descobrir a sequência correta de movimentos. É como tentar desmontar um brinquedo complexo sem quebrar nada.

• Desafio 2: O Empilhamento (Stacking)
  Imagine tentar encher uma mala de viagem com roupas de formatos estranhos, blocos de gelo e caixas, de forma que nada caia e tudo caiba perfeitamente.

  • O teste: A IA precisa colocar as peças uma por uma. Se ela colocar uma peça grande no fundo errado, não sobra espaço para as outras. Ela precisa planejar o futuro enquanto faz o presente.

3. O Resultado: A IA ainda é um "Aprendiz Desajeitado"

Os pesquisadores colocaram as IAs mais inteligentes do mundo (como o GPT-5, Claude, Gemini, etc.) para jogar nesses desafios. O resultado foi decepcionante, mas muito importante:

• Elas "enxergam" bem, mas "pensam" mal: A IA consegue descrever a foto perfeitamente, mas quando tenta agir, ela comete erros bobos. Ela tenta empurrar uma peça que está bloqueada ou coloca um bloco no ar (como se a gravidade não existisse).
• O "Efeito Dominó": Em tarefas longas, se a IA erra o primeiro passo, ela não consegue se recuperar. Ela fica presa em um beco sem saída, como um jogador de xadrez que fez um movimento ruim e agora não tem mais como ganhar.
• Modelos de Vídeo falharam feio: Eles testaram IAs que criam vídeos (como o Sora) para ver se elas podiam simular a desmontagem de um quebra-cabeça. O resultado? Elas criaram vídeos bonitos, mas fisicamente impossíveis (as peças atravessavam umas nas outras ou desapareciam magicamente).

4. Por que isso importa?

Hoje, queremos que robôs ajudem em hospitais, construam casas ou façam entregas. Para um robô fazer isso, ele precisa de raciocínio físico. Ele precisa saber que, se ele pegar um copo cheio de água, não pode correr rápido senão a água derrama.

O CHAIN é como um "teste de direção" para a inteligência artificial. Ele nos mostra que, embora as IAs sejam ótimas em conversar e reconhecer imagens, elas ainda são muito "leigas" em entender como o mundo físico funciona na prática.

Em resumo:
Este paper diz: "Chega de apenas perguntar para a IA 'o que é isso?'. Vamos começar a perguntar: 'como você conserta isso?'". E a resposta atual é: "Ainda precisamos treinar muito antes que elas consigam fazer isso sozinhas sem quebrar tudo."

Resumo técnico

1. O Problema

O artigo identifica uma lacuna crítica na avaliação atual dos Modelos de Visão e Linguagem (VLMs) e modelos baseados em difusão.

• Limitação Atual: As avaliações predominantes (como VQA - Resposta a Perguntas Visuais) são estáticas, de turno único e "agosticas de estrutura". Elas testam a percepção passiva de uma imagem, mas falham em avaliar a capacidade do agente de raciocinar sobre como a geometria, os contatos e as relações de suporte restringem conjuntamente quais ações são possíveis em um ambiente dinâmico.
• A Necessidade: Aplicações do mundo real (agentes corporificados, design interativo, manipulação de longo prazo) exigem que o agente não apenas "veja", mas planeje e execute sequências de ações estruturadas baseadas em restrições físicas. O sucesso depende de acoplar percepção, ação e feedback iterativo, antecipando como escolhas iniciais afetam o espaço de ações futuras.
• A Lacuna: Não está claro se os modelos modernos conseguem resolver problemas físicos estruturados em 3D, cuja viabilidade é governada por restrições geométricas ocultas e dependências impulsionadas por contatos.

2. Metodologia: O Benchmark CHAIN

Para abordar essa lacuna, os autores introduzem o CHAIN (Causal Hierarchy of Actions and Interactions), um benchmark interativo 3D e orientado por física.

Arquitetura e Pipeline

• Ambiente: O benchmark é construído sobre um motor de física (Unity para mecânicas complexas e um motor Python 3D para empilhamento), operando em um protocolo de loop fechado.
• Interação: O agente recebe instruções de tarefa, histórico de interação e observações visuais multiview. Ele deve selecionar ações de um espaço pré-definido, executar a ação no simulador e receber novas observações, repetindo o ciclo até a conclusão ou esgotamento do orçamento de passos.
• Famílias de Tarefas:
  1. Puzzles Mecânicos Intertravados (Interlocking Mechanical Puzzles): Inspirados em travas de madeira chinesas (Kongming/Luban). O agente deve montar ou desmontar estruturas de múltiplas peças. O desafio reside no raciocínio sobre restrições cinemáticas, evitar colisões e entender dependências causais entre componentes (ex: uma peça só pode ser removida após outra).
     • Escala: 32 instâncias (10 fáceis, 12 médias, 10 difíceis).
  2. Empilhamento e Embalagem 3D (3D Stacking and Packing): O agente deve colocar blocos de formas geométricas diversas em um recipiente fixo. O desafio envolve raciocínio espacial 3D, compatibilidade de formas, restrições de orientação e planejamento de longo prazo para garantir estabilidade e preenchimento total sem sobreposição.
     • Escala: 77 instâncias geradas proceduralmente (10 fáceis, 20 médias, 47 difíceis).

Métricas de Avaliação

Os autores propõem uma avaliação tripartite para ir além da simples taxa de sucesso:

1. Sucesso da Tarefa (Task Success): Medido por Pass@1 (sucesso em uma única tentativa).
2. Eficiência do Plano (Plan Efficiency): Avaliado apenas em tarefas resolvidas, medindo o número médio de passos (AvgSteps), a distância para o ótimo (Dist2Opt) e a distância normalizada (NormDist). Isso penaliza comportamentos redundantes ou de "tentativa e erro".
3. Eficiência de Custo (Token & Cost Efficiency): Mede o custo de implantação em termos de tokens e dólares (Solved/Tokens e Solved/USD), capturando o trade-off entre modelos leves e modelos grandes.

3. Contribuições Principais

1. Introdução do CHAIN: Um benchmark de código aberto com 109 níveis interativos distintos, projetado para testar a inferência e exploração de estrutura física (restrições geométricas ocultas, dependências de contato, relações de suporte multi-corpo).
2. Estudo Empírico Unificado: Uma avaliação abrangente de modelos VLMs de última geração (fechados e abertos) e modelos de difusão (vídeo) sob o mesmo protocolo interativo, expondo limitações persistentes no raciocínio estrutural físico.
3. Análise de Falhas Catastróficas: Demonstração de que modelos de "mundo" (world models) atuais falham sistematicamente em gerar sequências de desmontagem fisicamente válidas, sofrendo de alucinações estruturais e violações de leis físicas.

4. Resultados Principais

O estudo avaliou modelos como GPT-5.2, Claude-Opus/Sonnet, Gemini-3, Qwen3-VL, Kimi-k2.5 e geradores de vídeo como SORA 2 e HUNYUANVIDEO.

• Desempenho Geral: Os modelos fechados dominam, mas o desempenho geral é baixo. O GPT-5.2 obteve o melhor resultado agregado (Pass@1 = 22,9%), seguido por modelos de código aberto como o Kimi-k2.5 (13,8%).
• Diferença entre Tarefas: Há uma discrepância significativa entre as tarefas. Os modelos performam muito melhor em Empilhamento (até 31,2% de sucesso) do que em Puzzles Intertravados (máximo de 3,1% para a maioria, e 0% para muitos). Isso indica que o raciocínio sobre restrições de intertravamento ocultas e sequenciais é um gargalo crítico.
• Falhas Comuns:
  • Puzzles: Falha em identificar o primeiro movimento crítico que desbloqueia a estrutura, levando a exploração aleatória e tentativa e erro excessiva.
  • Empilhamento: Falha em planejamento global; modelos tendem a colocar itens "fáceis" primeiro, fragmentando o espaço livre restante e tornando a conclusão impossível (falhas de longo prazo).
• Avaliação de Modelos de Mundo (Vídeo): Ao tentar gerar vídeos de desmontagem de travas de madeira, nenhum modelo de geração de vídeo (SORA, WAN, VEO, etc.) conseguiu completar a tarefa. Eles exibiram falhas catastróficas, como violação de restrições de intertravamento, teletransporte de objetos, deformação de geometria e alucinação de peças inexistentes.
• Interação vs. One-Shot: A avaliação interativa superou consistentemente a abordagem "one-shot" (sem feedback). Em puzzles, a acurácia caiu de 3,1% (interativo) para 0% (one-shot), provando que a descoberta iterativa de restrições é essencial.
• Custo vs. Desempenho: Modelos mais fortes tendem a ser mais caros e a gastar mais tokens devido a mais tentativas de backtracking, enquanto modelos leves são baratos mas falham em sucesso.

5. Significado e Impacto

• Mudança de Paradigma: O CHAIN força a transição da avaliação de "percepção passiva" para "resolução ativa de problemas" em ambientes físicos.
• Diagnóstico de Limitações: O benchmark revela que, embora os VLMs modernos sejam excelentes em reconhecimento de objetos e fatos, eles não internalizam a estrutura física causal. Eles não conseguem prever como uma ação inicial restringirá o espaço de ações futuras.
• Direção Futura: Os resultados sugerem que avanços em agentes corporificados exigirão não apenas melhores modelos de linguagem, mas arquiteturas capazes de raciocínio espacial profundo, planejamento de longo prazo e integração robusta com simulações físicas. O benchmark fornece baselines reprodutíveis para catalisar esse progresso.

Em resumo, o artigo demonstra que a capacidade de "ver" não é suficiente para "agir" em ambientes físicos complexos, e o CHAIN estabelece um novo padrão rigoroso para medir essa lacuna entre percepção e ação.