OrigamiBench: An Interactive Environment to Synthesize Flat-Foldable Origamis

Título: OrigamiBench: Um Ambiente Interativo para Sintetizar Origamis Planos Dobráveis

1. Problema e Motivação

O desenvolvimento de sistemas de IA capazes de atuar e criar no mundo físico exige mais do que simples reconhecimento de padrões. Esses sistemas precisam compreender os mecanismos causais e as restrições físicas que governam processos físicos para guiar decisões sequenciais.

• Limitação Atual: A maioria dos benchmarks existentes trata a percepção visual e o raciocínio programático como problemas separados. Os benchmarks visuais focam no reconhecimento, enquanto os simbólicos focam no raciocínio lógico sem ancoragem perceptiva.
• O Desafio: É necessário um ambiente que integre percepção, raciocínio sobre restrições geométricas/físicas e planejamento sequencial em um único domínio estruturado.
• A Escolha do Domínio: A origami (dobraduras de papel) é escolhida como o campo de teste ideal. Ela transforma uma folha plana em uma forma 2D alvo através de uma sequência de dobras, sujeita a restrições rígidas de validade geométrica e "dobrabilidade plana" (flat-foldability). É um domínio compacto para raciocínio sobre transformações geométricas, mas com um espaço de design aberto o suficiente para testar generalização.

2. Metodologia: O OrigamiBench

Os autores introduzem o OrigamiBench, um benchmark interativo onde os modelos propõem dobras iterativamente e recebem feedback sobre a validade física e a similaridade com a configuração alvo.

2.1. Organização dos Dados

• Dataset: Composto por 366 designs distintos de origami, coletados do projeto "Flat-Folder".
• Formato: Os dados são codificados no formato .fold, que define coordenadas de vértices, conectividade de arestas, tipos de dobra (Montanha/Valley) e definições de faces.
• Classificação: Os dados são organizados em duas dimensões:
  1. Categoria Semântica: Animais (aquáticos, aves, insetos, mamíferos, etc.), geometria, roupas, objetos, etc.
  2. Nível de Complexidade: Fácil, Médio e Difícil (baseado na contagem de vértices e linhas de dobra).

2.2. Ambiente Interativo

O ambiente opera como um sistema de laço fechado (closed-loop):

1. Estado: Mantido internamente como um objeto CreasePattern (padrão de dobras).
2. Observação: O agente recebe um prompt multimodal contendo:
   • A forma dobrada alvo (Target).
   • O estado atual dobrado (Current Folded State).
   • O padrão de dobras atual 2D (Current Crease Pattern).
   • Feedback binário sobre a viabilidade da ação anterior.
3. Ação: O modelo deve outputar um objeto JSON estruturado definindo uma nova dobra (vértices iniciais e finais, e tipo de dobra: Montanha 'M' ou Valley 'V').
4. Validação e Execução:
   • O ambiente valida a sintaxe do JSON.
   • Um solucionador geométrico (baseado no Flat-Folder) verifica a viabilidade física (teoremas de Maekawa e Kawasaki) e busca estados dobrados válidos.
   • Se válido, o estado é atualizado e novas observações são renderizadas.

2.3. Tarefas de Avaliação

O benchmark avalia os modelos através de duas tarefas principais:

1. Avaliação de Um Passo (One-Step Multiple Choice):
   • Objetivo: Testar a percepção e o entendimento causal de uma única transformação.
   • Método: Dado um estado de referência e quatro candidatos, o modelo deve escolher qual resulta de exatamente uma dobra adicional.
   • Variantes:
     • Associativa: Distratores são origamis não relacionados (testa similaridade visual).
     • Causal: Distratores vêm da mesma sequência de dobras, exigindo raciocínio sobre a operação específica (testa raciocínio causal).
2. Avaliação Interativa Completa (Full-Step Interactive):
   • Objetivo: Avaliar o planejamento sequencial para sintetizar o alvo a partir de uma folha em branco.
   • Métricas:
     • Eficiência de Consulta (QE): Percentual de passos que contribuem para o resultado final.
     • Similaridade Geométrica (GS): Intersecção sobre União (IoU) entre as máscaras das formas.
     • Similaridade Semântica (SS): Similaridade de cosseno entre embeddings de CLIP (fine-tuned) da forma gerada e da alvo.

3. Resultados Experimentais

Os experimentos foram realizados com vários Modelos de Linguagem Visuais (VLMs) modernos, incluindo a série Qwen3-VL, Qwen2.5-VL, InternVL e MiniCPM-V.

3.1. Avaliação de Um Passo

• Desempenho Associativo vs. Causal:
  • Nos cenários Associativos (similaridade visual), modelos grandes como o Qwen3-VL-32B atingiram alta precisão (96.18%), superando significativamente modelos menores.
  • Nos cenários Causais (raciocínio sobre a operação de dobra), o desempenho caiu drasticamente. O Qwen3-VL-32B caiu para 43.37%, e a maioria dos outros modelos ficou próxima do acaso aleatório (25%).
• Conclusão: A escala do modelo (tamanho) melhora a associação visual, mas não garante raciocínio causal sobre transformações físicas. Os modelos falham em distinguir entre similaridade superficial e a causa geométrica da mudança.

3.2. Avaliação Interativa Completa

• Falha no Planejamento: Mesmo os modelos que interagiam com o ambiente e geravam ações sintaticamente válidas (alta QE) falharam em compor planos coerentes de múltiplos passos.
• Resultado: Os modelos tendiam a gerar estruturas de origami muito simples (1 ou 2 dobras), incapazes de evoluir para formas complexas.
• Causa Raiz: A falta de entendimento causal das transformações físicas impede o planejamento de longo prazo. As representações visuais e linguísticas permanecem fracamente integradas.

4. Contribuições Principais

1. Novo Benchmark Interativo: Introdução do OrigamiBench, que une percepção visual, raciocínio geométrico e planejamento sequencial em um ambiente de física simulada rigorosa.
2. Diagnóstico de Raciocínio Causal: Demonstração de que benchmarks estáticos (múltipla escolha) podem mascarar a incapacidade de raciocínio causal, especialmente quando comparados a variantes "causais" mais difíceis.
3. Análise de Limitações de Escala: Evidência empírica de que aumentar o tamanho do modelo (scaling) não resolve automaticamente o problema de raciocínio físico e causal em VLMs.
4. Ferramentas de Avaliação: Desenvolvimento de métricas específicas (IoU geométrico e similaridade semântica via CLIP fine-tuned) para avaliar a qualidade da síntese de origami.

5. Significado e Trabalhos Futuros

• Significado: O trabalho destaca que a inteligência artificial para o mundo físico requer mais do que reconhecimento de padrões; exige uma compreensão profunda de como ações alteram estados físicos. O OrigamiBench serve como um "teste de estresse" para a integração entre visão e raciocínio lógico.
• Futuro:
  • Fortalecer o acoplamento entre linguagem, percepção e geometria através de representações intermediárias explícitas (ex: grafos de dobras).
  • Utilizar o simulador como um ambiente de aprendizado por reforço (RL) para treinamento baseado em execução.
  • Expandir para padrões de dobras mais complexos e restrições geométricas mais rigorosas.

Em resumo, o OrigamiBench revela que, embora os VLMs modernos sejam excelentes em reconhecer formas, eles ainda lutam para entender e planejar as transformações causais necessárias para criar estruturas físicas complexas, indicando uma lacuna fundamental na integração de representações visuais e simbólicas.