OrigamiBench: An Interactive Environment to Synthesize Flat-Foldable Origamis

Resumen Técnico: OrigamiBench

1. El Problema

El desarrollo de sistemas de Inteligencia Artificial capaces de actuar y crear en el mundo físico requiere más que el simple reconocimiento de patrones. Estos sistemas necesitan comprender los mecanismos causales y las restricciones físicas que gobiernan los procesos para guiar decisiones secuenciales.

Actualmente, existen dos brechas principales en la evaluación de modelos de IA:

• Desconexión Modal: La mayoría de los benchmarks (puntos de referencia) tratan la percepción visual y el razonamiento programático como problemas separados. Los enfoques visuales carecen de restricciones de razonamiento estructurado, mientras que los simbólicos carecen de fundamentación perceptual.
• Falta de Razonamiento Causal: Los modelos actuales, incluso los grandes modelos de visión-idioma (VLM), tienden a depender de la similitud visual superficial (asociación) en lugar de inferir las transformaciones geométricas y físicas subyacentes (causalidad).

El origami se presenta como un dominio ideal para abordar esto: es un proceso de transformación física continua, restringido por leyes geométricas estrictas (como los teoremas de Maekawa y Kawasaki), que requiere planificación secuencial y comprensión de la topología y la física del papel.

2. Metodología: OrigamiBench

Los autores introducen OrigamiBench, un entorno interactivo y cerrado diseñado para evaluar la capacidad de los modelos para sintetizar formas de origami planas a través de operaciones de plegado.

• Estructura del Entorno:

  • Funciona como un sistema de bucle cerrado. El agente comienza con una hoja en blanco y un objetivo (forma final).
  • Observación Multimodal: En cada paso, el agente recibe un prompt que incluye: la forma objetivo, el estado actual plegado, el patrón de pliegues actual (crease pattern) y retroalimentación binaria sobre la viabilidad del paso anterior.
  • Acción: El agente debe proponer una acción estructurada (JSON) que define un nuevo pliegue (vértices y tipo: Montaña o Valle).
  • Validación: Un motor de ejecución basado en el solucionador Flat-Folder valida la acción. Verifica la viabilidad geométrica (teoremas de plegado plano) y actualiza el estado interno si la acción es válida.

• Tareas de Evaluación:

  1. Evaluación de Un Paso (One-Step Multiple Choice):
     • Se presenta un estado de referencia y cuatro candidatos. El modelo debe identificar cuál se obtiene aplicando exactamente un pliegue adicional.
     • Dos variantes:
       • Asociativa: Los distractores son origamis no relacionados (prueba de similitud visual).
       • Causal: Los distractores provienen de la misma secuencia de plegado pero representan pasos incorrectos o saltos (prueba de razonamiento causal y comprensión de la transformación).
  2. Evaluación Interactiva de Paso Completo (Full-Step Interactive):
     • El modelo debe interactuar con el entorno para sintetizar el origami objetivo desde cero.
     • Métricas:
       • Eficiencia de Consulta (QE): Porcentaje de pasos que contribuyen al resultado final.
       • Similitud Geométrica (GS): Intersección sobre Unión (IoU) entre la silueta generada y la objetivo.
       • Similitud Semántica (SS): Similitud del coseno entre embeddings de CLIP (ajustado finamente) de la imagen generada y la objetivo.

• Dataset:

  • Compuesto por 366 diseños distintos extraídos del proyecto "Flat-Folder".
  • Organizado en categorías semánticas (animales, roles, geometría, etc.) y niveles de complejidad (Fácil, Medio, Difícil) basados en el número de vértices y líneas de pliegue.

3. Contribuciones Clave

1. Nuevo Benchmark Interactivo: OrigamiBench es el primer entorno que integra percepción visual, razonamiento de restricciones físicas y planificación secuencial en un solo marco de evaluación para la síntesis de origami.
2. Diagnóstico de Razonamiento Causal: La distinción entre las tareas "Asociativa" y "Causal" permite aislar si los modelos están aprendiendo patrones visuales o comprendiendo la mecánica de la transformación física.
3. Herramienta de Evaluación Rigurosa: Proporciona un entorno de simulación física verificable (usando Flat-Folder) que evita la ambigüedad de las evaluaciones puramente textuales o de clasificación estática.

4. Resultados Experimentales

Los experimentos se realizaron con varios modelos modernos de visión-idioma (VLM), incluyendo la serie Qwen3-VL, Qwen2.5-VL, InternVL y MiniCPM-V.

• Desempeño en Tarea de Un Paso:

  • Rendimiento Asociativo: Los modelos más grandes (ej. Qwen3-VL-32B) obtienen un rendimiento excepcionalmente alto (~96%), demostrando una gran capacidad para reconocer correspondencias visuales locales.
  • Colapso en Tarea Causal: El rendimiento cae drásticamente en la variante causal. Qwen3-VL-32B alcanza solo un 43.37%, y otros modelos se acercan al azar aleatorio (25%). Esto indica que los modelos no pueden inferir la operación de plegado subyacente cuando la similitud visual superficial no es suficiente.
  • Escalado Insuficiente: Aumentar el tamaño del modelo no garantiza un razonamiento causal mejorado; la brecha entre rendimiento asociativo y causal persiste.

• Desempeño en Tarea Interactiva (Planificación):

  • Aunque los modelos pueden generar acciones sintácticamente válidas (alta QE), fallan en componer planes coherentes de múltiples pasos.
  • En la evaluación de 10 y 25 pasos, los modelos generaron estructuras de origami extremadamente simples (a menudo solo 1 o 2 pliegues), fallando en sintetizar la forma objetivo compleja.
  • Esto confirma la hipótesis de que sin una comprensión causal de las transiciones de plegado, la planificación a largo plazo es imposible.

5. Significado y Conclusiones

El estudio revela una limitación fundamental en los modelos de IA actuales: la integración débil entre las representaciones visuales y lingüísticas/simbólicas.

• Hallazgo Principal: Escalar el tamaño del modelo por sí solo no produce un razonamiento causal sobre transformaciones físicas. Los modelos dependen de la asociación visual en lugar de simular mentalmente la física del plegado.
• Implicaciones Futuras:
  • Se requiere un entrenamiento que fortalezca el acoplamiento entre lenguaje, percepción y geometría, posiblemente mediante representaciones intermedias explícitas (grafos de pliegues, orden de capas).
  • El entorno de simulación cerrado de OrigamiBench puede utilizarse no solo para evaluar, sino para entrenar modelos mediante aprendizaje por refuerzo o supervisión basada en la ejecución.
  • Se propone un enfoque curricular que enfatice la discriminación de "negativos difíciles" dentro de la misma secuencia de plegado para fomentar la comprensión causal.

En resumen, OrigamiBench demuestra que, aunque los VLMs son expertos en reconocer patrones visuales, aún carecen de la capacidad de "pensar" físicamente sobre cómo las acciones secuenciales alteran el estado de un objeto en el mundo real, un requisito esencial para la inteligencia artificial general en entornos físicos.