OrigamiBench: An Interactive Environment to Synthesize Flat-Foldable Origamis

Probleemstelling

Het ontwikkelen van AI-systemen die kunnen plannen, handelen en creëren in de fysieke wereld vereist meer dan alleen patroonherkenning. Systemen moeten een causaal begrip hebben van fysieke processen en beperkingen om sequentiële beslissingen te kunnen nemen. Bestaande benchmarks behandelen visuele perceptie en programmatische redenering vaak als gescheiden problemen:

• Visuele vraag-antwoord benchmarks missen gestructureerde redeneerbeperkingen.
• Symbolische benchmarks missen perceptuele onderbouwing.
• Hybrid-benchmarks in fysieke simulaties zijn moeilijk te ontwerpen vanwege de spanning tussen realisme en de noodzaak van gestructureerde representaties voor systematische evaluatie.

Er is een gebrek aan een domein dat visuele waarneming, redeneren over geometrische en fysieke beperkingen, en sequentieel plannen op een compacte en evalueerbare manier integreert.

Methodologie: OrigamiBench

De auteurs introduceren OrigamiBench, een interactieve benchmark om te evalueren of AI-modellen geometrische transformaties kunnen redeneren tijdens het synthetiseren van vormen door vouwoperaties.

1. Datapreparatie:

• Het dataset bestaat uit 366 unieke origami-ontwerpen (gebaseerd op het "Flat-Folder" project).
• De data is georganiseerd in twee dimensies: semantische categorie (bijv. dieren, geometrie, rollen) en complexiteitsniveau (Gemakkelijk, Middel, Moeilijk), gebaseerd op het aantal hoekpunten en vouwlijnen.
• Elk ontwerp is gecodeerd in het .fold formaat, dat vertex-coördinaten, randconnectiviteit, vouwtoewijzingen (berg/vallei) en vlakdefinities bevat.

2. Interactieve Omgeving:

• De omgeving fungeert als een gesloten lus-systeem. Een agent moet een blanco vel papier stap voor stap vouwen tot een doelvorm.
• Observatie: De agent ontvangt een multimodale prompt met drie beelden: het doel (gevouwen), de huidige staat (gevouwen) en het huidige vouwpatroon (crease pattern), plus feedback over de haalbaarheid van de vorige actie.
• Actie: De agent moet een gestructureerde JSON-actie uitvoeren om een nieuwe vouwlijn toe te voegen (coördinaten en type: Berg 'M' of Vallei 'V').
• Validatie: Een "Flat-Folder" solver valideert elke actie op geometrische haalbaarheid (conform Maekawa's en Kawasaki's theorema's) voordat de staat wordt bijgewerkt.

3. Evaluatietaakken:

• Taak 1: One-Step Multiple Choice Evaluation: Het model moet het juiste resultaat voorspellen van precies één extra vouw op een referentiestaat, gegeven vier kandidaten. Dit wordt getest in twee varianten:
  • Associatief: Distractoren zijn willekeurig gekozen (visuele gelijkenis).
  • Causaal: Distractoren komen uit dezelfde vouwsequentie (vereist begrip van de onderliggende transformatie).
• Taak 2: Full-Step Interactive Evaluation: Het model moet interactief een volledige vouwsequentie plannen om een doelvorm te bereiken. Prestaties worden gemeten met:
  • Query Efficiency (QE): Percentage stappen dat bijdraagt aan het eindresultaat.
  • Geometric Similarity (GS): Intersection over Union (IoU) van de silhouetten.
  • Semantic Similarity (SS): Cosine-similariteit van CLIP-embeddings.

Belangrijkste Resultaten

Experimenten met moderne Vision-Language Models (VLMs) zoals Qwen3-VL, Qwen2.5-VL en InternVL leverden drie cruciale bevindingen op:

1. Schalen is niet voldoende voor causaal redeneren: Hoewel grotere modellen (bijv. Qwen3-VL-32B) uitstekend presteren in de Associatieve taak (96% nauwkeurigheid), daalt hun prestatie drastisch in de Causale taak (43%). Dit suggereert dat ze visuele patronen goed kunnen matchen, maar geen echt begrip hebben van de fysieke transformaties.
2. Verzwakte integratie van visie en taal: De grote kloof tussen associatieve en causale prestaties wijst erop dat symbolische concepten (regels in de prompt) niet effectief worden verankerd in de visuele perceptie van het model.
3. Gebrek aan coherent meerstapsplanning: In de interactieve evaluatie konden modellen, ondanks het genereren van syntactisch geldige acties, geen coherent meerstapsplan vormen. Ze synthesiseerden vaak zeer simpele structuren en faalden bij het oplossen van het volledige synthese-probleem.

Belangrijkste Bijdragen

• OrigamiBench: Een nieuw, interactief benchmark-domein dat visuele perceptie, fysieke beperkingen en sequentieel plannen integreert in een gestructureerde omgeving.
• Diagnostisch Kader: Het onderscheid tussen associatief en causaal redeneren biedt een scherpere meetlat voor de werkelijke fysieke intelligentie van multimodale modellen dan bestaande benchmarks.
• Evaluatie van VLMs: Het paper levert empirisch bewijs dat het simpelweg vergroten van modelgrootte niet leidt tot het verwerven van causaal begrip van fysieke transformaties.

Betekenis en Toekomstperspectief

De studie benadrukt dat voor AI-systemen die in de fysieke wereld opereren, causaal redeneren en visuele verankering cruciaal zijn, en dat dit niet vanzelfsprekend is door schaling alleen.

De auteurs suggereren dat toekomstig werk zich moet richten op:

• Het versterken van de koppeling tussen taal, perceptie en geometrie via expliciete tussenliggende staten (zoals vouwgrafieken).
• Het gebruik van de gesloten-lus simulator niet alleen voor evaluatie, maar ook voor versterkingslering (reinforcement learning) met beloningen gebaseerd op vouwbaarheid.
• Het ontwikkelen van curriculum-lering die zich richt op het onderscheiden van negatieve voorbeelden binnen dezelfde vouwsequentie om causaal begrip te stimuleren.

Kortom, OrigamiBench blootlegt een fundamentele beperking in huidige multimodale modellen: het vermogen om visuele input te vertalen naar een diep begrip van fysieke causaliteit en sequentieel handelen.