Stel je een wereld voor waarin je een machineonderdeel in gewone mensentaal kunt beschrijven, en een computer direct een nauwkeurige, driedimensionale blauwdruk ervan tekent. Dit is de belofje van text-to-CAD-systemen, een snel evoluerend veld waarin kunstmatige intelligentie natuurlijke taal vertaalt naar de gestructureerde, wiskundige commando's die ingenieurs gebruiken om alles te ontwerpen, van automotoren tot medische apparaten. Om deze systemen werkelijk nuttig te laten zijn, moeten ze meer doen dan alleen een vorm schetsen die er goed uitziet; ze moeten de exacte positie en oriëntatie van elk onderdeel in de ruimte begrijpen. Als een ontwerper de computer vraagt om een onderdeel drie inch naar rechts te bewegen en vervolgens negentig graden te draaien, moet de machine die specifieke instructies met perfecte nauwkeurigheid uitvoeren. Als het misgaat, kan de resulterende blauwdruk onbruikbaar zijn, wat leidt tot onderdelen die niet passen of machines die niet kunnen functioneren. De kernuitdaging ligt in de vraag of deze intelligente systemen een ontwerp betrouwbaar door een gevraagde verandering in het coördinatenstelsel kunnen transporteren, een taak die een diep, numeriek begrip van geometrie vereist in plaats van alleen een visuele benadering.

Een onderzoeker onder leiding van Shengyao Sun aan de Shanghai Jiao Tong Universiteit heeft een nieuwe manier ontwikkeld om deze specifieke capaciteit te testen, waarbij een verrassende zwakte werd blootgelegd in hoe huidige modellen omgaan met ruimtelijke transformaties. Ze creëerden een diagnostisch hulpmiddel genaamd FrameShift-CAD, dat fungeert als een gecontroleerde stresstest voor deze AI-systemen. In plaats van de modellen te vragen om een ontwerp vanaf nul te genereren, leverde de onderzoeker hen een volledige, geldige blauwdruk en gaf vervolgens één duidelijke instructie om het hele ontwerp te verplaatsen of te draaien. Om ervoor te zorgen dat de test eerlijk en rigoureus was, maakten ze twee versies van de instructie voor elk ontwerp: één die het model vroeg om het object fysiek in een vaste ruimte te verplaatsen, en een andere die het model vroeg om het object stil te houden maar het te beschrijven alsof de ruimte eromheen was bewogen. Door de resultaten van deze gekoppelde instructies te vergelijken met wiskundig perfecte antwoorden, kon de onderzoeker precies aanwijzen waar de modellen slaagden en waar ze faalden.

De studie, die een grote verscheidenheid aan eenvoudige geometrische vormen onderzocht en deze testte bij verschillende grote taalmodellen, onthulde een scherp verschil in prestaties tussen het bewegen van objecten en het draaien ervan. Wanneer de instructie was om het ontwerp te transleren, of te verschuiven, naar een nieuwe locatie, waren de modellen over het algemeen succesvol en kregen ze de positie in ongeveer twee derde van de gevallen goed. Echter, wanneer de instructie was om het ontwerp rond een as te draaien, stortte het succespercentage spectaculair in. In een bevestigingsfase van de studie, waarbij twaalf verschillende families van vormen werden onderzocht, voerde het model de rotatie slechts in acht procent van de gevallen correct uit. Dit gat was geen toeval; het hield stand bij verschillende soorten rotaties, inclusief draaiingen rond de horizontale en verticale assen, en zelfs wanneer de rotatie werd gecombineerd met een beweging. De modellen hadden consequent moeite met het draaien van het object zoals gevraagd, ongeacht hoe de instructie werd geformuleerd.

Misschien was de meest onthullende bevinding niet alleen dat de modellen faalden, maar hoe ze faalden. De onderzoeker verwachtte dat als een model een rotatie fout zou doen, het wellicht het object in de tegenovergestelde richting zou draaien, waardoor de instructie effectief werd omgedraaid. In plaats daarvan lieten de gegevens zien dat in bijna tachtig procent van de mislukte rotatiepogingen de modellen het object helemaal niet draaiden. Ze produceerden een blauwdruk die exact leek op het originele, ongedraaide ontwerp. Het was alsoft de instructie om te draaien wel werd gehoord maar genegeerd, en het model simpelweg het object in de startpositie teruggaf. Dit "no-operation"-foutpatroon suggereert dat de modellen niet in de war zijn over de richting van de draaiing, maar eerder niet in staat zijn om de draaiing zelf uit te voeren. Wanneer de instructies complexer waren en het model vroegen om het object zowel te verplaatsen als te draaien, slaagden de modellen er vaak in om het object correct te verplaatsen, maar lieten ze de rotatie volledig achterwege, waardoor het object wel op de nieuwe plek stond maar de verkeerde kant op wees.

De onderzoeker onderzocht ook of de moeilijkheid voortkwam uit de verwarrende taal die wordt gebruikt om deze bewegingen te beschrijven. Ze testten de modellen met instructies die alleen de wiskundige formules voor de rotatie gebruikten, zonder enige beschrijvende woorden over "frames" of "actieve" en "passieve" bewegingen. Ze testten ook instructies die alleen de beschrijvende woorden gebruikten zonder de formules. De resultaten toonden aan dat hoewel de beschrijvende woorden extra moeilijkheid toevoegden, het verwijderen ervan het probleem niet oploste. Zelfs wanneer ze de zuivere wiskundige mapping kregen, slaagden de modellen er nog steeds niet in om de objecten correct te draaien met diezelfde hoge frequentie. Dit geeft aan dat het probleem niet louter een misverstand van terminologie is, maar een dieper onvermogen om de geometrische operatie van rotatie binnen de gegenereerde code uit te voeren. De modellen lijken in staat te zijn om lineaire verschuivingen te verwerken, maar missen het betrouwbare mechanisme om rotationele transformaties toe te passen op hun eigen output.

Deze ontdekking heeft belangrijke implicaties voor de toekomst van geautomatiseerd ontwerp. Het suggereert dat het simpelweg vragen aan een taalmodel om "dit onderdeel te draaien" niet genoeg is om een correct resultaat te garanderen, zelfs als het model in staat is een perfect ontwerp te genereren vanuit een tekstbeschrijving. De studie biedt een duidelijke meth符 om deze fouten te diagnosticeren, waarbij onderscheid wordt gemaakt tussen een model dat de richting verkeerd krijgt, een model dat de grootte verkeerd krijgt, en een model dat simpelweg niets doet. Door te identificeren dat de primaire foutmodus een falen is om de rotatie uit te voeren in plaats van een verwarring van tekens, wijst het onderzoek naar specifieke technische oplossingen. Toekomstige systemen moeten mogelijk de generatie van de vorm scheiden van de toepassing van de transformatie, door een deterministische, regelgebaseerde stap te gebruiken om de rotatie af te handelen nadat de vorm is gecreëerd, in plaats van te vertrouwen op het taalmodel om de rotatie ter plekke te berekenen. Totdat dergelijke waarborgen aanwezig zijn, blijft de belofte van volledig autonome text-to-CAD-generatie beperkt door deze specifieke, meetbare kloof in ruimtelijk redeneren.