Immaginate un mondo in cui potete descrivere un componente meccanico in semplice linguaggio naturale e un computer disegna istantaneamente un preciso progetto tridimensionale per esso. Questa è la promessa dei sistemi text-to-CAD, un campo in rapida evoluzione in cui l'intelligenza artificiale traduce il linguaggio naturale nei comandi strutturati e matematici che gli ingegneri usano per progettare di tutto, dai motori delle auto ai dispositivi medici. Affinché questi sistemi siano davvero utili, devono fare di più che limitarsi a schizzare una forma che sembri corretta; devono comprendere l'esatta posizione e l'orientamento di ogni pezzo nello spazio. Se un progettista chiede al computer di spostare un componente di tre pollici a destra e poi di ruotarlo di novanta gradi, la macchina deve eseguire quelle specifiche istruzioni con perfetta precisione. Se fallisce, il progetto risultante potrebbe essere inutilizzabile, portando a parti che non si incastrano o macchine che non possono funzionare. La sfida principale risiede nel capire se questi sistemi intelligenti possano trasportare in modo affidabile un design attraverso un cambiamento richiesto nel suo sistema di coordinate, un compito che richiede una profonda comprensione numerica della geometria piuttosto che una semplice approssimazione visiva.

Un ricercatore guidato da Shengyao Sun della Shanghai Jiao Tong University ha sviluppato un nuovo modo per testare questa specifica capacità, rivelando una sorprendente debolezza nel modo in cui i modelli attuali gestiscono le trasformazioni spaziali. Hanno creato uno strumento diagnostico chiamato FrameShift-CAD, che funge da test di stress controllato per questi sistemi di IA. Invece di chiedere ai modelli di generare un design da zero, il ricercatore ha fornito loro un progetto completo e valido e ha poi dato un'unica, chiara istruzione per spostare o ruotare l'intero design. Per garantire che il test fosse equo e rigoroso, hanno creato due versioni dell'istruzione per ogni design: una che chiedeva al modello di spostare fisicamente l'oggetto in uno spazio fisico, e un'altra che chiedeva al modello di mantenere l'oggetto fermo ma di descriverlo come se lo spazio circostante si fosse mosso. Confrontando i risultati di queste istruzioni accoppiate con risposte matematicamente perfette, il ricercatore è riuscito a individuare esattamente dove i modelli avevano successo e dove fallivano.

Lo studio, che ha esaminato una vasta gamma di forme geometriche semplici e le ha testate su diversi modelli linguistici di grandi dimensioni, ha scoperto una netta differenza di prestazioni tra lo spostamento di oggetti e la rotazione degli stessi. Quando l'istruzione era quella di traslare, o spostare, il design in una nuova posizione, i modelli erano generalmente efficaci, ottenendo la posizione corretta in circa due terzi dei casi. Tuttavia, quando l'istruzione era quella di ruotare il design attorno a un asse, il tasso di successo crollava drasticamente. In una fase di conferma dello studio che coinvolgeva dodici diverse famiglie di forme, i modelli eseguivano correttamente la rotazione solo l'otto per cento delle volte. Questa discrepanza non era un caso isolato; persisteva attraverso diversi tipi di rotazioni, incluse le rotazioni attorno agli assi orizzontale e verticale, e persino quando la rotazione veniva combinata con un movimento. I modelli faticavano costantemente a ruotare l'oggetto come richiesto, indipendentemente da come l'istruzione venisse formulata.

Forse il risultato più rivelatore non è stato solo che i modelli fallivano, ma come fallivano. Il ricercatore si aspettava che se un modello sbagliava una rotazione, avrebbe potuto semplicemente ruotare l'oggetto nella direzione opposta, invertendo di fatto l'istruzione. Invece, i dati hanno mostrato che in quasi l'ottanta per cento dei tentativi di rotazione falliti, i modelli non ruotavano affatto l'oggetto. Producevano un progetto che appariva esattamente come il design originale, non ruotato. Era come se l'istruzione di ruotare fosse stata udita ma ignorata, e il modello restituisse semplicemente l'oggetto nella sua posizione iniziale. Questo schema di errore di tipo "no-operation" suggerisce che i modelli non sono confusi sulla direzione della rotazione, ma piuttosto non riescono a eseguire la rotazione stessa. Quando le istruzioni erano più complesse, chiedendo al modello di spostare e ruotare contemporaneamente l'oggetto, i modelli spesso riuscivano a spostare l'oggetto correttamente ma scartavano completamente la rotazione, lasciando l'oggetto nel nuovo punto ma orientato nel modo sbagliato.

Il ricercatore ha anche indagato se la difficoltà derivasse dal linguaggio confuso usato per descrivere questi movimenti. Ha testato i modelli con istruzioni che utilizzavano solo le formule matematiche per la rotazione, senza parole descrittive riguardanti i "frame" o i movimenti "attivi" e "passivi". Ha anche testato istruzioni che utilizzavano solo le parole descrittive senza le formule. I risultati hanno mostrato che, sebbene le parole descrittive aggiungessero una certa difficoltà, rimuoverle non risolveva il problema. Anche quando venivano fornite le pure mappature matematiche, i modelli continuavano a fallire l'esecuzione della rotazione degli oggetti con lo stesso alto tasso. Ciò indica che il problema non è meramente un malinteso della terminologia, ma una più profonda incapacità di eseguire l'operazione geometrica di rotazione all'interno del codice generato. I modelli sembrano in grado di gestire gli spostamenti lineari, ma mancano del meccanismo affidabile per applicare trasformazioni rotazionali al proprio output.

Questa scoperta ha implicazioni significative per il futuro della progettazione automatizzata. Suggerisce che chiedere semplicemente a un modello linguistico di "ruotare questo componente" non è sufficiente a garantire un risultato corretto, anche se il modello è in grado di generare un design perfetto da una descrizione testuale. Lo studio fornisce un metodo chiaro per diagnosticare questi fallimenti, distinguendo tra un modello che sbaglia la direzione, uno che sbaglia l'ampiezza e uno che semplicemente non fa nulla. Identificando che la principale modalità di fallimento è l'incapacità di eseguire la rotazione piuttosto che una confusione dei segni, la ricerca punta verso soluzioni ingegneristiche specifiche. I sistemi futuri potrebbero dover separare la generazione della forma dall'applicazione della trasformazione, utilizzando un passaggio deterministico basato su regole per gestire la rotazione dopo che la forma è stata creata, invece di fare affidamento sul modello linguistico per calcolare la rotazione al volo. Finché non saranno in atto tali salvaguardie, la promessa di una generazione text-to-CAD completamente autonoma rimane limitata da questo specifico, misurabile divario nel ragionamento spaziale.