Stellen Sie sich eine Welt vor, in der Sie ein Maschinenteil in einfachem Englisch beschreiben können und ein Computer sofort einen präzisen, dreidimensionalen Entwurf dafür zeichnet. Dies ist das Versprechen von Text-zu-CAD-Systemen, einem sich schnell entwickelnden Bereich, in dem künstliche Intelligenz natürliche Sprache in die strukturierten, mathematischen Befehle übersetzt, die Ingenieure verwenden, um alles zu entwerfen, von Automotoren bis hin zu medizinischen Geräten. Damit diese Systeme wirklich nützlich sind, müssen sie mehr tun, als nur eine Form zu skizzieren, die richtig aussieht; sie müssen die exakte Position und Ausrichtung jedes Teils im Raum verstehen. Wenn ein Designer den Computer bittet, ein Teil drei Zoll nach rechts zu bewegen und dann um neunzig Grad zu drehen, muss die Maschine diese spezifischen Anweisungen mit perfekter Genauigkeit ausführen. Wenn sie scheitert, könnte der resultierende Entwurf unbrauchbar sein, was zu Teilen führt, die nicht passen oder Maschinen, die nicht funktionieren können. Die zentrale Herausforderung besteht darin, ob diese intelligenten Systeme in der Lage sind, ein Design zuverlässig durch eine angeforderte Änderung seines Koordinatensystems zu transportieren – eine Aufgabe, die ein tiefes, numerisches Verständnis der Geometrie erfordert und nicht nur eine visuelle Annäherung.

Ein Forscher unter der Leitung von Shengyao Sun an der Shanghai Jiao Tong University hat einen neuen Weg entwickelt, um genau diese Fähigkeit zu testen, und dabei eine überraschende Schwäche aufgedeckt, wie aktuelle Modelle mit räumlichen Transformationen umgehen. Sie entwickelten ein Diagnosewerkzeug namens FrameShift-CAD, das wie ein kontrollierter Stresstest für diese KI-Systeme fungiert. Anstatt die Modelle zu bitten, ein Design von Grund auf neu zu erstellen, versorgten sie diese mit einem vollständigen, gültigen Entwurf und gaben dann eine einzige, klare Anweisung, um das gesamte Design zu bewegen oder zu drehen. Um sicherzustellen, dass der Test fair und streng war, erstellten sie zwei Versionen der Anweisung für jeden Entwurf: Eine, die das Modell anwies, das Objekt physisch in einem festen Raum zu bewegen, und eine andere, die das Modell anwies, das Objekt stationär zu lassen, es aber so zu beschreiben, als hätte sich der Raum um es herum bewegt. Durch den Vergleich der Ergebnisse dieser gepaarten Anweisungen mit mathematisch perfekten Antworten konnte der Forscher genau bestimmen, wo die Modelle Erfolg hatten und wo sie scheiterten.

Die Studie, die eine Vielzahl einfacher geometrischer Formen untersuchte und diese über mehrere verschiedene große Sprachmodelle hinweg testete, deckte einen drastischen Unterschied in der Leistung zwischen der Bewegung von Objekten und dem Drehen von ihnen auf. Wenn die Anweisung lautete, das Design an einen neuen Ort zu translatieren oder zu verschieben, waren die Modelle im Allgemeinen erfolgreich und trafen die Position in etwa zwei Dritteln der Fälle richtig. Wenn die Anweisung jedoch lautete, das Design um eine Achse zu drehen, sank die Erfolgsquote drastisch. In einer Bestätigungsphase der Studie, die zwölf verschiedene Familien von Formen untersuchte, führten die Modelle die Rotation nur in acht Prozent der Fälle korrekt aus. Diese Lücke war kein Zufall; sie blieb über verschiedene Arten von Rotationen bestehen, einschließlich Drehungen um die horizontale und vertikale Achse, und selbst wenn die Rotation mit einer Bewegung kombiniert wurde. Die Modelle hatten konsequent Schwierigkeiten, das Objekt wie gewünscht zu drehen, unabhängig davon, wie die Anweisung formuliert war.

Vielleicht war der aufschlussreichste Befund nicht nur, dass die Modelle scheiterten, sondern wie sie scheiterten. Der Forscher erwartete, dass ein Modell, wenn es eine Rotation falsch ausführt, das Objekt vielleicht einfach in die entgegengesetzte Richtung dreht und damit die Anweisung umkehrt. Die Daten zeigten jedoch, dass die Modelle in fast achtzig Prozent der gescheiterten Rotationsversuche das Objekt gar nicht gedreht hatten. Sie erzeugten einen Entwurf, der exakt wie das ursprüngliche, unrotierte Design aussah. Es war, als ob die Anweisung zur Rotation zwar gehört, aber ignoriert wurde, und das Modell das Objekt in seiner Ausgangsposition zurückgab. Dieses „No-Operation“-Fehlermuster deutet darauf hin, dass die Modelle nicht über die Richtung der Drehung verwirrt sind, sondern dass sie die Ausführung der Drehung selbst nicht bewältigen. Wenn die Anweisungen komplexer wurden und das Modell angewiesen wurde, das Objekt sowohl zu bewegen als auch zu drehen, gelang es den Modellen oft, das Objekt korrekt zu bewegen, aber sie ließen die Rotation völlig weg, wodurch das Objekt zwar am neuen Ort war, aber falsch ausgerichtet blieb.

Der Forscher untersuchte auch, ob die Schwierigkeit aus der verwirrenden Sprache resultierte, die diese Bewegungen beschreibt. Er testete die Modelle mit Anweisungen, die nur die mathematischen Formeln für die Rotation verwendeten, ohne beschreibende Wörter über „Frames“ oder „aktive“ und „passive“ Bewegungen. Er testete die Modelle auch mit Anweisungen, die nur die beschreibenden Wörter verwendeten, ohne die Formeln. Die Ergebnisse zeigten, dass die beschreibenden Wörter zwar eine gewisse Schwierigkeit hinzufügten, das Entfernen dieser jedoch das Problem nicht löste. Selbst wenn ihnen die reine mathematische Abbildung gegeben wurde, scheiterten die Modelle immer noch mit der gleichen hohen Rate bei der korrekten Rotation der Objekte. Dies deutet darauf hin, dass das Problem nicht bloß ein Missverständnis der Terminologie ist, sondern eine tiefere Unfähigkeit, die geometrische Operation der Rotation innerhalb des generierten Codes durchzuführen. Die Modelle scheinen in der Lage zu sein, lineare Verschiebungen zu handhaben, aber es fehlt ihnen der zuverlässige Mechanismus, um Rotationstransformationen auf ihre eigenen Ausgaben anzuwenden.

Diese Entdeckung hat erhebliche Auswirkungen auf die Zukunft des automatisierten Designs. Sie legt nahe, dass es nicht ausreicht, einem Sprachmodell einfach zu sagen „drehe dieses Teil“, um ein korrektes Ergebnis zu garantieren, selbst wenn das Modell in der Lage ist, ein perfektes Design aus einer Textbeschreibung zu generieren. Die Studie bietet eine klare Methode zur Diagnose dieser Fehler, indem sie zwischen einem Modell unterscheidet, das die Richtung falsch versteht, einem, das den Betrag falsch berechnet, und einem, das einfach gar nichts tut. Durch die Identifizierung, dass der primäre Fehlermodus ein Versagen bei der Ausführung der Rotation und nicht eine Verwirrung über Vorzeichen ist, weist die Forschung auf spezifische technische Lösungen hin. Zukünftige Systeme müssen möglicherweise die Generierung der Form von der Anwendung der Transformation trennen, indem sie einen deterministischen, regelbasierten Schritt nutzen, um die Rotation nach der Erstellung der Form zu handhaben, anstatt sich darauf zu verlassen, dass das Sprachmodell die Rotation während der Laufzeit berechnet. Bis solche Sicherheitsvorkehrungen implementiert sind, bleibt das Versprechen einer vollautomatisierten Text-zu-CAD-Generierung durch diese spezifische, messbare Lücke im räumlichen Denken begrenzt.