Large Language Models and their Awareness of Mechanics and Spatial Geometry
Dieses Paper stellt MecEng vor, einen vollautomatisierten Benchmark, der das Verständnis für Maschinenbau bei 34 großen Sprachmodellen evaluiert, indem er deren Fähigkeit testet, aus Textbeschreibungen simulationsbereite Mehrkörpersystemmodelle zu generieren, wobei aufgezeigt wird, dass aktuelle Modelle zwar eine schnelle Verbesserung und hohe Erfolgsraten bei Starrkörperaufgaben zeigen, aber weiterhin Schwierigkeiten mit komplexen flexiblen Mehrkörpersystemen haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Maschinen nicht nur von Ingenieuren mit Blaupausen und Schraubenschlüsseln gebaut, sondern auch von Computern entworfen werden, die einen Satz lesen und verstehen können, wie die physische Welt funktioniert. Jahrzehntelang waren Computer exzellent darin, Sprache zu verarbeiten, Texte zu übersetzen oder einfachen Computercode zu schreiben. Eine neue Grenze ist entstanden: Können diese Systeme der künstlichen Intelligenz die Gesetze der Physik wirklich begreifen? Speziell: Können sie Mechanik verstehen – die Lehre davon, wie feste Objekte sich bewegen, biegen und interagieren – und die komplexe Geometrie, die erforderlich ist, um sie zu bauen? Dies ist die Frage, die Forscher der Universität Innsbruck und der Universität Augsburg zu beantworten versuchten. Sie wollten wissen, ob moderne KI aus einer schriftlichen Beschreibung einer Maschine, wie etwa einem Kran oder einem Roboterarm, eine funktionierende digitale Simulation erstellen kann, die denselben Regeln der Bewegung und Kraft folgt wie ein Objekt in der realen Welt.
Um dies herauszufinden, entwickelte das Team einen strengen Test namens MecEng, einen vollautomatisierten Benchmark, der künstliche Intelligenz bei Aufgaben des Maschinenbaus herausfordern sollte. Die Forscher fütterten große Sprachmodelle, welche die leistungsstarken KI-Systeme hinter vielen modernen Chatbots sind, mit einer Reihe von Textbeschreibungen, die von einfachen Aufbauten bis hin zu komplexen Maschinen reichten. Diese Beschreibungen enthielten Details über Masse, Größe, Gelenke und wie verschiedene Teile miteinander verbunden werden sollten. Die Aufgabe der KI war es, den spezifischen Computercode zu schreiben, der benötigt wird, um ein digitales Modell dieser Maschine zu erstellen. Der Haken dabei war, dass das Modell perfekt sein musste. Es reichte nicht aus, dass die KI eine grobe Skizze oder ein visuell ansprechendes Bild erzeugte; sie musste eine präzise, mathematisch genaue Simulation generieren, die ohne Absturz laufen und das korrekte physikalische Verhalten zeigen konnte. Die Forscher verglichen die Arbeit der KI anschließend mit von Experten erstellten „Ground Truth“-Modellen (Referenzmodellen) und überprüften dabei alles, von der Form der Teile bis hin zur Art und Weise, wie sie sich im Zeitverlauf bewegten.
Die Ergebnisse offenbarten eine Landschaft des rasanten Fortschritts gepaart mit hartnäckigen Einschränkungen. Wenn die Aufgaben einfache, starre Maschinen betrafen – Objekte, die sich nicht biegen oder dehnen, wie ein schwingendes Pendel oder ein Satz verbundener Stäbe –, schnitten die besten KI-Modelle bemerkenswert gut ab. Das stärkste proprietäre Modell, Claude-Opus-4.8, erreichte eine Erfolgsquote von 91,4 %, während das beste Open-Weight-Modell, qwen3.6:27b, 82,1 % erreichte. Dies deutet darauf darauf hin, dass diese Systeme eine starke Intuition für grundlegende mechanische Konzepte entwickelt haben. Sie können korrekt identifizieren, welche Teile benötigt werden, wie sie zu verbinden sind und wie man physikalische Eigenschaften wie Gewicht und Steifigkeit zuweist.
Die Schwierigkeit nahm jedoch drastisch zu, als die Forscher Flexibilität einführten. In der realen Welt verbiegen, verdrehen und verformen sich viele Maschinenteile unter Druck, wie etwa ein Windkraftanlagenblatt oder ein flexibler Roboterarm. Um diese zu simulieren, musste die KI nicht nur die Form beschreiben, sondern auch ein detailliertes 3D-Mesh generieren – ein digitales Netz aus winzigen Dreiecken, das das Volumen des Objekts definiert – und anschließend berechnen, wie diese Form vibrieren und sich bewegen würde. Hier sank die Leistung signifikant. Während die besten proprietären Modelle in der Lage waren, korrekte Teile in etwa 82 Prozent der Fälle zu erstellen, fiel die Erfolgsquote für die Montage dieser flexiblen Teile zu einer vollständigen, funktionierenden Maschinensimulation auf etwa 65 Prozent für die besten Modelle. Die Open-Weight-Modelle hatten noch größere Schwierigkeiten, wobei die durchschnittliche Erfolgsquote der Gruppe für die komplexesten Montagen nahe bei 25 Prozent lag, obwohl einzelne Modelle wie gemma4:26b mit nur 5 % deutlich schlechter abschnitten.
Die Studie lokalisierte genau, wo die KI dazu neigt zu scheitern. Es handelt sich meist nicht um einen Mangel am Verständnis des Gesamtbildes; die Modelle wissen im Allgemeinen, wie eine Maschine aussehen soll. Stattdessen liegen die Fehler oft in den feinen Details. Die KI könnte die allgemeine Form eines Teils richtig erfassen, aber eine spezifische Fase übersehen, oder sie könnte eine falsche Materialdichte zuweisen, was zu falschen Gewichtsberechnungen führt. In einigen Fällen generierte die KI ein Modell, das zwar korrekt aussah, aber einen subtilen geometrischen Fehler enthielt, der die Simulation zum Absturz brachte oder unmögliche Physik erzeugte. Die Forscher fanden heraus, dass diese Fehler nicht zufällig waren; sie resultierten oft daraus, dass die KI versagte, spezifische Anweisungen darüber zu befolgen, wie die Teile zu ordnen sind oder wie die Verbindungen zwischen ihnen zu definieren sind.
Interessanterweise entdeckten die Forscher, dass die Art und Weise, wie die KI angewiesen wurde (Prompting), weniger wichtig war als die inhärenten Fähigkeiten des Modells selbst. Die Änderung der Formulierung der Anweisungen oder die Aufforderung an die KI, das Problem Schritt für Schritt zu „durchdenken“, half in einigen Fällen zwar, erhöhte aber auch drastisch den Zeitaufwand und die benötigte Rechenleistung, um eine Antwort zu erhalten. Bei den komplexesten Aufgaben machte der „Denkprozess“ die KI manchmal lediglich langsamer, ohne ein besseres Ergebnis zu garantieren. Die Studie zeigte auch einen klaren Trend über die Zeit auf: Neuere Modelle, die 2025 und 2026 veröffentlicht wurden, übertrafen konsequent ältere Modelle, was darauf hindeutet, dass sich die Fähigkeit, mechanisches Engineering zu verstehen, durch das Training mit mehr Daten rasant verbessert.
Trotz der beeindruckenden Fortschritte kamen die Forscher zu dem Schluss, dass die aktuelle künstliche Intelligenz noch nicht bereit ist, menschliche Ingenieure bei komplexen Designaufgaben zu ersetzen. Während die Systeme einfache Maschinen mit hoher Zuverlässigkeit bewältigen können, bleiben sie anfällig für subtile, schwer zu entdeckende Fehler, wenn sie mit der komplizierten Geometrie und Physik flexibler Systeme konfrontiert werden. Die Studie unterstreicht, dass die KI zwar gelernt hat, die Sprache des Ingenieurwesens zu imitieren, aber die physikalischen Gesetze, die die reale Welt regeln, noch nicht vollständig verinnerlicht hat. Der Weg nach vorn besteht darin, diese Modelle zu verfeinern, um jene kleinen, aber kritischen Fehler zu reduzieren und sie von fähigen Assistenten zu zuverlässigen Partnern beim Entwurf der Maschinen zu machen, die unsere Zukunft gestalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.