Large Language Models and their Awareness of Mechanics and Spatial Geometry
Dit artikel introduceert MecEng, een volledig geautomatiseerde benchmark die het bewustzijn van mechanische techniek bij 34 grote taalmodellen evalueert door hun vermogen te testen om simulatieklare multibody-systemen te genereren op basis van tekstuele beschrijvingen, waarbij wordt onthuld dat de huidige modellen weliswaar snelle verbetering en hoge succespercentages laten zien bij starre lichaamstaken, maar nog steeds moeite hebben met complexe flexibele multibody-systemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin machines niet alleen worden gebouwd door ingenieurs met blauwdrukken en moersleutels, maar ook worden ontworpen door computers die een zin kunnen lezen en begrijpen hoe de fysieke wereld werkt. Decennialang waren computers uitstekend in het verwerken van taal, het vertalen van tekst of het schrijven van eenvoudige computercode. Echter, een nieuwe grens is ontstaan: kunnen deze kunstmatige intelligentiesystemen werkelijk de wetten van de natuurkunde begrijpen? Kunnen ze specifiek mechanica begrijpen — de studie van hoe vaste objecten bewegen, buigen en interageren — en de complexe geometrie die nodig is om ze te bouwen? Dit is de vraag die onderzoekers aan de Universiteit van Innsbruck en de Universiteit van Augsburg probeerden te beantwoorden. Ze wilden weten of moderne AI een schriftelijke beschrijving van een machine, zoals een kraan of een robotarm, kon nemen en dit kon omzetten in een werkende digitale simulatie die voldoet aan dezelfde regels van beweging en kracht als een echt object.
Om dit te ontdekken, creëerde het team een rigoureuze test genaamd MecEng, een volledig geautomatiseerde benchmark die is ontworpen om kunstmatige intelligentie uit te dagen op taken binnen het werktuigbouwkunde. De onderzoekers voerden grote taalmodellen, de krachtige AI-systemen achter veel moderne chatbots, een reeks tekstuele beschrijvingen variërend van eenvoudige opstellingen tot complexe machines. Deze beschrijvingen bevatten details over massa, afmetingen, gewrichten en hoe verschillende onderdelen met elkaar verbonden zouden moeten zijn. De taak van de AI was om de specifieke computercode te schrijven die nodig is om een digitaal model van die machine te bouwen. De crux was dat het model perfect moest zijn. Het was niet genoeg dat de AI een ruwe schets of een visueel aantrekkelijke afbeelding produceerde; het moest een precieze, wiskundig nauwkeurige simulatie genereren die zonder vastlopen kon draaien en het juiste fysieke gedrag kon produceren. De onderzoekers vergeleken het werk van de AI vervolgens met door experts gebouwde "ground truth"-modellen, waarbij ze alles controleerden, van de vorm van de onderdelen tot de manier waarop ze in de loop van de tijd bewogen.
De resultaten onthulden een landschap van snelle vooruitgang vermengd met hardnekkige beperkingen. Wanneer de taken betrekking hadden op eenvoudige, starre machines — objecten die niet buigen of rekken, zoals een zwaaiende pendel of een reeks verbonden staven — presteerden de beste AI-modellen opmerkelijk goed. Het sterkste propriëtaire model, Claude-Opus-4.8, behaalde een succespercentage van 91,4%, terwijl het beste open-weight model, qwen3.6:27b, 82,1% bereikte. Dit suggereert dat deze systemen een sterke intuïtie hebben ontwikkeld voor basisconcepten in de mechanica. Ze kunnen correct identificeren welke onderdelen nodig zijn, hoe ze verbonden moeten worden en hoe ze fysieke eigenschappen zoals gewicht en stijfheid moeten toewijzen.
Echter, de moeilijkheidsgraad nam scherp toe toen de onderzoekers flexibiliteit introduceerden. In de echte wereld buigen, draaien en vervormen veel machineonderdelen onder druk, zoals een windturbineblad of een flexibele robotarm. Om deze te simuleren, moest de AI niet alleen de vorm beschrijven, maar ook een gedetailleerd 3D-mesh genereren — een digitaal netwerk van kleine driehoeken dat het volume van het object definieert — en vervolgens berekenen hoe die vorm zou vibreren en bewegen. Hierbij daalde de prestatie aanzienlijk. Hoewel de top propriëtaire modellen ongeveer 82 procent van de tijd correcte onderdelen konden maken, daalde het succespercentage voor het assembleren van deze flexibele onderdelen tot een compleet, werkend machine-simulatiemodel naar ongeveer 65 procent voor de beste modellen. De open-weight modellen hadden het nog moeilijker, waarbij het gemiddelde succespercentage voor de groep rond de 25 procent schommelde voor de meest complexe assemblages, hoewel individuele modellen zoals gemma4:26b met slechts 5% aanzienlijk slechter presteerden.
De studie wees precies aan waar de AI de neiging heeft om te falen. Het is meestal niet een gebrek aan begrip van het grote geheel; de modellen weten over het algig even goed wat een machine zou moeten voorstellen. In plaats daarvan liggen de fouten vaak in de fijne details. De AI kan de algemene vorm van een onderdeel goed krijgen, maar een specifieke afschuining (chamfer) missen, of het kan de verkeerde materiaaldichtheid toewijzen, wat leidt tot onjuiste gewichtsberekeningen. In sommige gevallen genereerde de AI een model dat er correct uitzag, maar een subtiele geometrische fout bevatte die de simulatie liet vastlopen of onmogelijke fysica produceerde. De onderzoekers ontdekten dat deze fouten niet willekeurig waren; ze kwamen vaak voort uit het feit dat de AI er niet in slaagde specifieke instructies op te volgen over de volgorde van de onderdelen of hoe de verbindingen tussen hen gedefinieerd moesten worden.
Interessant genoeg ontdekten de onderzoekers dat de manier waarop de AI werd geprompt minder belangrijk was dan de inherente capaciteiten van het model. Het veranderen van de bewoording van de instructies of het vragen aan de AI om stap voor stap "na te denken" hielp in sommige gevallen wel, maar het verhoogde ook drastisch de tijd en de benodigde computerkracht om een antwoord te krijgen. Voor de meest complexe taken maakte het "denkproces" de AI soms alleen maar trager zonder een beter resultaat te garanderen. De studie toonde ook een duidelijke trend over de tijd aan: nieuwere modellen, uitgebracht in 2025 en 2026, presteerden consequent beter dan oudere modellen, wat suggereert dat het vermogen om werktuigbouwkunde te begrijpen snel verbetert naarmate deze systemen op meer data worden getraind.
Ondanks de indrukwekkende stappen concludeerden de onderzoekers dat de huidige kunstmatige intelligentie nog niet klaar is om menselijke ingenieurs te vervangen voor complex ontwerpwerk. Hoewel de systemen eenvoudige machines met een hoge betrouwbaarheid kunnen afhandelen, blijven ze vatbaar voor subtiele, moeilijk te detecteren fouten wanneer ze worden geconfronteerd met de ingewikkelde geometrie en fysica van flexibele systemen. De studie benadrukt dat hoewel AI heeft geleerd de taal van de techniek te imiteren, het de fysieke wetten die de echte wereld beheersen nog niet volledig heeft geïnternaliseerd. De weg vooruit ligt in het verfijnen van deze modellen om die kleine maar cruciale fouten te verminderen, om hen te transformeren van capabele assistenten naar betrouwbare partners in het ontwerp van de machines die onze toekomst vormgeven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.