MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence
Het artikel introduceert MMArch, een rigoureuze benchmark voor architectuur en civiele techniek die het vermogen van multimodale grote taalmodellen evalueert om verspreide visuele bewijslast te synthetiseren met technische principes, wat een aanzienlijke prestatiekloof onthult tussen huidige AI-systemen en menselijke experts.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij een architect moet zijn. Je wilt niet alleen dat de robot herkent dat een foto een huis voorstelt; je wilt dat hij begrijpt waarom het huis niet zal instorten. Dit is de wereld van "Multimodale Grote Taalmodellen" (MLLM's). Denk aan deze modellen als superintelligente digitale breinen die tegelijkertijd tekst kunnen lezen en naar plaatjes kunnen kijken. Ze zijn erg goed in het beschrijven van wat ze zien, zoals zeggen: "Dat is een blauwe deur," of "Deze grafiek laat een lijn zien die omhoog gaat." Maar in de echte wereld van engineering is weten wat je ziet niet genoeg. Je moet de puntjes verbinden tussen een tekening, een natuurkundige regel en een veiligheidsvoorschrift om een oordeel te vellen. Het is alsof je een detective bent die een foto van een plaats delict bekijkt, een specifieke wet moet onthouden en vervolgens moet beslissen of de verdachte schuldig is. De grote vraag die onderzoekers zich hebben gesteld is: kunnen deze AI-detectives de zaak echt oplossen, of gokken ze gewoon op basis van de aanwijzingen die ze zien?
Hier komt een nieuwe studie genaamd MMArch kijken. De onderzoekers hebben een enorme, lastige test gebouwd, specifiek voor architectuur en civiele techniek, om te zien of AI echt kan "denken" als een ingenieur. Ze vroegen de AI niet alleen om een plaatje te beschrijven; ze gaven het een puzzel waarbij het antwoord verborgen lag in verschillende delen van een tekening en waarbij een specifieke natuurkundige regel nodig was om het op te lossen. De resultaten waren een beetje een waarschuwing. Hoewel de slimste AI-modellen ongeveer de helft van de vragen goed hadden, kregen een team van menselijke experts bijna alle vragen goed. De studie toonde aan dat de AI niet faalt omdat het de afbeelding niet kan "zien"; het faalt omdat het de afbeelding niet kan verbinden met de juiste regel en vervolgens de wiskunde kan uitvoeren om het antwoord te krijgen. Het is alsof de AI de menukaart kan lezen en de ingrediënten ziet, maar niet weet hoe hij het gerecht moet bereiden.
De Grote Test: MMArch
De onderzoekers creëerden een benchmark genaamd MMArch (Multimodale Architectuur). Denk aan MMArch als een eindexamen voor AI, maar in plaats van meerkeuzevragen waarbij je kunt gokken, is het een open vraag-examen. Het examen bestaat uit 1.212 vragen die rechtstreeks afkomstig zijn uit echte, wetenschappelijk beoordeelde artikelen over gebouwen, bruggen en steden. Dit zijn geen verzonnen plaatjes; het zijn de werkelijke diagrammen die ingenieurs gebruiken om te bewijzen dat hun ontwerpen werken.
De test bestrijkt 10 verschillende gebieden, van hoe gebouwen schudden tijdens aardbevingen tot hoe we digitale modellen van steden ontwerpen. Om er zeker van te zijn dat de AI geen sluiproutes kon gebruiken, gebruikten de onderzoekers een slim "planner-writer"-systeem. Eerst keek een "planner" naar een artikel en koos een specifiek antwoord (zoals "Wapening #6 en #7"). Vervolgens creëerde een "writer" een vraag die vereiste dat er naar de afbeelding werd gekeken en de engineering-regel werd toegepast om dat antwoord te vinden. De AI kon niet alleen de tekst lezen of naar één klein deel van de afbeelding kijken; de AI moest naar het hele plaatje kijken, de juiste aanwijzingen vinden en een regel toepassen om het op te lossen.
De Resultaten: AI vs. Mensen
Toen ze 18 verschillende AI-modellen (zowel gratis, open-source modellen als dure, top-tier commerciële modellen) door deze test lieten gaan, waren de resultaten duidelijk: AI is nog lang niet klaar voor het vak van echte ingenieur.
- De Menselijke Experts: Een panel van echte architecten en ingenieurs had 94,6% van de antwoorden goed. Ze braken voor het examen.
- De Beste AI: Het slimste commerciële AI-model (GPT-5.5) had slechts 51,7% goed.
- De Open-Source AI: Het beste gratis model haalde ongeveer 30%.
Dat is een gat van meer dan 40 procentpunten. Zelfs de beste AI slaagt nauwelijks, terwijl mensen bijna perfecte scores halen. De onderzoekers controleerden of de AI niet gewoon aan het gokken was of de tekst las in plaats van de afbeelding, en ze bevestigden dat de AI echt worstelde met het onderdeel redeneren.
Waarom heeft AI moeite?
Het team stopte niet bij de scores; ze keken ook naar waarom de AI fouten maakte. Ze ontdekten dat het probleem niet was dat de AI de afbeelding niet kon "zien". De AI was eigenlijk best goed in het herkennen van de juiste lijnen en cijfers in de diagrammen. Het echte probleem ontstond wanneer de AI probeerde wat het zag te combineren met wat het wist.
Ze brachten de fouten onder in vijf typen:
- Perceptiefouten (20,3%): De AI las de afbeelding verkeerd (zoals het verwarren van twee vergelijkbare lijnen).
- Principe-fouten (21,7%): De AI zag de afbeelding wel goed, maar gebruikte de verkeerde regel (zoals denken dat een brede lus in een grafiek betekende dat het materiaal zwakker werd, terwijl het eigenlijk sterker werd).
- Compositiefouten (35,8%): Dit was het grootste probleem. De AI vond de juiste cijfers en kende de juiste regel, maar wanneer het probeerde deze samen te voegen om het uiteindelijke antwoord te krijgen, sloeg het een stap over of maakte het een rekenfout. Het is alsof je alle ingrediënten en het recept hebt, maar de taart laat aanbranden omdat je bent vergeten ze in de juiste volgorde te mengen.
- Grounding-fouten (14,5%): De AI wist waar het naar moest zoeken, maar las het getal verkeerd (zoals +138 zeggen in plaats van -142).
- Consistentiefouten (7,7%): De AI kwam tot het juiste antwoord in zijn "brein", maar schreef het verkeerde antwoord op.
De belangrijkste conclusie is dat Compositiefouten verantwoordelijk waren voor meer dan een derde van alle fouten. Dit betekent dat de grootste zwakte van de AI het verbinden van de puntjes is. De AI kan het bewijs zien en de regel herinneren, maar kan ze niet betrouwbaar combineren om een complex probleem op te lossen.
Helpt "stap voor stap denken" wel?
Je hebt misschien wel eens gehoord dat het vertellen van de AI om "stap voor stap te denken" (een techniek genaamd Chain-of-Thought) helpt bij het oplossen van moeilijke problemen. De onderzoekers probeerden dit op MMArch. Ze vroegen de AI om zijn redenering uit te leggen voordat het antwoord werd gegeven. Het resultaat? Het hielp niet veel. Voor sommige modellen maakte het ze iets beter; voor andere maakte het ze juist slechter. Dit suggereert dat het probleem niet is dat de AI niet wordt verteld hoe het moet denken, maar dat de AI simpelweg niet genoeg weet over de specifieke regels van architectuur en engineering om een correcte keten van gedachten op te bouwen.
Wat nu?
De studie concludeert dat we AI niet zomaar groter kunnen maken of er meer data aan kunnen geven om dit op te lossen. Het probleem is niet een gebrek aan omvang; het is een gebrek aan diepe, gespecialiseerde redenering. De AI moet leren hoe het visueel bewijs kan koppelen aan domeinkennis op een manier die huidige modellen simpelweg nog niet kunnen.
MMArch is nu beschikbaar voor andere onderzoekers om als trainingsgrond te gebruiken. Het is een diagnostisch hulpmiddel om ons precies te laten zien waar AI tekortschiet, zodat we betere modellen voor de toekomst kunnen bouwen. Tot die tijd, als je een wolkenkrabber moet ontwerpen die niet instort tijdens een aardbeving, ben je nog steeds beter af door een menselijke expert in te huren dan een robot te vragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.