Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Architekt zu sein. Sie wollen nicht nur, dass er erkennt, dass ein Bild ein Haus zeigt; Sie wollen, dass er versteht, warum das Haus nicht umkippt. Dies ist die Welt der „Multimodalen Großen Sprachmodelle“ (MLLMs). Betrachten Sie diese Modelle als superintelligente digitale Gehirne, die Text lesen und gleichzeitig Bilder betrachten können. Sie sind großartig darin, zu beschreiben, was sie sehen, wie zum Beispiel: „Das ist eine blaue Tür“ oder „Dieses Diagramm zeigt eine Linie, die nach oben geht“. Aber in der realen Welt des Ingenieurwesens reicht es nicht aus, zu wissen, was man sieht. Man muss die Verbindung zwischen einer Zeichnung, einer physikalischen Regel und einem Sicherheitsstandard herstellen, um ein Urteil zu fällen. Es ist wie bei einem Detektiv, der ein Tatortfoto betrachtet, ein spezifisches Gesetz im Kopf hat und dann entscheidet, ob der Verdächtige schuldig ist. Die große Frage, die sich Forscher gestellt haben, lautet: Können diese KI-Detektive den Fall tatsächlich lösen, oder raten sie nur basierend auf den Hinweisen, die sie sehen?

Hier kommt eine neue Studie namens MMArch ins Spiel. Die Forscher haben einen riesigen, schwierigen Test speziell für Architektur und Bauingenieurwesen entwickelt, um zu sehen, ob KI wirklich wie ein Ingenieur „denken“ kann. Sie haben der KI nicht nur gesagt, sie solle ein Bild beschreiben; sie gaben ihr ein Rätsel, bei dem die Antwort über verschiedene Teile einer Zeichnung verteilt war und die Anwendung einer spezifischen physikalischen Regel erforderte, um gelöst zu werden. Die Ergebnisse waren ein kleiner Weckruf. Während die klügsten KI-Modelle etwa die Hälfte der Fragen richtig beantworteten, schaffte ein Team aus menschlichen Experten fast alle. Die Studie fand heraus, dass die KI nicht deshalb scheitert, weil sie das Bild nicht „sehen“ kann, sondern weil sie es nicht schafft, das Bild mit der richtigen Regel zu verknüpfen und dann die Mathematik durchzuführen, um das Ergebnis zu erhalten. Es ist, als könnte die KI zwar die Speisekarte lesen und die Zutaten erkennen, aber nicht herausfinden, wie man das Gericht kocht.

Der große Test: MMArch

Die Forscher entwickelten einen Benchmark namens MMArch (Multimodale Architektur). Betrachten Sie es als eine Abschlussprüfung für KI, aber anstatt Multiple-Choice-Fragen, bei denen man einfach raten kann, handelt es sich um einen Kurzantwort-Test. Die Prüfung besteht aus 1.212 Fragen, die direkt aus echten, von Experten begutachteten wissenschaftlichen Arbeiten über Gebäude, Brücken und Städte stammen. Dies sind keine erfundenen Bilder; es sind die tatsächlichen Diagramme, die Ingenieure verwenden, um zu beweisen, dass ihre Entwürfe funktionieren.

Der Test deckt 10 verschiedene Bereiche ab, vom Verhalten von Gebäuden bei Erdbeben bis hin zum Design digitaler Stadtmodelle. Um sicherzustellen, dass die KI keine Abkürzungen nutzen konnte, verwendeten die Forscher ein cleveres „Planer-Schreiber“-System. Zuerst betrachtete ein „Planer“ eine Arbeit und wählte eine spezifische Antwort aus (wie zum Beispiel „Bewehrung #6 und #7“). Dann erstellte ein „Schreiber“ eine Frage, die zwingend voraussetzte, das Bild zu betrachten und die ingenieurtechnische Regel zu kennen, um diese Antwort zu finden. Die KI konnte nicht einfach nur den Text lesen oder einen kleinen Teil des Bildes betrachten; sie musste das gesamte Bild betrachten, die richtigen Hinweise finden und eine Regel anwenden, um das Problem zu lösen.

Die Ergebnisse: KI vs. Menschen

Als sie 18 verschiedene KI-Modelle (sowohl kostenlose Open-Source-Modelle als auch teure, erstklassige kommerzielle Modelle) durch diesen Test schickten, war das Ergebnis eindeutig: KI ist noch lange nicht so weit, ein echter Ingenieur zu sein.

• Die menschlichen Experten: Ein Gremium aus echten Architekten und Ingenieuren beantwortete 94,6 % der Fragen richtig. Sie meisterten den Test mit Bravour.
• Die beste KI: Das klügste kommerzielle KI-Modell (GPT-5.5) beantwortete nur 51,7 % richtig.
• Die Open-Source-KI: Das beste kostenlose Modell schaffte etwa 30 %.

Das ist eine Lücke von mehr als 40 Prozentpunkten. Selbst die beste KI besteht gerade so, während Menschen nahezu perfekte Punktzahlen erreichen. Die Forscher überprüften, ob die KI nur rät oder den Text statt des Bildes liest, und bestätigten, dass die KI tatsächlich mit dem logischen Schlussfolgern zu kämpfen hatte.

Warum hat die KI Schwierigkeiten?

Das Team blieb nicht bei den Ergebnissen stehen; sie untersuchten auch, warum die KI Fehler machte. Sie fanden heraus, dass das Problem nicht darin bestand, dass die KI das Bild nicht „sehen“ konnte. Die KI war eigentlich ziemlich gut darin, die richtigen Linien und Zahlen in den Diagrammen zu erkennen. Die eigentlichen Probleme traten auf, wenn die KI versuchte, das, was sie sah, mit dem zu verbinden, was sie wusste.

Sie unterteilten die Fehler in fünf Typen:

1. Wahrnehmungsfehler (20,3 %): Die KI hat das Bild einfach falsch gelesen (wie das Verwechseln zweier ähnlicher Linien).
2. Prinzipfehler (21,7 %): Die KI hat das Bild richtig gesehen, aber die falsche Regel angewendet (wie zum Beispiel zu denken, dass eine breite Kurve in einem Graphen bedeutete, dass das Material schwächer wird, obwohl es eigentlich bedeutete, dass es stärker wird).
3. Kompositionsfehler (35,8 %): Dies war das größte Problem. Die KI fand die richtigen Zahlen und kannte die richtige Regel, aber als sie versuchte, diese zu kombinieren, um das Endergebnis zu erhalten, setzte sie einen Schritt aus oder vertuschte die Mathematik. Es ist, als hätte man alle Zutaten und das Rezept, aber man verbrennt den Kuchen, weil man vergessen hat, sie in der richtigen Reihenfolge zu mischen.
4. Grounding-Fehler (14,5 %): Die KI wusste, wonach sie suchen musste, las aber die Zahl falsch ab (wie zum Beispiel +138 statt -142 zu sagen).
5. Konsistenzfehler (7,7 %): Die KI fand das richtige Ergebnis in ihrem „Gehirn“ heraus, schrieb aber ein falsches auf.

Die wichtigste Erkenntnis war, dass Kompositionsfehler mehr als ein Drittel aller Fehler ausmachten. Das bedeutet, dass die größte Schwäche der KI darin liegt, die Punkte zu verbinden. Sie kann die Beweise sehen und die Regel abrufen, aber sie kann sie nicht zuverlässig zusammenführen, um ein komplexes Problem zu lösen.

Hilft „Schritt-für-Schritt-Denken“?

Vielleicht haben Sie schon gehört, dass es der KI hilft, komplexe Probleme zu lösen, wenn man ihr sagt, sie solle „Schritt für Schritt denken“ (eine Technik namens Chain-of-Thought). Die Forscher probierten dies bei MMArch aus. Sie baten die KI, ihre Argumentation zu erklären, bevor sie die Antwort gab. Das Ergebnis? Es half nicht viel. Bei einigen Modellen verbesserte es sie leicht, bei anderen machte es sie sogar schlechter. Dies deutet darauf hin, dass das Problem nicht darin besteht, dass die KI angewiesen werden muss, wie sie denken soll, sondern dass sie schlichtweg nicht genug weiß über die spezifischen Regeln der Architektur und des Ingenieurwesens, um eine korrekte Gedankenkette aufzubauen.

Was kommt als Nächstes?

Die Studie kommt zu dem Schluss, dass wir die KI nicht einfach größer machen oder ihr mehr Daten geben können, um dies zu beheben. Das Problem ist nicht mangelnde Größe; es ist ein Mangel an tiefem, spezialisiertem logischem Denken. Die KI muss lernen, visuelle Beweise auf eine Weise mit Fachwissen zu verknüpfen, die aktuelle Modelle noch nicht leisten können.

MMArch steht nun anderen Forschern als Trainingsgelände zur Verfügung. Es ist ein Diagnosewerkzeug, das uns helfen soll, genau zu sehen, wo die KI scheitert, damit wir bessere Modelle für die Zukunft bauen können. Bis dahin sind Sie, wenn Sie ein Wolkenkratzer entwerfen müssen, der einem Erdbeben standhält, immer noch besser beraten, einen menschlichen Experten zu engagieren, anstatt einen Roboter zu fragen.