Evaluation of Small Vision-Language Models on Qualitative Mechanical Problems

Das tägliche Leben ist voller mechanischer Rätsel, die wir lösen, ohne jemals nach einem Taschenrechner zu greifen. Einen Wasserhahn aufdrehen, verstehen, warum eine schwere Kiste schwieriger eine Rampe hinaufzuschieben ist als eine leichte, oder herauszufinden, in welche Richtung sich ein Satz von Zahnrädern dreht, wenn man einen Griff umlegt – dies sind Aufgaben, die wir mit einer Art gesunden Menschenverstand bewältigen. Diese Fähigkeit, bekannt als qualitatives Denken, beruht auf dem Verständnis darüber, wie Dinge aussehen, sich anfühlen und in Beziehung zueinander im Raum stehen, anstatt auf präzisen Messungen oder komplexen Formeln. Es ist eine Fähigkeit, die so grundlegend für die menschliche Intelligenz ist, dass Arbeitgeber oft spezifische Tests, wie den Bennett Mechanical Comprehension Test, einsetzen, um zu sehen, ob Kandidaten über die angeborene mechanische Intuition verfügen, die für Rollen in der Sanitärtechnik, der Notfallmedizin oder beim Autofahren erforderlich ist. Seit Jahrzehnten fragen sich Wissenschaftler, ob Maschinen dasselbe lernen können – nicht nur durch das Verarbeiten von Zahlen, sondern indem sie die physische Welt wirklich „sehen“ und verstehen, so wie Menschen es tun.

Ein Team von Forschern der Louisiana State University of New Orleans ging dieser Frage kürzlich nach, indem es zwei neue, kleinere Modelle der künstlichen Intelligenz untersuchte, die darauf ausgelegt sind, gleichzeitig zu sehen und zu lesen. Diese Modelle, benannt nach Gemma und Qwen, sind darauf programmiert, ein Bild zu betrachten und eine Frage dazu zu beantworten – eine Fähigkeit, die in der modernen Technologie immer häufiger vorkommt. Die Forscher wollten wissen, ob diese Systeme dieselbe Art von mechanischen Rätseln lösen können, denen Menschen gegenüberstehen, und noch wichtiger war ihnen, wie die Maschinen sich ihren Weg zu einer Antwort gedanklich ebneten. Anstatt nur zu prüfen, ob die endgültliche Antwort richtig oder falsch war, bat das Team die Modelle, ihre Argumentation Schritt für Schritt zu erklären, um die interne Logik offenzulegen, die sie zur Schlussfolgerung führte. Sie testeten die Modelle an dreißig verschiedenen Problemen, die Zahnräder, Wasserdruck, Schallwellen und Wärme betrafen, und deckten dabei ein Spektrum von leicht bis schwer ab.

Die Ergebnisse zeichneten ein Bild von sowohl vielversprechenden Ansätzen als auch erheblichen Einschränkungen. Wenn die Probleme unkompliziert waren und die visuellen Hinweise offensichtlich waren, schnitten beide Modelle gut ab, identifizierten die Lösung korrekt und erklärten ihre Logik mit einem klaren, schrittweisen Fluss. In diesen idealen Situationen gelang es den Maschinen erfolgreich, das, was sie sahen, auf die physikalischen Regeln abzubilden, ganz ähnlich wie ein Schüler, der den Stoff gelernt hat und die Konzepte versteht. Sobald die Probleme jedoch subtiler wurden oder ein tieferes Verständnis räumlicher Beziehungen erforderten, gerieten die Modelle ins Straucheln. Ein großer Teil ihrer Fehler resultierte nicht aus einem Mangel an Wissen, sondern aus einem Versagen, das Bild korrekt wahrzunehmen. In einem Fall, der ein U-Boot und eine Schallwelle betraf, erfanden beide Modelle Details, die gar nicht vorhanden waren, wie etwa die Bewegung des U-Boots auf die Explosion zu oder von ihr weg, obwohl das Bild eine statische Szene zeigte. Weil sie diese Bewegung halluzinierten, wandten sie die falsche Logik an und kamen zur falschen Antwort, obwohl die wahre Lösung schlicht darin bestand, wie schnell Schall durch Wasser im Vergleich zu Luft reist.

In anderen Fällen lieferten die Modelle die richtige Antwort aus den falschen Gründen, ein Phänomen, das den Forschern besonders aufschlussreich erschien. Ein Modell identifizierte korrekt, welche von drei Wasserturbinen am schnellsten rotieren würde, doch seine Erklärung stützte sich auf ein völlig falsches Verständnis darüber, wie die Wasserstrahlen auf die Blätter treffen. Es hatte das richtige Ergebnis durch Zufall erraten, was den fehlerhaften internen Prozess maskierte. Dies deutet darauf hin, dass die Modelle zwar manchmal den Anschein von Verständnis imitieren können, ihnen aber die robuste, fundierte Argumentation fehlt, die Menschen nutzen, um ihre Gedanken zu verifizieren. Die Studie ergab, dass die Modelle etwa die Hälfte der Probleme nicht lösen konnten, wobei die Fehler entweder aus mangelndem räumlichem Vorstellungsvermögen – also dem Übersehen wichtiger visueller Details wie Kontaktpunkten oder Abständen – oder aus einer fehlerhaften Logik resultierten, bei der physikalische Gesetze falsch angewendet wurden. Beispielsweise nahm ein Modell bei einem Zahnradproblem an, dass ein größeres Zahnrad ein kleineres schneller antreiben würde, eine Regel, die auf die spezifische Anordnung im Bild nicht zutrifft.

Die Forscher kamen zu dem Schluss, dass diese kleinen Vision-Language-Modelle zwar zu beeindruckenden Leistungen fähig sind, aber noch nicht bereit sind, die menschliche Intuition bei komplexen mechanischen Aufgaben zu ersetzen. Die Fähigkeit, die richtige Antwort zu geben, reicht nicht aus; der Weg zu dieser Antwort muss logisch sein und auf einer wahren Wahrnehmung der visuellen Welt basieren. Die Studie verdeutlicht, dass die aktuelle künstliche Intelligenz immer noch mit der Art von tiefem, gesunden räumlichen Denken kämpft, das es Menschen ermöglicht, sich mühelos in der physischen Welt zu bewegen. Um voranzukommen, schlagen die Autoren vor, dass zukünftige Systeme speziell auf Aufgaben trainiert werden müssen, die das Verständnis von Raum und Beziehungen erfordern, und vielleicht mit Systemen kombiniert werden sollten, die Fakten gegen bekannte physikalische Prinzipien überprüfen können. Bis dahin bleiben die Maschinen Studenten, die zwar manchmal eine Prüfung durch Raten bestehen können, aber noch nicht gelernt haben, die Welt wirklich so zu sehen, wie wir es tun.