LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?
Das Paper stellt LEGO-Puzzles vor, einen Benchmark zur Evaluierung der mehrstufigen räumlichen Denkfähigkeiten von Multimodalen Großen Sprachmodellen (MLLMs) durch elementare Aufgaben und Montageplanung, wobei aufgezeigt wird, dass selbst die stärksten Modelle im Vergleich zu Menschen signifikant unterperformen und Schwierigkeiten haben, die Genauigkeit bei zunehmender Planungskomplexität aufrechtzuerhalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine komplexe Burg aus Blöcken zu bauen, aber Sie können nur mit ihm sprechen und ihm Bilder zeigen. Dies ist die Welt der Multimodalen Großen Sprachmodelle (MLLMs). Betrachten Sie diese Modelle als superintelligente digitale Gehirne, die Text lesen und Bilder „sehen“ können, um die Welt so zu verstehen, wie es Menschen tun. Eines der schwierigsten Dinge, die ein Gehirn lernen kann, ist das räumliche Vorstellungsvermögen – die Fähigkeit zu verstehen, wie Objekte im 3D-Raum zusammenpassen, welches Teil obenauf liegt, welches gedreht werden muss und wie sich das gesamte Gebilde verändert, wenn man Teile hinzufügt. Während diese KI-Modelle immer besser darin werden, zu chatten und Bilder zu beschreiben, fragen sich Wissenschaftler noch: Können sie tatsächlich eine Abfolge von Bewegungen planen, um etwas aufzubauen? Es ist eine Sache, vor einem fertigen Turm zu stehen und zu sagen: „Der ist hoch“, aber es ist eine ganz andere Herausforderung, die exakte Reihenfolge von 50 Schritten zu bestimmen, um ihn von Grund auf neu zu bauen. Wenn wir wollen, dass Roboter unsere Autos reparieren oder uns beim Aufbau von Möbeln helfen, müssen sie diese Art des schrittweisen Denkens meistern.
Hier kommt LEGO-Puzzles ins Spiel, eine neue „Prüfung“, die von Forschern entwickelt wurde, um genau diese Fähigkeit zu testen. Anstatt echte Plastiksteine zu verwenden, schufen die Forscher einen riesigen digitalen Spielplatz unter Verwendung von LEGO-Anleitungen, um zu sehen, wie gut die klügsten KI-Modelle der Welt mit räumlichen Rätseln umgehen können. Sie unterteilten den Test in zwei Hauptstufen. Die erste Stufe, das Elementary Set, ist wie ein Aufwärmtraining. Es stellt dem KI einfache Fragen zu einem einzelnen Bild: „Welcher Block ist höher?“ „Berühren sich diese zwei Teile?“ oder „Wie sieht dieses Teil von der Seite aus, wenn ich es drehe?“ Dies testet das grundlegende „räumliche Verständnis“. Die zweite Stufe, das Planning Set, ist der Endgegner. Hier beantwortet die KI nicht nur Fragen, sondern muss wie ein Meisterbaumeister agieren. Ihr wird ein Startstapel an Blöcken und ein Bild des Endziels gegeben, und sie muss einen schrittweisen Plan erstellen, um dorthin zu gelangen. Die Forscher testeten 29 der fortschrittlichsten verfügbaren KI-Modelle, einschließlich großer Namen wie GPT-5 und Gemini, und baten sogar menschliche Experten, denselben Test zu absolvieren.
Die Ergebnisse waren ein wenig wie ein Realitätscheck für die KI-Welt. Selbst die stärksten Modelle hatten mit den Grundlagen zu kämpfen. Bei den elementaren Fragen fielen die besten KI-Modelle um mindestens 20 % hinter die menschliche Leistung zurück. Wenn sie beispielsweise beurteilen sollten, welche Blöcke im 3D-Raum höher sind, gerieten viele Modelle in Verwirrung, da sie das flache 2D-Bild auf dem Bildschirm betrachteten, anstatt die wahre 3D-Form zu imaginieren. Aber die Probleme wurden deutlich größer, je länger die Aufgaben wurden. Wenn die KI eine Abfolge von Schritten mithilfe von Multiple-Choice-Fragen planen musste, sank ihre Genauigkeit signifikant, sobald der Plan mehr als 3 Schritte umfasste, und fiel unter 50 %. Sobald der Plan 8 Schritte erforderte, sank die Genauigkeit der besten Modelle auf 0 %. Im Gegensatz dazu lösten die menschlichen Teilnehmer jede einzelne Planungsaufgabe perfekt, unabhängig davon, wie lang die Kette der Schritte war.
Die Forscher versuchten auch etwas noch Schwierigeres: die KI nicht nur die Schritte beschreiben zu lassen, sondern sie tatsächlich dazu aufzufordern, die Zwischenbilder des Bauprozesses zu zeichnen. Sie wollten sehen, ob die KI sich vorstellen konnte, wie die Burg nach Schritt 1, dann Schritt 2 und so weiter aussieht. Die Ergebnisse waren drastisch. Selbst bei einem kurzen Plan von nur 3 Schritten scheiterten die Modelle vollständig bei der Generierung der korrekten visuellen Sequenz. Sie konnten zwar manchmal ein Bild zeichnen, das wie ein LEGO-Stein aussah, aber sie konnten ihn nicht an der richtigen Stelle platzieren oder die Ausrichtung korrekt treffen. Das Paper stellt fest, dass die Modelle bei der Bildgenerierung bereits bei nur 3 Schritten so schlecht versagten, dass die Forscher gar nicht erst längere Horizonte für diese spezifische Aufgabe testeten. Dies deutet darauf hin, dass diese Modelle zwar gut darin sind, Muster zu erkennen, aber nicht die Fähigkeit besitzen, die Konsequenzen ihres Handelns über die Zeit hinweg zu „visualisieren“. Sie können keine mentale Karte des Bauprozesses in ihrem Kopf behalten, ohne den Faden zu verlieren.
Kurz gesagt: LEGO-Puzzles zeigt, dass unsere derzeitigen KI-Modelle zwar beeindruckend sind, aber noch weit von echter räumlicher Intelligenz entfernt sind. Sie können nicht zuverlässig eine mehrstufige Montage planen und versagen kläglich, wenn es darum geht, die zukünftigen Zustände eines Objekts zu visualisieren. Das Paper kommt zu dem Schluss, dass wir noch einen weiten Weg vor uns haben, bevor die KI die physische Welt wirklich gut genug verstehen kann, um uns beim Bauen zu helfen, kaputte Gegenstände zu reparieren oder komplexe Umgebungen eigenständig zu navigieren. Die Lücke zwischen menschlicher Intuition und maschineller Berechnung in der physischen Welt ist immer noch groß, und dieser neue Benchmark liefert uns eine klare Karte darüber, an welchen Stellen die Modelle stolpern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.