PolyComp: A Polycube-based Benchmark for Compositional 3D Spatial Reasoning in Multimodal Models
Das Papier stellt PolyComp vor, einen prozedural generierten Benchmark aus 120 Problemen, der darauf ausgelegt ist, die kompositorische 3D-räumliche Argumentation in multimodalen Modellen zu bewerten, wobei aufgezeigt wird, dass fortgeschrittene Modelle wie GPT-5.6 Sol eine moderate Genauigkeit (50 %) erreichen, während andere trotz variierender Kosten und Präsentationsformate nahe an das Niveau des bloßen Ratens abfallen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Der menschliche Geist besitzt ein stilles, fast instinktives Talent dafür, komplexe Formen zu zerlegen und sich vorzustellen, wie sie wieder zusammengefügt werden. Wir können ein Puzzleteil, ein kaputtes Spielzeug oder einen Stapel Boxen betrachten und sofort visualisieren, wie die Teile mit dem Ganzen zusammenhängen, selbst wenn wir nicht jede Oberfläche sehen können. Diese Fähigkeit, die als räumliches Vorstellungsvermögen bekannt ist, ist ein Eckpfeiler der Art und Weise, wie wir uns in der physischen Welt bewegen. Jahrzehntelang haben Wissenschaftler sich gefragt, ob die neue Generation der künstlichen Intelligenz, die Bilder erkennen und Texte lesen kann, dasselbe interne Gefühl für den Raum entwickelt hat. Während diese Maschinen exzellent darin sind, Katzen auf Fotos zu erkennen oder Artikel zusammenzufassen, bleibt unklar, ob sie wirklich das dreidimensionale Geometrie-Verständnis von Objekten besitzen oder ob sie lediglich basierend auf Mustern raten, die sie zuvor gesehen haben.
Eine neue Studie führt einen strengen Test ein, der darauf ausgelegt ist, diese Frage zu klären, indem er über die einfache Bilderkennung hinausgeht, um den Kern dessen zu untersuchen, wie Maschinen über Form und Montage nachdenken. Die Forscher entwickelten einen Benchmark namens PolyComp, eine Sammlung von 120 visuellen Rätseln, die aus blockartigen, würfelbasierten Strukturen aufgebaut sind. In jedem Rätsel wird einer künstlichen Intelligenz ein Zielobjekt gezeigt, das aus mehreren verbundenen Würfeln besteht und aus zwei verschiedenen Blickwinkeln betrachtet wird. Ihr wird dann ein Paar aus vier möglichen kleineren Teilen präsentiert, und sie muss identifizieren, welches Paar durch Rotation und Bewegung perfekt kombiniert werden kann, um das ursprüngliche Zielobjekt zu rekonstruieren. Die Aufgabe erfordert, dass das Modell eine 3D-Repräsentation der Teile im Geist aufbaut, simuliert, wie sie sich im Raum drehen könnten, und überprüft, ob sie ohne Lücken oder Überlappungen zusammenpassen. Dies ist kein Test des Gedächtnisses oder der Sprache, sondern ein reiner Test der geometrischen Logik.
Die Studie unterzog drei der fortschchrittlichsten Systeme der künstlichen Intelligenz einem Test: GPT-5.6 Sol, Claude Fable 5 und Gemini 3.1 Pro Preview. Jedes System wurde gebeten, dieselben 120 Rätsel zu lösen, wobei die Rätsel auf drei verschiedene Arten präsentiert wurden, um zu sehen, ob das Format des Bildes dem Denken half oder es behinderte. Manchmal erschienen das Zielobjekt und die Optionen gemeinsam in einem einzigen Bild; ein anderes Mal wurde das Zielobjekt in einem Bild gezeigt und die vier Optionen wurden auf vier separate Bilder aufgeteilt, entweder mit generischen Bezeichnungen oder beschreibenden Namen. Das Ziel war zu sehen, ob das Aufteilen der visuellen Informationen in kleinere Stücke die Aufgabe erleichterte oder ob die Modelle unabhängig davon Schwierigkeiten hatten, wie die Informationen dargestellt wurden.
Die Ergebnisse zeigten eine signifikante Lücke zwischen menschlicher Intuition und aktuellen maschinellen Fähigkeiten. Das am besten abschneidende Modell, GPT-5.6 Sol, löste nur die Hälfte der Rätsel korrekt und erreichte eine Genauigkeit von 50 Prozent. Das zweitbeste Modell, Claude Fable 5, löste etwa 39 Prozent, während das drittbeste, Gemini 3.1 Pro Preview, nahe am Niveau des Zufallsraten lag und nur 27,5 Prozent der Antworten richtig hatte. Da es für jedes Rätsel vier Optionen gab, wäre von einem Computer, der blind rät, zu erwarten, dass er 25 Prozent korrekt löst. Das bedeutet, dass die fortschrittlichsten Modelle kaum besser als der Zufall waren und die am wenigsten fortgeschrittenen im Grunde nur ratierten. Die Studie fand auch heraus, dass die Art der Form wichtiger war als die Art der Bildpräsentation. Die Modelle hatten die größten Schwierigkeiten mit Rätseln, die rechteckige Schleifen beinhalteten, bei denen die Teile eine ringähnliche Struktur bildeten, aber sie schnitten etwas besser bei Rätseln ab, die wie einfache Blöcke aussah, die auseinandergetrennt oder zusammengefügt wurden.
Interessanterweise machte die Art und Weise, wie die Rätsel gezeigt wurden, keinen dramatischen Unterschied im Ergebnis. Das Aufteilen der Bilder in separate Dateien oder das Hinzufügen beschreibender Labels steigerte die Punktzahlen der Modelle nicht signifikant. Dies deutet darauf hin, dass die Schwierigkeit nicht in der Fähigkeit der Modelle liegt, die Bilder klar zu sehen, sondern in ihrer Unfähigkeit, ein stabiles, internes 3D-Modell der Objekte aufzubauen und zu simulieren, wie sie sich bewegen. Die Forscher stellten fest, dass die Modelle, wenn sie erfolgreich waren, dies oft deshalb taten, weil die Teile eine sehr offensichtliche Gesamtform oder eine große, flache Oberfläche hatten, die sie leicht machbar machte. Wenn die Rätsel verlangten, kleine verborgene Ecken zu verfolgen oder herauszufinden, wie Teile in einen Hohlraum passen, scheiterten die Modelle konsequent.
Die Studie hob auch die Kosten dieser Art von tiefem Denken hervor. Um die insgesamt 360 Fragen (120 Rätsel, die auf drei Arten präsentiert wurden) zu lösen, verbrauchte das fähigste Modell eine enorme Menge an Rechenressourcen, was bei Standardpreisgestaltung fast einen Dollar pro Frage kostete. Die weniger fähigen Modelle waren günstiger in der Ausführung, aber auch weniger genau. Dieser Kompromiss deutet darauf hin, dass selbst wenn wir für die leistungsfähigsten verfügbaren Systeme bezahlen, ihnen immer noch das grundlegende räumliche Verständnis fehlt, das Menschen natürlich entwickeln. Die Forscher veröffentlichten alle 120 Rätsel sowie den verwendeten Code zur Generierung, um andere einzuladen, zukünftige Modelle gegen denselben Standard zu testen.
Letztendlich dient diese Arbeit als klares Diagnosewerkzeug, das zeigt, dass die künstliche Intelligenz zwar enorme Fortschritte im Verständnis von Sprache und der Erkennung von Objekten gemacht hat, aber das mentale Manipulieren von dreidimensionalem Raum noch nicht beherrscht. Die Modelle können einen Würfel beschreiben oder eine Form identifizieren, aber sie können noch nicht zuverlässig vorstellen, wie zwei separate Teile einer Form zusammenpassen würden, wenn man sie in der Luft dreht und rotiert. Bis Maschinen in der Lage sind, diese internen 3D-Karten zu erstellen und Transformationen darin zu simulieren, wird ihr räumliches Vorstellungsvermögen fragil bleiben und anfällig für Fehler sein, die ein menschliches Kind wahrscheinlich mit Leichtigkeit lösen würde. Die Studie behauptet nicht, dass diese Fähigkeit für Maschinen unmöglich zu erlernen sei, aber sie stellt fest, dass aktuelle Systeme dies noch nicht erreicht haben, und lässt damit einen klaren Weg für die zukünftige Forschung offen, um die Lücke zu schließen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.