The Gordian Knot for VLMs: Diagrammatic Knot Reasoning as a Hard Benchmark
KnotBench führt einen rigorosen Benchmark mit nahezu 860.000 Knotendiagrammen ein, um zu demonstrieren, dass aktuelle Vision-Sprachmodelle trotz verbesserter Leistung mit „Denk"-Modi grundlegend Schwierigkeiten haben, visuelle Knotenstrukturen in handlungsorientiertes symbolisches Schließen zu übersetzen und bei Aufgaben, die eine diagrammatische Manipulation erfordern, häufig versagen, über zufällige Baselines hinauszukommen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr intelligenten Roboter, der ein Bild eines verwickelten Fadens betrachten und es perfekt beschreiben kann. Er könnte sagen: „Ich sehe eine rote Schleife, die über eine blaue Schleife verläuft, die dann unter einer grünen hindurchgeht." Er verfügt über ein hervorragendes Sehvermögen.
Doch hier liegt der Haken: Wenn Sie denselben Roboter bitten, den Faden zu entwirren oder Ihnen zu sagen, ob zwei verschiedene Bilder von Knoten tatsächlich derselbe Knoten sind, nur anders gezeichnet, versagt er völlig. Er kann den Knoten beschreiben, aber er kann nicht in seinem Geist damit „spielen".
Diese Arbeit mit dem Titel „Der Gordische Knoten für VLMs" führt einen neuen Test namens KnotBench ein, um genau zu beweisen, wie groß diese Lücke zwischen „Sehen" und „Tun" für moderne KI-Modelle ist.
Das Setup: Ein digitaler Knotengarten
Die Forscher schufen einen riesigen Garten mit 858.000 Bildern von Knoten.
- Die Quelle: Sie starteten mit 1.951 grundlegenden „Prototyp"-Knoten (den einfachsten Bausteinen der Knotentheorie).
- Die Magie: Sie verwendeten eine mathematische Regel (genannt Reidemeister-Bewegung), um diese Knoten Tausende Male zu verdrehen, zu wenden und neu zu zeichnen.
- Das Ergebnis: Sie könnten ein Bild eines einfachen „Dreifach"-Knotens mit 3 Kreuzungen haben und ein anderes Bild desselben exakten Knotens mit 20 Kreuzungen, der völlig anders aussieht. Oder Sie könnten zwei Bilder haben, die fast identisch aussehen, aber tatsächlich verschiedene Knoten sind (wie ein linkshändiger Handschuh im Vergleich zu einem rechtshändigen Handschuh).
Der Computer kennt die „wahre Identität" jedes einzelnen Knotens, da er sie mittels Mathematik und nicht durch menschliches Raten generiert hat. Dies macht den Test perfekt fair.
Der Test: 14 Arten, stecken zu bleiben
Die Forscher baten vier der intelligentesten verfügbaren KI-Modelle (darunter Claude Opus 4.7 und GPT-5), 14 verschiedene Aufgaben zu erfüllen. Sie teilten die Aufgaben in zwei Gruppen auf, um zu sehen, wo die KI zusammenbricht:
- Die „Bild"-Gruppe: Die KI betrachtet ein Bild des Knotens.
- Die „Text"-Gruppe: Die KI betrachtet eine Liste aus Zahlen und Buchstaben (einen Code), der den Knoten beschreibt.
Hier ist, was sie von der KI verlangten, unter Verwendung einfacher Analogien:
Der „Gleich oder Verschieden?"-Test (Familie A): „Sind diese beiden Bilder derselbe Knoten?"
- Die Falle: Manchmal sehen die Bilder völlig unterschiedlich aus, sind aber derselbe Knoten. Manchmal sehen sie fast identisch aus, sind aber unterschiedlich.
- Das Ergebnis: Wenn sie den Textcode erhielten, war die KI darin hervorragend. Wenn sie das Bild erhielten, riet sie zufällig, wie ein Affe, der Darts wirft.
Der „Was ist passiert?"-Test (Familie B): „Ich habe Ihnen einen Knoten gezeigt, dann habe ich eine kleine Bewegung ausgeführt (wie das Hinzufügen einer Schleife). Welche Bewegung habe ich ausgeführt?"
- Die Falle: Dies erfordert, dass die KI die Bewegung mental simuliert. „Wenn ich diesen Faden hier ziehe, wie sieht das Bild dann aus?"
- Das Ergebnis: Wenn sie den Textcode erhielten, konnte die KI dies herausfinden. Wenn sie das Bild erhielten, versagte sie jämmerlich. Ein Modell (GPT-5) begann einfach, die häufigste Antwort („R3") immer und immer wieder zu raten, wie ein Schüler, der den Antwortenschlüssel auswendig gelernt hat, aber die Mathematik nicht verstanden hat.
Der „Zählen"-Test (Familie C): „Wie oft kreuzen sich die Fäden?"
- Das Ergebnis: Die KI konnte 8 Kreuzungen leicht zählen. Sobald der Knoten jedoch komplex wurde (17+ Kreuzungen), wurde die Zählung der KI ein völliges Durcheinander. Sie konnte nicht einmal die Gegenstände zählen, die sie betrachtete.
Der „Übersetzer"-Test (Familie D): „Hier ist ein Bild. Schreiben Sie den Geheimplatz dafür auf."
- Das Ergebnis: Null. Keines der Modelle konnte dies tun. Sie konnten das visuelle Bild nicht in den mathematischen Code übersetzen, selbst nicht mit aktiviertem „Denkmodus".
Die große Entdeckung: Die „Wahrnehmungs-Operations-Lücke"
Die Arbeit bezeichnet den Versagenspunkt als „Wahrnehmungs-Operations-Lücke".
Stellen Sie es sich so vor:
- Wahrnehmung ist, eine Karte zu betrachten und zu sagen: „Ich sehe einen Fluss und eine Brücke."
- Operation ist, dieselbe Karte zu betrachten und zu sagen: „Wenn ich über die Brücke gehe, komme ich auf die andere Seite an."
Die KI-Modelle sind bei der Wahrnehmung erstaunlich. Sie können den Knoten beschreiben. Aber sie sind schrecklich bei der Operation. Sie können nicht nehmen, was sie sehen, und es mental manipulieren, um ein Problem zu lösen.
Hilft „Denken"?
Die Forscher schalteten den „Denkmodus" der KI ein (wo das Modell vor dem Antworten mit sich selbst spricht).
- Hat es geholfen? Ja, aber nur ein wenig.
- Wo hat es geholfen? Nur dann, wenn die KI den Textcode erhielt. Wenn die KI zuerst ein Bild betrachten musste, hat „Denken" das Problem nicht behoben. Es ist, als würde man einem Taschenrechner jemandem geben, der die Zahlen auf dem Bildschirm nicht lesen kann; der Rechner ist nutzlos.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass aktuelle KI-Modelle wie Fotografen sind, die keine Mechaniker sein können. Sie können ein perfektes Foto eines Knotens machen und jedes Detail beschreiben, aber ihnen fehlt der interne „Simulator", den Menschen verwenden, um Objekte mental zu verdrehen und zu wenden, um zu verstehen, wie sie funktionieren.
Sie können den Knoten sehen, aber sie können nicht darauf wirken. Bis die KI diesen internen „mentalen Simulator" entwickelt, bleibt sie blind für die Logik von Diagrammen, egal wie viele Bilder sie sieht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.