See2Think: Do Multimodal Models Really Use Intermediate Visual States?
Dieses Paper führt See2Think ein, ein einheitliches Evaluierungsframework bestehend aus einem 1.200-Proben-Benchmark und einem Visual Action-of-Thought-Protokoll, um aufzuzeigen, dass multimodale Modelle zwar eine Verhaltensabhängigkeit von intermediären visuellen Zuständen aufweisen, ihre Denkgenauigkeit jedoch stark durch die Rendering-Fideltät begrenzt wird und signifikant zwischen Modellen und Umgebungen variiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, aber anstatt nur auf das Bild zu schauen, dürfen Sie einen Bleistift nehmen, Linien zeichnen, Hinweise einkreisen und Ihre Gedanken auf einem Blatt Papier skizzieren. Dies ist die Welt der multimodalen großen Sprachmodelle – superintelligente Computerprogramme, die Text lesen und Bilder „sehen“ können. Eine Zeit lang wurden diese Modelle immer besser darin, „laut zu denken“, indem sie ihre Schritte aufschrieben, ein Trick, der Chain-of-Thought (Gedankenkette) genannt wird. Doch viele Rätsel, insbesondere solche, die 3D-Räume oder komplexe Geometrie betreffen, sind allein mit Worten schwer zu lösen. Menschen erstellen von Natur aus Diagramme, um nachzudenken, also fragten sich Wissenschaftler: Können diese KI-Modelle tatsächlich Zwischenzeichnungen und Skizzen verwenden, um Probleme zu lösen, oder tun sie nur so, als ob?
Dies ist die große Frage, die Forscher stellen. Wenn eine KI sagt: „Ich muss hier eine Linie ziehen, um das herauszufinden“, nutzt sie dann tatsächlich diese neue Zeichnung, um die Antwort zu finden? Oder ignoriert sie die Zeichnung einfach und rät die Antwort trotzdem? Es ist, als würde man fragen, ob ein Schüler sein Schmierblatt wirklich benutzt, um die Matheaufgabe zu lösen, oder ob er nur Unsinn kritzelt und hofft, dass die endgültige Antwort durch Magie entsteht. Das Verständnis dessen ist entscheidend, denn wenn die Modelle die visuellen Werkzeuge, die sie erschaffen, nicht wirklich nutzen, verschwenden wir vielleicht Zeit damit, Funktionen zu entwickeln, die sie nicht wirklich intelligenter machen.
Hier kommt See2Think ins Spiel, eine neue Studie, die wie ein Detektiv für das KI-Schlussfolgern fungiert. Die Fors researcher bauten eine massive Testumgebung namens See2ThinkBench, die 1.200 verschiedene Rätsel enthält, die von 2D-Geometrie und Chemie-Diagrammen bis hin zu 3D-Roboter-Szenen und realen Physikproblemen reichen. Sie fragten die Modelle nicht nur nach einer Antwort; sie legten ein spezielles Protokoll fest, das Visual Action-of-Thought (VAoT) genannt wird. Denken Sie an ein Spiel, bei dem die KI abwechselnd vorgehen muss: Sie denkt nach, entscheidet sich dafür, etwas zu „zeichnen“ (wie das Hervorheben eines bestimmten Winkels oder das Vergrößern eines Teils des Bildes), ein separates Werkzeug zeichnet dies dann tatsächlich, und die KI muss sich danach diese neue Zeichnung ansehen, um ihr Denken fortzusetzen.
Das Team testete vier verschiedene leistungsstarke KI-Modelle, um zu sehen, wie sie dieses Spiel handhaben. Sie fanden heraus, dass es keinen „Einheitsgewinner“ gibt. Manchmal funktionierte es am besten, nur in Worten zu denken (ohin Zeichnungen); ein anderes Mal half es tatsächlich, die Zeichnung zu sehen. Aber hier ist die Wendung: Die Modelle waren überraschend gut darin, zu entscheiden, was zu zeichnen ist (die richtigen Hinweise auszuwählen), aber sie scheiterten oft daran, die Zeichnung korrekt zu verwenden. Tatsächlich stellte die Studie fest, dass der größte Engpass nicht die Wahl der richtigen Aktion war, sondern die „Treue“ der Zeichnung selbst – hat das Werkzeug das gezeichnet, was die KI verlangt hatte?
Die faszinierendste Entdeckung kam vielleicht durch einen „Trick“, den die Forscher anwandten. Sie gaben den Modellen absichtlich „korrupte“ Zeichnungen – Bilder, die zwar so aussah, als hätte die KI sie so angefordert, aber eigentlich falsch oder irreführend waren. Wenn dies geschah, sank die Leistung der Modelle signifikant, insbesondere in 3D-Szenen, wo die Genauigkeit um über 10 Prozentpunkte fiel. Dies beweist, dass die Modelle tatsächlich auf den visuellen Zustand angewiesen waren, den sie sahen, selbst wenn dieser fehlerhaft war. Die Studie legt jedoch auch nahe, dass allein die Tatsache, dass ein Modell von der Zeichnung abhängt, nicht bedeutet, dass die Zeichnung ihm auch tatsächlich geholfen hat, die richtige Antwort zu finden. Manchmal waren die Modelle so sehr von dem visuellen Feedback abhängig, dass selbst eine schlechte Zeichnung sie so sehr verwirrte, dass sie scheiterten, was zeigt, dass das „Nutzen“ eines visuellen Zustands und das „Profitieren“ davon zwei sehr unterschiedliche Dinge sind.
Kurz gesagt zeigt die Arbeit, dass KI-Modelle zwar besser im Konzept des visuellen Denkens werden, aber immer noch mit der unordentlichen Realität der Ausführung und dem Vertrauen in ihre eigenen Skizzen kämpfen. Sie sind wie Schüler, die genau wissen, welchen Teil des Diagramms sie ansehen müssen, aber oft die Orientierung verlieren, wenn sie versuchen, die neue Skizze, die sie gerade erstellt haben, tatsächlich zu lesen. Die Forscher kommen zu dem Schluss, dass wir aufhören müssen, nur auf die endgültige Antwort zu schauen, und statfangen sollten, den gesamten Prozess zu diagnostizieren – zu prüfen, ob die Zeichnung relevant war, ob sie korrekt gezeichnet wurde und ob das Modell sie tatsächlich zum Denken genutzt hat. Bis wir diese Engpässe beheben, könnte das „Denken mit Bildern“ noch eher eine Performance als eine echte Superkraft sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.