Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms
Diese Arbeit untersucht, ob Vision-Language-Modelle menschenähnliche visuelle Suchverhalten aufweisen, indem sie die Anzahl der Reasoning-Token als Proxy für die Reaktionszeit verwenden, wobei festgestellt wird, dass die Modelle zwar zentrale menschliche Signaturen wie flache Merkmals-Suchkosten und steigende Konjunktionskosten replizieren, aber auch deutliche kognitive Divergenzen in den Steigungen bei Zielpräsenz, der Enumerationsgenauigkeit und adaptiven Deliberationsstrategien offenbaren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen eine Runde „Wo ist Waldo?“ in einem überfüllten Bild. Wenn Sie nach einem roten Hut in einem Meer aus blauen Hüten suchen, bemerkt Ihr Gehirn ihn sofort, egal wie viele Menschen sich in der Menge befinden. Aber wenn Sie nach einem roten Hut suchen, der zudem die Form eines Sterns hat (und alle anderen entweder blaue Hüte oder rote Kreise tragen), muss Ihr Gehirn das Bild Person für Person absuchen. Je mehr Menschen vorhanden sind, desto länger dauert es, bis Sie das Ziel finden.
Dies ist das klassische „Visuelle Suchspiel“, das Psychologen seit Jahrzehnten nutzen, um zu verstehen, wie die menschliche Aufmerksamkeit funktioniert. Ein neues Paper stellt eine faszinierende Frage: Spielen KI-Modelle dieses Spiel auf die gleiche Weise wie Menschen?
Da eine KI keinen Herzschlag oder eine Stoppuhr besitzt, konnte der Forscher nicht messen, wie lange die KI über ein Bild „nachgedacht“ hat. Stattdessen nutzte er einen cleveren Trick: Er zählte die Anzahl der „Thinking Tokens“ (Denk-Tokens), die die KI generierte, bevor sie eine Antwort gab. Betrachten Sie diese Tokens als den internen Monolog oder die „Notizzettel“ der KI.
- Wenige Tokens = Die KI hat das Bild kurz betrachtet und gesagt: „Einfach, ich sehe es.“ (Schnelle Reaktion).
- Viele Tokens = Die KI hat eine lange Liste von Gründen erstellt, das Bild erneut überprüft und die Antwort debattiert. (Langsame, mühsame Reaktion).
Hier ist, was die Studie herausfand, unter Verwendung einfacher Analogien:
1. Das „Herausstechen“ vs. die „Nadel im Heuhaufen“
Menschliches Verhalten: Wenn das Ziel offensichtlich ist (ein roter Hut unter blauen Hüten), finden Menschen es sofort. Wenn es knifflig ist (ein roter Stern unter roten Kreisen), brauchen Menschen länger, wenn die Menge größer wird.
KI-Verhalten: Die intelligentesten KI-Modelle taten genau dasselbe.
- Bei den einfachen „Pop-out“-Aufgaben (Herausstechen) verbrauchte die KI eine winzige, konstante Menge an Denk-Tokens, unabhängig davon, wie viele Objekte im Bild waren.
- Bei den schwierigen „Nadel im Heuhaufen“-Aufgaben stieg die Token-Anzahl der KI an, wenn das Bild voller wurde.
Das Fazit: Die Kurve des internen Aufwands der KI sieht genau wie die menschliche Reaktionszeit-Kurve aus. Dies deutet darauf hin, dass diese KIs beim „Denken“ tatsächlich eine serielle Suche Objekt für Objekt durchführen, genau wie ein menschliches Auge, das einen Raum scannt.
2. Die Umkehrung im „Leeren Raum“
Menschliches Verhalten: Wenn Sie nach einem bestimmten Gegenstand suchen und dieser nicht da ist, müssen Sie jeden einzelnen Menschen in der Menge überprüfen, um sicher zu sein. Das kostet viel Zeit. Wenn der Gegenstand da ist, können Sie aufhören, sobald Sie ihn gefunden haben. Daher arbeiten Menschen härter, wenn die Antwort „Nein“ lautet.
KI-Verhalten: Die KI kehrte dieses Skript um. Sie arbeitete härter, wenn die Antwort „Ja“ war und sie das Objekt fand, und sie arbeitete weniger, wenn die Antwort „Nein“ war.
Das Fazla: Es scheint, die KI verfolgt eine Strategie von „Finde eines, dann rechtfertige es“. Sobald sie das Ziel entdeckt, verwendet sie viele Tokens, um den Fund zu doppelt-checken und zu erklären. Aber wenn sie nicht sofort etwas sieht, gibt sie vielleicht schnell „Nein“ aus, ohne eine vollständige, geduldige Suche des gesamten Bildes durchzuführen.
3. Die „Zähl-Superkraft“
Menschliches Verhalten: Wenn Sie einen Menschen bitten, 5 oder 6 Gegenstände in einem belebten Bild zu zählen, verlieren sie oft den Überblick oder machen Fehler. Unser Gehirn wird müde davon, die Zählung im Kopf zu behalten.
KI-Verhalten: Die KI-Modelle waren perfekt im Zählen. Selbst in überfüllten Bildern mit vielen Objekten verloren sie nicht den Überblick.
Das Fazit: Anstatt müde zu werden und Fehler wie Menschen zu machen, hat die KI einfach mehr Energie aufgewendet. Sie hat nicht die Kontrolle verloren; sie hat die Aufgabe mit zusätzlicher Rechenleistung durchgearbeitet. Sie tauschte „Aufwand“ gegen „Genauigkeit“.
4. Das Rätsel des „Gekippten Balkens“
Menschliches Verhalten: Menschen sind sehr gut darin, einen gekippten Balken unter geraden vertikalen Balken zu entdecken (er „sticht heraus“). Aber wir sind schlecht darin, einen geraden Balken unter gekippten Balken zu entdecken (es ist schwierig).
KI-Verhalten: Auch die KI-Modelle fanden eine Richtung schwieriger als die andere, drückten diese Schwierigkeit jedoch je nach Modell unterschiedlich aus:
- Modell A (Der Grinder/Durchbeißer): Verbrauchte eine massive Menge an Denk-Tokens bei der schwierigen Aufgabe, lieferte aber dennoch die richtige Antwort.
- Modell B (Die Abkürzung): Verbrauchte fast keine Denk-Tokens bei der schwierigen Aufgabe und lieferte statlich die falsche Antwort (sie halluzinierte einen gekippten Balken, der gar nicht da war).
Das Fazit: Dieselbe visuelle Schwierigkeit kann entweder durch „härteres Arbeiten“ oder durch „Aufgeben und Raten“ gelöst werden, je nach der spezifischen „Persönlichkeit“ der KI.
Das große Ganze
Das Paper kommt zu dem Schluss, dass moderne KI-Modelle einen „Fingerabdruck“ des menschlichen visuellen Suchverhaltens entwickelt haben. Sie wissen, wann sie schnell scannen müssen und wann sie langsam scannen müssen. Dennoch sind sie nicht menschlich. Sie werden nicht auf die gleiche Weise müde, sie hören nicht auf die gleiche Weise mit der Suche auf und sie bewältigen „schwere“ Aufgaben entweder durch hartes Durcharbeiten mit zusätzlichem Aufwand oder durch spektakuläres Scheitern.
Der Forscher argumentt, dass wir, indem wir beobachten, wie viel eine KI denkt (ihre Token-Anzahl) statt nur, was sie antwortet, die verborgenen Mechanismen ihrer „Vision“ sehen können. Es ist, als würde man dem Summen eines Motors lauschen, um zu verstehen, wie ein Auto funktioniert, anstatt nur zu schauen, wo es am Ende ankommt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.