Hidden Meanings in Plain Sight: RebusBench for Evaluating Cognitive Visual Reasoning
Die Arbeit stellt RebusBench vor, einen Benchmark aus 1.164 Rätseln, der zeigt, dass aktuelle Large Vision-Language-Modelle trotz ihrer visuellen und sprachlichen Fähigkeiten bei der Lösung komplexer Rebus-Rätsel, die abstrakte Schlussfolgerungen und das Verknüpfen von Wissen erfordern, erhebliche kognitive Defizite aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Rätsel: Warum KI-Bots noch nicht richtig „denken" können
Stell dir vor, du hast einen sehr klugen Roboter, der Bilder sehen und beschreiben kann. Wenn du ihm ein Foto von einer Katze zeigst, sagt er sofort: „Das ist eine Katze." Das klappt super. Aber dieser Roboter hat ein großes Problem, wenn es um Rätsel geht.
Die Forscher von der Sharif University of Technology haben genau dieses Problem untersucht und einen neuen Test entwickelt, den sie RebusBench nennen.
Was ist ein Rebus? (Der „Brot-und-Butter"-Vergleich)
Ein Rebus ist wie ein altes Rätsel aus der Kindheit. Stell dir vor, du siehst ein Bild:
- Ein rotes Buchstabe „E".
- Daneben das Wort „GO" zweimal.
Wenn du das Bild nur beschreibst, sagst du: „Da ist ein rotes E und zwei Go-Wörter."
Aber die Antwort auf das Rätsel ist nicht das, was man sieht, sondern was man hört und versteht: „Ready to go" (Bereit zu gehen).
- „Red E" klingt wie „Ready".
- „Two Gos" klingt wie „to go".
Um das zu lösen, muss man nicht nur sehen, sondern kombinieren, hören und wissen, wie Idiome funktionieren. Das ist wie ein geistiges Jonglieren.
Der Test: RebusBench
Die Forscher haben 1.164 solcher Rätsel gesammelt. Sie wollten testen, ob die modernsten KI-Modelle (wie Qwen, LLaVA oder InternVL) diese Art von Denken beherrschen.
Die Ergebnisse waren ziemlich enttäuschend – und das ist die eigentliche Nachricht des Papers:
Die KI ist wie ein sehr guter Schauspieler, aber ein schlechter Detektiv.
Die Modelle können Bilder perfekt beschreiben. Aber wenn sie das Bild deuten müssen, scheitern sie kläglich. Selbst die größten und teuersten Modelle lagen bei nur unter 10 % richtigen Antworten. Das ist so, als würde ein Schüler, der alle Formeln auswendig gelernt hat, bei einer Mathe-Aufgabe, die einen kleinen Trick erfordert, komplett danebenliegen.Größer hilft nicht.
Normalerweise denken wir: „Wenn das Modell größer ist (mehr Daten, mehr Parameter), wird es schlauer." Bei diesen Rätseln war das nicht der Fall. Ob das Modell 4 Milliarden oder 30 Milliarden „Gehirnzellen" hatte – die Leistung blieb gleich schlecht. Es war, als würde man einem Menschen, der nicht rechnet, einen riesigen Taschenrechner geben; er kann immer noch nicht verstehen, was er rechnet.Beispiele helfen auch nicht.
Die Forscher haben den KIs sogar Beispiele gegeben („Schau, so löst man das hier..."). Das nennt man „Few-Shot Learning". Aber auch das half kaum. Die KI konnte das Muster nicht auf neue Rätsel übertragen. Sie lernte nicht, wie man denkt, sondern nur, was sie sagen soll.
Warum ist das wichtig? (Die „Klebstoff"-Metapher)
Die Forscher sagen, dass die KI heute zwei starke Teile hat:
- Ein Auge (sie sieht Bilder).
- Ein Mund (sie kennt Wörter).
Aber es fehlt der Klebstoff.
Der „Klebstoff" ist die Fähigkeit, das Gesehene mit dem Gewussten zu verbinden und daraus etwas Neues zu erschaffen. Die KI kann die Teile sehen, aber sie kann sie nicht zu einem Sinn zusammenfügen, der nicht direkt auf dem Bild steht.
Das Fazit
Dieses Papier sagt uns: Künstliche Intelligenz ist noch nicht wirklich „kognitiv". Sie kann Muster erkennen, aber sie kann noch nicht wirklich rätseln oder kreativ denken.
Bis die KI lernt, diese „Klebstoff"-Fähigkeit zu entwickeln, wird sie bei solchen Rätseln scheitern. Es reicht nicht, einfach nur mehr Daten zu sammeln oder die Modelle größer zu machen. Wir brauchen eine neue Art von Intelligenz, die das Sehen und das Verstehen wirklich verknüpft.
Kurz gesagt: Unsere KI-Bots sind wie sehr gut ausgebildete Bibliothekarinnen, die jedes Buch im Regal finden können. Aber wenn man sie bittet, ein Rätsel zu lösen, das auf dem Buchdeckel versteckt ist, schauen sie ratlos auf das Bild und sagen: „Ich sehe nur Buchstaben."
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.