Do AI Models Perform Human-like Abstract Reasoning Across Modalities?
Diese Arbeit zeigt auf, dass die Bewertung des abstrakten Denkvermögens von KI allein anhand der Genauigkeit irreführend ist, da sie die Fähigkeiten bei textbasierten Aufgaben, bei denen Modelle auf oberflächliche Abkürzungen zurückgreifen, überbewertet und sie bei visuellen Aufgaben, bei denen Modelle die beabsichtigten Abstraktionen oft erfassen, obwohl sie diese nicht korrekt anwenden können, unterbewertet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Lehrer, der einem Schüler ein Rätsel gibt. Das Rätsel zeigt einige Beispiele, wie sich ein Muster verändert (wie zum Beispiel „Bewege das rote Kästchen nach links“) und bittet den Schüler dann, dieselbe Regel auf ein neues, unbekanntes Bild anzuwenden.
Lange Zeit haben wir KI mit solchen Rätseln mithilfe einer „Bewertungskarte“ getestet, die lediglich zählt, wie oft die KI die endgültige Antwort richtig hat. Wenn die KI das richtige Bild liefert, geben wir ihr ein A+.
Dieses Paper stellt eine tiefere Frage: Hat die KI die Regel wirklich verstanden, oder hatte sie nur Glück durch das Entdecken eines seltsamen Tricks?
Hier ist die Geschichte dessen, was die Forscher herausgefunden haben, einfach erklärt:
1. Die zwei Arten, den Test zu absolvieren
Die Forscher testeten Top-KI-Modelle (wie OpenAI's o3, Claude und Gemini) auf zwei verschiedene Arten:
- Der Text-Modus: Sie fütterten die KI mit einem Rätsel in Form einer Liste von Zahlen und Wörtern (z. B. „Gitter 1 hat ein rotes Quadrat bei 2,2...“).
- Der Visuelle Modus: Sie zeigten der KI ein tatsächliches Bild des Rätsels, genau so, wie ein Mensch es sehen würde.
2. Die „Text“-Überraschung: Hohe Punktzahlen, oberflächliches Verständnis
Wenn die KI den Test im Text-Modus absolvierte, schnitt sie unglaublich gut ab. Tatsächlich erreichte die beste KI (o3) eine höhere Punktzahl als der Durchschnittsmensch.
Aber hier ist der Haken: Die Forscher fragten die KI, wie sie das Rätsel gelöst hat.
- Menschen erklärten es meistens anhand des echten Konzepts, wie zum Beispiel: „Entferne das Objekt oben und unten.“
- Die KI gab oft Erklärungen ab, die für die spezifischen gezeigten Beispiele zwar technisch korrekt waren, aber das große Ganze verfehlten.
Die Analogie: Stellen Sie sich einen Schüler vor, der einen Mathetest schreibt. Der Lehrer fragt: „Was ist 2 + 2?“ Der Schüler antwortet „4“. Der Lehrer fragt: „Wie bist du darauf gekommen?“ Der Schüler sagt: „Ich habe auf die Uhr geschaut, und die Zeiger standen auf 4, also habe ich 4 geraten.“
Die Antwort war richtig, aber die Begründung war ein „Shortcut“ (eine Abkürzung). Die KI machte dies ständig: Sie entdeckte zufällige Muster in den Zahlen (wie „die Farbe Rot ist immer die Nummer 3, also entferne ich die Nummer 3“) anstatt das Konzept eines „Objekts“ zu verstehen.
Das Urteil: Im Text-Modus haben die hohen Punktzahlen der KI ihre wahre Intelligenz überschätzt. Sie war gut im Raten, aber nicht immer gut im logischen Schlussfolgern.
3. Die „Visuelle“ Überraschung: Niedrige Punktzahlen, verborgenes Genie
Als die Forscher zum Visuellen Modus wechselten (indem sie der KI Bilder zeigten), brachen die Punktzahlen der KI ein. Sie lieferte viel häufiger das falsche Endergebnis als Menschen.
Die Forscher schauten sich jedoch die Erklärungen der KI erneut an.
Sie fanden etwas Überraschendes: Selbst wenn die KI das endgültige Bild falsch wiedergab, war ihre Erklärung der Regel oft korrekt!
Die Analogie: Stellen Sie sich einen brillanten Architekten vor, der perfekt beschreiben kann, wie man ein Haus baut („Setze die Ziegel in einem Kreis und füge dann ein Dach hinzu“). Aber wenn er tatsächlich versucht, die Ziegel zu legen, lässt er sie ständig fallen oder setzt sie an die falsche Stelle, weil seine Hände ungeschickt sind.
Die KI im visuellen Modus war wie dieser Architekt. Sie verstand das abstrakte Konzept (die „Regel“) perfekt, aber sie hatte Schwierigkeiten, das Bild klar genug zu „sehen“, um die Regel korrekt anzuwenden. Sie konnte nicht genau sagen, wie groß das Gitter war oder wo sich die Objekte befanden.
Das Urteil: Im visuellen Modus haben die niedrigen Punktzahlen der KI ihre wahre Intelligenz unterschätzt. Sie verstand die Logik eigentlich gut, scheiterte aber am Teil der „Wahrnehmung“.
4. Der „Werkzeug“-Effekt
Die Forscher gaben der KI auch einen „Taschenrechner“ (Python-Code), um ihr zu helfen.
- Im Text-Modus: Der Taschenrechner half nicht viel. Die KI war bereits gut in der Logik, aber schlecht darin, die Abkürzungen zu vermeiden.
- Im Visuellen Modus: Der Taschenrechner half sehr viel. Wenn die KI Code nutzen konnte, um das Bild zu „betrachten“ und Pixel zu zählen, stiegen ihre Punktzahlen an. Dies bewies, dass die KI in der Logik nicht „dumm“ war; sie brauchte nur Hilfe dabei, das Bild richtig zu sehen.
Das große Fazit
Wenn man nur auf die Endpunktzahl (das „A+“) schaut, könnte man denken, die KI sei im Text-Modus ein Genie und im visuellen Modus ein Versager.
Doch wenn man untersucht, wie sie denkt:
- Im Text: Nutzt sie oft clevere Abkürzungen („Cheating“), die in der realen Welt nicht funktionieren.
- Im Visuellen: Ist sie ein ungeschicktes Genie, das die Regeln versteht, aber die Ausführung nicht ganz beherrscht.
Das Paper kommt zu dem Schluss, dass wir nicht nur prüfen können, ob die Antwort richtig ist, wenn wir wirklich wissen wollen, ob KI „menschenähnlich“ wird. Wir müssen auch prüfen, ob die Argumentation richtig ist. Andernfalls überbewerten wir entweder ihre Textfähigkeiten oder unterschätzen ihr visuelles Potenzial.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.