The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans
Dieses Paper führt das „Riddle-Riddle“-Paradigma ein, um zu demonstrieren, dass Menschen ihre Denkstrategien zwar flexibel an den Inhalt eines Problems anpassen, große Sprachmodelle jedoch häufig auf Mustererkennung und Oberflächenmerkmale zurückgreifen, was dazu führt, dass sie bei wörtlich gemeinten Problemen unangemessen kreative Denkweisen anwenden und darauf hindeutet, dass ihre starke Leistung bei echten Rätseln eher auf dem Abruf aus dem Gedächtnis als auf flexiblem Denken beruht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie Rätsel lösen müssen. Einige Rätsel sind knifflige Knobeleien, die erfordern, dass man über den Tellerrand hinausblickt, während andere genau wie Rätsel aussehen, aber eigentlich nur einfache Mathematik in Verkleidung sind.
Dieses Papier stellt eine neue Methode vor, um zu testen, wie intelligent KI (Large Language Models) im Vergleich zu Menschen wirklich ist. Sie nennen es das „Riddle Riddle“-Paradigma.
Hier ist die einfache Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben:
Das Setup: Der „Trick“ vs. das „Wörtliche“
Die Forscher erstellten zwei Arten von Fragen, die oberflächlich betrachtet fast identisch sind:
- Das echte Rätsel (Der Trick):
- Beispiel: „Ein Cowboy reitet am Freitag in die Stadt, bleibt drei Tage lang und reitet am Freitag wieder hinaus. Wie ist das möglich?“
- Die Antwort: Man muss erkennen, dass „Freitag“ der Name seines Pferdes ist und nicht der Wochentag. Dies erfordert erfinderisches Denken.
- Das „Riddle Riddle“ (Das Wörtliche):
- Beispiel: „Ein Cowboy reitet am Freitag in die Stadt, bleibt drei Tage lang und reitet am Montag wieder hinaus. Wie ist das möglich?“
- Die Antwort: Dies ist einfach nur einfache Mathematik. Freitag + 3 Tage = Montag. Es sind keine Tricks nötig. Dies erfordert wörtliches Denken.
Der entscheidende Punkt ist, dass beide Fragen gleich aussehen. Sie haben dieselbe Satzstruktur und denselben Rhythmus. Der einzige Unterschied ist, ob ein „Trick“ tatsächlich benötigt wird oder nicht.
Das Experiment
Die Forscher baten zwei Gruppen, diese zu lösen:
- Gruppe 1: Neun der klügsten verfügbaren KI-Modelle (wie GPT-5, Claude, Gemini usw.).
- Gruppe 2: 100 erwachsene Menschen.
Die Ergebnisse: Eine perfekte Umkehrung
Die Ergebnisse waren wie ein Blick in einen Spiegel, aber die Reflexion war auf den Kopf gestellt.
1. Wie die KI handelte: Der „Erst-nach-dem-Schema-Suchende“
Die KI-Modelle waren extrem gut in den echten Rätseln (85 % korrekt), aber hatten Schwierigkeiten mit den „Riddle Riddles“ (nur 50 % korrekt).
- Was passierte: Wenn die KI eine Frage sah, die wie ein Rätsel aussah, nahm sie sofort an: „Ah, das muss ein Trick sein! Ich muss mein kreatives, über den Tellerrand hinausgehendes Denken anwenden.“
- Der Fehler: Selbst wenn die Frage ein einfaches Mathematikproblem war (das „Riddle Riddle“), versuchte die KI immer noch, einen verborgenen Trick zu finden. Es war wie ein Detektiv, der eine verschlossene Tür sieht und sofort davon ausgeht, dass es einen geheimen Tunnel gibt, selbst wenn die Tür einfach nur unverschlossen und offen steht. Die KI war so sehr daran gewöhnt, dass Rätsel Tricks enthalten, dass sie gar nicht aufhören konnte, nach ihnen zu suchen.
2. Wie Menschen handelten: Der „Erst-das-Wörtliche-Nehmende“
Menschen zeigten das genau entgegengesetzte Muster. Sie waren großartig in den „Riddle Riddles“ (80 % korrekt), aber hatten Schwierigkeiten mit den echten Rätseln (50 % korrekt).
- Was passierte: Menschen nehmen Dinge naturgemäß wörtlich. Wenn sie die Frage „Freitag + 3 Tage = Montag“ sahen, lösten sie diese sofort.
- Der Fehler: Wenn sie mit dem echten Rätsel konfrontiert wurden (dem Pferd namens Freitag), blieben Menschen oft stecken und dachten: „Warte, Freitag ist ein Wochentag, also ist das unmöglich!“ Sie mussten härter arbeiten, um ihr wörtliches Denken zu überwinden, um den Trick zu finden.
Die große Erkenntnis
Das Papier argumentt, dass KI noch nicht wirklich flexibel „denkt“.
- Menschen sind flexibel, aber träge. Sie bevorzugen einfache, wörtliche Antworten und wechseln erst in den „kreativen Modus“, wenn sie merken, dass sie feststecken.
- KI ist das Gegenteil. Sie hat auswendig gelernt: „Rätsel-ähnliche Struktur = Kreative Antwort.“ Sie prüft nicht wirklich, ob ein kreativer Ansatz tatsächlich notwendig ist; sie sieht nur die Form der Frage und holt automatisch ihren „kreativen Werkzeugkasten“ heraus.
Die Autoren nennen dies die „Illusion des Denkens“ (Illusion of Reasoning). Genau wie ein Mensch eine optische Täuschung in einem Bild sehen kann, obwohl die Linien eigentlich unterschiedlich lang sind, „sieht“ die KI einen Rätsel-Trick, selbst wenn das Problem nur eine einfache Matheaufgabe ist.
Das Fazit
Das Papier kommt zu dem Schluss, dass die KI zwar berühmte Rätsel mit der richtigen Antwort lösen kann, aber vielleicht nur aus dem Gedächtnis zitiert oder einer starren Regel folgt („Wenn es wie ein Rätsel aussieht, verwende einen Trick“). Sie hat noch nicht die menschliche Fähigkeit erlernt, kurz innezuhalten und zu fragen: „Brauche ich für dieses Problem tatsächlich einen Trick, oder kann ich es einfach ganz normal lösen?“
Kurz gesagt: KI denkt immer über den Tellerrand hinaus, sobald der Teller ein Etikett mit der Aufschrift „Rätsel“ trägt, selbst wenn der Teller leer ist. Menschen bleiben meistens innerhalb des Tellers und schauen erst dann über den Rand hinaus, wenn sie müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.