The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Rätsel zu lösen. Sie denken vielleicht, der schwierigste Teil sei einfach nur das Wissen über Fakten, wie das Auswendiglernen eines Wörterbuchs oder eines Geschichtsbuchs. Aber es gibt eine kniffligere Art des Denkens, die man „Schlussfolgern“ nennt, bei dem man ein Problem betrachtet, erkennt, dass die erste Vermutung falsch war, und plötzlich die Antwort auf eine völlig neue Weise sieht. Es ist, als würde man auf einen Haufen Puzzleteile schauen, denken, sie würden nicht zusammenpassen, und dann plötzlich merken, dass man eines davon verkehrt herum hält. Wissenschaftler nennen das „Einsicht“ (Insight).

Stellen Sie sich nun vor, Sie wollen testen, ob ein Roboter das leisten kann. Sie können ihm keinen Mathetest geben, denn Roboter sind gut in Mathe, aber sie könnten einfach nur die Antworten aus ihrem Training auswendig gelernt haben. Sie brauchen einen Test, der sie zwingt, kreativ zu denken und ihre eigene Arbeit zu überprüfen. Hier kommt die Idee der „Metakognition“ ins Spiel. Betrachten Sie Metakognition als den internen Supervisor des Roboters. Es ist der Teil des Gehirns, der sagt: „Warte, ich habe gerade die richtige Antwort gefunden, aber ich bin mir nicht sicher, ob ich hier aufhören oder weiter suchen soll.“ Wenn der Roboter seinem eigenen Supervisor nicht vertrauen kann, findet er vielleicht die Lösung, redet sich dann aber selbst wieder dagegen und gibt stattdessen die falsche Antwort.

Genau das wollte ein Team von Forschern aus Japan untersuchen. Sie fragten sich: Werden unsere intelligentesten KI-Modelle tatsächlich besser in dieser Art von kreativem Denken, oder werden sie nur besser darin, die richtige Antwort zu erraten, weil sie ähnliche Fragen schon einmal gesehen haben? Um das herauszufinden, entwickelten sie einen speziellen Test unter Verwendung japanischer Rätsel und entdeckten etwas Überraschendes darüber, wie diese Maschinen denken.

---

Der Rätsel-Test: Kann KI den „Aha!“-Moment meistern?

Die Forscher, angeführt von Masaharu Mizumoto und seinem Team, entschieden sich für eine klassische Art japanischer Kinderrätsel namens Nazonazo. Dies sind keine gewöhnlichen „Was hat vier Beine und bellt?“-Rätsel. Es handelt sich um knifflige Worträtsel, die oft auf Wortspielen, dem Zerlegen von Schriftzeichen oder dem Betrachten von Zahlen auf eine neue Weise basieren. Sie sind darauf ausgelegt, das Gehirn gegen eine Wand laufen zu lassen, oder eine „Impasse“ (Sackgasse), bevor man plötzlich den „Aha!“-Moment erlebt, in dem die Antwort einsichtig wird.

Das Team entwickelte einen neuen Benchmark namens NazoNazo Benchmark. Sie sammelten 201 dieser Rätsel. Um sicherzustellen, dass der Test fair und neu war, wählten sie 120 davon aus, um sie mit echten Menschen zu vergleichen. Sie baten 126 Personen, diese Rätsel zu lösen, und die Menschen lösten etwa 52,9 % korrekt. Dies gab den Wissenschaftlern eine „menschliche Messlatte“, an der sie die Roboter messen konnten.

Dann unterzogen sie 38 verschiedene Large Language Models (die schicken KI-Gehirne), die zwischen 2023 und 2025 veröffentlicht wurden, dem Test. Sie stellten sicher, dass die KIs keine Antworten im Internet nachschlagen oder externe Hilfe in Anspruch nehmen konnten; sie mussten die Rätsel allein mit dem lösen, was in ihrem eigenen „Kopf“ steckte.

Die Ergebnisse: Roboter stecken noch im Schlamm fest

Die Ergebnisse waren ein wenig schockierend. Selbst die fortschrittlichsten „Reasoning“-Modelle, die eigentlich als die klügsten gelten, lösten nur etwa 17,6 % der Rätsel korrekt. Die einfacheren Modelle schnitten mit nur 7,6 % noch schlechter ab.

Vergleicht man dies mit den Menschen, waren diese mehr als dreimal so genau. Während die meisten Modelle erheblich kämpften, stach ein Modell besonders hervor: GPT-5. Es war das leistungsfähigste und am kürzesten veröffentlichte Modell in der Evaluierung, und seine Genauigkeit lag im Bereich der menschlichen Leistung. Die Forscher merkten jedoch an, dass diese Überschneidung nicht beweist, dass die KI statistisch gesehen mit Menschen gleichwertig ist, aber sie zeigt, dass es das einzige Modell war, das sich dem menschlichen Bereich näherte. Für fast alle anderen hatte die KI Schwierigkeiten, diesen kreativen Sprung zu vollziehen.

Den Forschern fiel auch etwas Interessantes über die Rätsel selbst auf. Für Menschen war die Schwierigkeit der Rätsel gleichmäßig verteilt, wie ein sanfter Hügel (eine Gauß-Verteilung). Bei der KI hingegen waren die Ergebnisse stark zu sehr niedrigen Werten hin verzerrt. Die KI verfehlte meistens die leichten Rätsel oder die schweren Rätsel, wobei nur sehr wenige Modelle im mittleren oder hohen Bereich landeten. Dies deutet darauf hin, dass die KI nicht wirklich „denkt“, sondern eher nur rät.

Das wahre Problem: Der Roboter, der sich selbst die Antwort ausredet

Hier ist der faszinierendste Teil der Geschichte. Die Forscher betrachteten nicht nur die Endergebnisse; sie warfen einen Blick in die „Gedankenprotokolle“ der KI. Das sind die schrittweisen Notizen, die die KI während des Denkprozesses schreibt.

Sie fanden einen spezifischen Fehlermodus, den sie „Verifizierungsfehler“ (verification failure) nennen.

Stellen Sie sich vor, Sie suchen Ihren Schlüssel. Sie schauen unter das Sofa, und da sind sie! Sie nehmen sie in die Hand. Aber dann sagt Ihre innere Stimme: „Warte, vielleicht sind sie gar nicht wirklich da. Lass mich zur Sicherheit mal in der Küche nachsehen.“ Sie gehen in die Küche, schauen sich um, finden nichts und kommen dann zurück und sagen: „Ich schätze, ich habe meine Schlüssel nicht.“

Genau das machte die KI. In vielen Fällen generierte die KI im Prozess des Denkens die korrekte Antwort. Sie schrieb die richtige Lösung auf. Aber dann, anstatt zu sagen: „Okay, das ist die Antwort“, suchte sie weiter, zweifelte an sich selbst und wählte schließlich eine falsche Antwort.

Dies geschah in einer überraschend hohen Anzahl von Fällen:

• Bei einem Modell passierte dies in 39,34 % der Fälle, in denen es die Antwort falsch hatte.
• Bei einem anderen Modell in 30,57 %.
• Selbst die besten Modelle hatten dieses Problem, mit Raten zwischen 5,23 % und 39,34 %.

Die KI war wie ein Detektiv, der den Verbrecher findet, sich dann aber entscheidet, die falsche Person zu verhaften, weil er den eigenen Beweisen nicht traut. Die Forscher nennen dies einen „metakognitiven Engpass“. Der Roboter kann die Lösung zwar finden, aber er kann sie nicht genug vertrauen, um innezuhalten und sich festzulegen.

Was das für die Zukunft bedeutet

Das Paper legt nahe, dass das Problem nicht nur darin besteht, die KI klüger zu machen oder ihr mehr Daten zu geben. Das Problem ist, dass diese Modelle schlecht darin sind, ihre eigene Arbeit zu überprüfen. Sie sind großartig darin, Ideen zu generieren, aber schrecklich darin, zu wissen, wann man aufhören und sagen muss: „Ja, das ist es.“

Die Forscher schlossen auch einige andere Ideen aus. Sie zeigten, dass die KI die Rätsel nicht einfach aus dem Internet auswendig gelernt hat, denn wenn sie das getan hätte, hätte sie viel höhere Punktzahlen erreicht. Sie fanden auch heraus, dass der Wechsel der Sprache, in der die KI dachte (Japanisch vs. Englisch), nicht viel half, was beweist, dass das Problem tiefer liegt als nur bei den Sprachkenntnissen.

Was ist also die Lehre daraus? Wir haben Maschinen gebaut, die manchmal ein Rätsel lösen können, aber ihnen fehlt das Vertrauen, zuzugeben, wenn sie es gelöst haben. Um die KI wirklich intelligent zu machen, müssen wir sie vielleicht nicht nur lehren, wie man denkt, sondern auch, wie man seinen eigenen Gedanken vertraut. Bis dahin wird ein neugieriger menschlicher Teenager wahrscheinlich immer noch einen Roboter schlagen, wenn es um knifflige Rätsel geht.