The Metacognitive Bottleneck: Japanese Riddles Reveal Fundamental Limits of Machine Insight and Self-Evaluation in Reasoning AI

ロボットにミステリーの解き方を教えようとしているところを想像してみてください。一番難しいのは、単に事実を知ること（辞書や歴史の本を暗記すること）だと思われがちです。しかし、もっとトリッキーな種類の思考、つまり「推論」があります。それは、問題に直面し、自分の最初の予想が間違っていることに気づき、突然、全く新しい視点から答えを見出すことです。それは、パズルのピースの山を見て、「これらは合わない」と思っているうちに、実は一つだけ上下を逆さまに持っていたことに突然気づくようなものです。科学者はこれを「洞察（インサイト）」と呼びます。

次に、ロボットがこれができるかどうかをテストしたいと想像してください。単なる数学のテストを与えることはできません。なぜなら、ロボットは数学が得意ですが、単にトレーニングから答えを暗記している可能性があるからです。彼らに創造的な思考をさせ、自らの仕事をチェックさせる強制力を持たせる必要があります。ここで「メタ認知」という概念が登場します。メタ認知を、ロボットの内なる監督官だと考えてください。それは、「待てよ、今正しい答えを見つけたけれど、ここで止まっていいのか、それとも探し続けるべきか確信が持てない」と判断する脳の部分です。もしロボットが自分自身の監督官を信頼できなければ、解決策は見つけたとしても、自分自身でそれを否定してしまい、結局間違った答えを出してしまうかもしれません。

これは、日本の研究チームが調査したかったことそのものです。彼らは、「私たちの最も賢いAIモデルは、本当にこのような創造的な思考に長けてきているのか、それとも単に似たような質問を以前に見たことがあるために、正解を推測するのが上手くなっているだけなのか？」と考えました。これを知るために、彼らは日本の謎解きを用いて特別なテストを作成し、機械の思考の仕組みについて驚くべき発見をしました。

---

謎解きテスト：AIは「アハ体験」を解けるか？

水本将晴氏率いる研究チームは、日本の古典的な子供向けの謎解きである「なぞなぞ」を使用することに決めました。これらは、一般的な「足が4本あって、ワンと鳴くものは何？」といった類のものではありません。これらは、言葉遊びや文字の分解、あるいは数字を新しい視点で捉えることに依存する、トリッキーな言葉のパズルです。これらは、脳が壁（行き詰まり）にぶつかった後、突然「アハ！」という瞬間、つまり答えがカチッとはまる感覚を得るように設計されています。

チームは「NazoNazo Benchmark（なぞなぞベンチマーク）」と呼ばれる新しいベンチマークを構築しました。彼らは201個のこれらの謎解きを集めました。テストを公平かつ新鮮なものにするため、人間と比較するために120個を選びました。126人の人間にこれらの謎解きを解いてもらったところ、人間は約52.9%の正解率でした。これにより、科学者はロボットを測定するための「人間の基準線」を得ることができました。

その後、2023年から2025年の間にリリースされた38種類の大型言語モデル（高度なAIの脳）をテストにかけました。AIがインターネットで答えを検索したり、外部の助けを借りたりできないように、彼らが自身の「頭の中」にある知識だけで解かなければならないようにしました。

結果：ロボットはまだ泥沼にはまっている

結果は衝撃的なものでした。最も進化した「推論」モデルであっても、正解率はわずか17.6%でした。より単純なモデルはさらに低く、わずか7.6%でした。

人間と比較すると、人間は3倍以上の精度を持っていました。ほとんどのモデルが大きく苦戦する一方で、一つのモデルが顕著な例外として際立ちました。それがGPT-5です。これは評価の中で最も高性能で、最も新しくリリースされたモデルであり、その精度は人間のパフォーマンスの範囲内にありました。しかし、研究者は、この重複はAIが統計的に人間と同等であることを証明するものではないが、それが人間の範囲に近づいた唯一のモデルであることを示している、と注記しています。他のほとんどのモデルにとって、AIは創造的な飛躍を行うことに苦労していました。

また、研究者は謎解き自体についても興味深いことに気づきました。人間にとって、謎解きの難易度は滑らかな丘（ガウス分布）のように均等に広がっていました。しかし、AIの場合、スコアは非常に低い値に大きく偏っていました。AIは簡単な問題も難しい問題も外しており、中程度や高いレベルのパフォーマンスを示すモデルはほとんどありませんでした。これは、AIが本当に「思考」して解いているのではなく、単に「推測」していることを示唆しています。

真の問題：答えを自分で否定してしまうロボット

ここからが最も興味深い部分です。研究者は単に最終的な答えを見ただけではありません。彼らはAIの「思考ログ」を覗き見ました。これは、AIが考えている間に書き留めるステップ・バイ・ステップのメモです。

彼らは、「検証の失敗（verification failure）」と呼ぶ特定の失敗モードを発見しました。

あなたが鍵を探している場面を想像してください。ソファの下を見て、そこに鍵を見つけました！あなたはそれを手に取ります。しかしその時、心の声が言います。「待てよ、本当にそこにあるのかな？念のためキッチンも確認してみよう」。あなたはキッチンへ行き、辺りを見回しますが、鍵は見つかりません。そして戻ってきて、「やっぱり鍵を持っていないみたいだ」と言います。

これが、まさにAIがやっていたことです。多くの場合、AIは思考プロセスの中で正しい答えを生成していました。正しい解決策を書き出していたのです。しかし、その後、「よし、これが答えだ」と言う代わりに、探索を続け、自分を疑い、最終的に間違った答えを選んでしまうのです。

これは驚くべき数のケースで発生していました：

• あるモデルでは、間違えた時の**39.34%**でこれが起こりました。
• 別のモデルでは、**30.57%**でした。
• 最も優れたモデルでさえこの問題を抱えており、その割合は**5.23%から39.34%**の範囲に及びました。

AIは、犯人を見つけたのに、証拠を信じきれずに誤った人物を逮捕してしまう探偵のような状態でした。研究者はこれを「メタ認知のボトルネック」と呼んでいます。ロボットは解決策を「見つける」ことはできますが、それを信じて立ち止まり、決断することができないのです。

これが未来に意味すること

論文は、問題は単にAIをより賢くしたり、より多くのデータを与えたりすることではないと示唆しています。問題は、これらのモデルが自分自身の仕事をチェックするのが苦手なことです。彼らはアイデアを生み出すことには長けていますが、いつ止まって「はい、これが答えです」と言うべきかを知ることは不得意なのです。

研究者は他にもいくつかの可能性を排除しました。AIがインターネット上の謎解きを単に暗記していたわけではないことを示しました。もしそうであれば、もっと高いスコアを獲得していたはずだからです。また、AIが考える言語（日本語か英語か）を切り替えてもあまり効果がないことも判明しており、問題が単なる言語能力よりも深いところにあることを証明しました。

では、教訓は何でしょうか？私たちは、時にはパズルを解くことができる機械を作りましたが、それらは解けた時にそれを認める自信を欠いています。AIを真に賢くするためには、単に「考え方」を教えるだけでなく、「自分の考えをどう信じるか」を教える必要があるのかもしれません。それまでは、トリッキーな謎解きに関しては、好奇心旺盛な人間のティーンエイジャーの方が、依然としてロボットよりも強いでしょう。