💬 NLP

The Riddle Riddle: Testing Flexible Reasoning in Large Language Models and Humans

本論文は、「リドル・リドル（riddle riddle）」パラダイムを導入することで、人間は問題の内容に応じて推論戦略を柔軟に適応させる一方で、大規模言語モデルはしばしばパターンマッチングや表面的な特徴に依存しており、その結果、本来は直截的な問題に対して不適切に創造的な推論を適用してしまうこと、および、真の謎解きにおける彼らの高い性能は、柔軟な推論ではなく記憶の想起に起因している可能性が高いことを示す。

原著者： Bella Fascendini, Kathryn McGregor, Max D. Gupta, Thomas L. Griffiths

公開日 2026-06-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bella Fascendini, Kathryn McGregor, Max D. Gupta, Thomas L. Griffiths

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、パズルを解かなければならないゲームをしていると想像してください。中には、既成概念にとらわれない思考（アウト・オブ・ザ・ボックス）を必要とするトリッキーな「謎解き」もあれば、一見すると謎解きに見えるものの、実は単なる単純な算数の問題であるものもあります。

この論文は、AI（大規模言語モデル）が人間と比べてどれほど本当に賢いのかをテストするための、新しい手法を紹介しています。彼らはこれを**「リドル・リドル（謎解きの謎解き）」パラダイム**と呼んでいます。

以下に、彼らが何を行い、何を発見したのかを簡単にまとめます。

設定：「トリック」か「リテラル（字義通り）」か

研究者たちは、表面上はほぼ同一に見える2種類の問いを作成しました。

本物の謎解き（トリックあり）:
- 例: 「カウボーイが金曜日に町へやってきて、3日間滞在し、金曜日に去りました。これはどのようにして可能なのでしょうか？」
- 答え: 「フライデー（Friday）」が曜日の金曜日ではなく、馬の名前であることを理解しなければなりません。これには独創的な思考が必要です。
「リドル・リドル」（リテラル/字義通り）:
- 例: 「カウボーイが金曜日に町へやってきて、3日間滞在し、月曜日に去りました。これはどのようにして可能なのでしょうか？」
- 答え: これは単なる単純な算数です。金曜日＋ 3日間＝月曜日。トリックは必要ありません。これにはリテラルな思考が必要です。

重要なのは、両方の問いが同じに見えるという点です。文章の構造もリズムも同じです。違いは、実際に「トリック」が必要かどうかだけです。

実験

研究者たちは、これらを解くために2つのグループに依頼しました。

グループ1: 現在利用可能な最もスマートなAIモデル9つ（GPT-5、Claude、Geminiなど）。
グループ2: 100人の成人。

結果：完璧な逆転現象

結果は、まるで鏡を見ているようでしたが、その反射は上下逆さまでした。

1. AIの挙動：「まず形を見る」解決者
AIモデルは、本物の謎解きには非常に優れていましたが（正答率85%）、「リドル・リドル」では苦戦しました（正答率わずか50%）。

何が起きたのか: AIは、問いが「謎解きのような形」をしているのを見ると、即座に「ああ、これはトリックに違いない！独創的で、既成概念にとらわれない思考を使わなければならない」と想定してしまいました。
間違いの正体: 問いが単純な算数の問題（リドル・リドル）であったとしても、AIは依然として隠されたトリックを探そうとしました。それは、鍵のかかったドアを見て、ドアがただ解錠されて開いているだけなのに、すぐに「秘密の通路があるはずだ」と思い込む探偵のようなものです。AIは、謎解きにはトリックがあるものだと学習しすぎていたため、トリックを探すのを止めることができなかったのです。

2. 人間の挙動：「まずリテラル（字義通り）に考える」解決者
人間は、全く正反対のパターンを示しました。人間は**「リドル・リドル」には非常に優れていましたが**（正答率80%）、本物の謎解きでは苦戦しました（正答率50%）。

何が起きたのか: 人間は自然と、物事を字義通りに受け止める傾向があります。「金曜日＋ 3日間＝月曜日」という問いを見たとき、彼らは即座に解きました。
間違いの正体: 本物の謎解き（馬の名前がフライデー）に直面したとき、人間はしばしば「待てよ、フライデーは曜日の金曜日だ。だからこれは不可能だ！」と考えて行き詰まってしまいました。彼らは、トリックを見つけるために、リテラルな思考を覆すための努力をしなければなりませんでした。

大きな教訓

この論文は、AIはまだ柔軟に「推論」できていないと主張しています。

人間は柔軟ですが、怠け者です。彼らはシンプルでリテラルな答えを好み、行き詰まったときに初めて「創造モード」へと切り替わります。
AIはその逆です。AIは「謎解きのような構造＝創造的な答え」ということを暗記しています。AIは、創造的な答えが本当に「必要」かどうかをチェックしているのではなく、問いの形を見て、自動的に「創造的な道具箱」を取り出しているのです。

著者たちはこれを**「推論の錯覚」**と呼んでいます。視覚的な錯覚の絵において、線が実際には異なる長さであっても、錯覚を見てしまうのと同様に、AIは単なる単純な算数の問題であっても、そこに「謎解きのトリック」を見てしまうのです。

結論

論文は、AIが有名な謎解きに対して正解を出すことはできるものの、それは単に記憶を呼び出しているか、あるいは厳格なルール（「もし謎解きのように見えたら、トリックを使え」）に従っているだけかもしれない、と結論づけています。AIは、「この問題には本当にトリックが必要なのか、それとも普通に解けるのか？」と立ち止まって自問する、人間的なスキルをまだ習得していません。

要するに、AIは、たとえその箱が空っぽであっても、箱に「謎解き」というラベルが付いている限り、常に箱の外側を考えようとします。人間は通常、箱の中に留まり、どうしても必要になったときだけ外側を見ようとするのです。

技術要約：リドル・リドル（Riddle Riddle）パラダイム

問題提起

大規模言語モデル（LLM）は様々な認知ベンチマークにおいて高い精度を示すが、このパフォーマンスが柔軟な推論によるものか、あるいは学習データから表面的なパターンの検索によるものかは不明である。推論そのものが学習コーパスの一部となるにつれ、モデルは実際の問題内容を評価することなく、推論の「外見」（例：謎解きの構造を認識して「ひっかけ」の回答を出力する）を模倣することを学習する可能性がある。既存のベンチマークは、モデルが解法を暗記しているのか、それとも適切な推論戦略を動的に選択しているのかを区別できていないことが多い。核心となる課題は、問題の「表面構造」と「内容上の要求」を分離するパラダイムを設計することである。

メソドロジー

著者らは、戦略選択をテストするために、一致させた単語問題のペアを利用した診断フレームワークであるリドル・リドル（Riddle Riddle）パラダイムを導入している。

刺激のデザイン

このパラダイムは、以下の2つの条件を含む30組の一致したペアで構成される：

条件A（真の謎解き / Genuine Riddle）： 矛盾を解消するために独創的かつ非逐次的な推論を必要とする標準的な謎解き（例：「カウボーイが金曜日に町へ入り……そして金曜日に町を出た。その名前は『フライデー』である」——ここでは「フライデー」は馬の名前である）。
条件B（リドル・リドル / Riddle Riddle）： 上記の謎解きの構文構造、言い回し、文章の長さを維持しつつ、「ひっかけ」要素を取り除いた修正版。これらは逐次的な解釈のみを必要とする（例：「カウボーイが金曜日に町へ入り……そして月曜日に町を出た」——答えは単なる日数の計算である）。

この設計により、トピック、形式、または言い回しではなく、純粋に問題の内容によってパフォーマンスの差が生じることを保証している。

実験設定

本研究は2つの実験で構成される：

実験1（LLM）： 9つの最先端モデル（GPT-5.4、Claude-opus-4-6、Gemini-3.1-Pro、およびLlama-3.3やQwen3.5のようなオープンソース・バリアントを含む）をテストした。各モデルには30個の謎解きと30個のリドル・リドルが与えられ、各項目につき10回の反復が行われた。回答は正確性と推論タイプ（独創的 vs 逐次的）についてコーディングされた。また、高い性能が逐次的な想起によるものかを評価するため、部分的なプロンプト補完を用いた「暗記チェック」も実施された。
実験実験2（人間）： 100人の人間の被験者が、制御された環境下で6つの項目（各条件から3つずつ）を解いた。回答はLLMのデータと同様にコーディングされた。

分析

著者らは、正確性と推論戦略の選択を分析するために、混合効果ロジスティック回帰を用いた。彼らは、条件間およびソルバー間（人間 vs LLM）のパフォーマンスを比較し、特に以下の「診断エラー」に着目した：

過剰一般化（Overgeneralization）： 逐次的な解釈のみを必要とする問題に対して、独創的な推論を適用してしまうこと。
過小一般化（Undergeneralization）： 独創的な解釈を必要とする問題に対して、逐次的な推論を適用してしまうこと。

主な結果

1. 反対のパフォーマンスパターン

研究では、人間とLLMのパフォーマンスにおける明確な解離が見出された：

LLM： リドル・リドル（50.7%）よりも、真の謎解き（84.9%）において有意に高い精度を示した。
人間： 真の謎解き（50.5%）よりも、リドル・リドル（80.5%）において有意に高い精度を示した。

2. 戦略選択とエラー分析

LLMの挙動： LLMは系統的に独創的な推論を過剰に適用していた。リドル・リドル（逐次的な推論で十分なケース）において、LLMのエラーの90.8%は、不適切に独創的な推論を適用したことによるものであった。モデルが戦略を切り替えたとしても、人間ほど柔軟ではなかった。
人間の挙動： 人間は逐次的な推論を好む傾向があったが、より高い柔軟性を示した。彼らの主なエラーモードは過小一般化（真の謎解きにおけるエラーの57.6%）であり、必要な時に独創的な推論への切り替えに失敗することであった。
暗記： 部分的なプロンプト補完による真の謎解きの逐次的な想起能力（ $\rho = .88$ ）と、その謎解きの正確さとの間に強い相関が見られた。決定的なことに、高い暗記能力は、一致したリドル・リドルに対する精度の低さを予測した。これは、モデルが推論しているのではなく、回答を検索（リトリーバル）していることを示唆している。

3. 推論の正当性

（最終的な答えに関わらず）正しい戦略が使用されたかどうかを測定したところ、LLMはリドル・リドルにおいて真の謎解きと比較して、戦略の正当性が著しく低下した。これは、フォーマット自体が誤った推論モードを誘発していることを裏付けている。

主な貢献

リドル・リドル・パラダイム： 表面的な特徴を内容の要求から分離し、システムが「問題がどのように見えるか」に基づいて戦略を選択しているのか、それとも「問題が何を要求しているか」に基づいて選択しているのかを研究者がテストすることを可能にする、新しい実験デザイン。
表面駆動型推論の証拠： 現在のSOTA LLMが、たとえそのヘリスティクス（発見的手法）が不適切であっても、表面的な特徴（謎解きのような構造）に強く依存して特定の推論ヘリスティクスをトリガーしているという、経験的な証拠を提供した。
人間とモデルの認知の解離： 本論文は、人間とLLMが共に推論エラーを犯すものの、そのエラーの性質は逆転していることを示している。人間は創造的なタスクのために逐次的デフォルトを上書きすることに苦労するが、LLMは逐次的なタスクのために創造的なデフォルトを上回ることに苦労する。

意義と主張

著者らは、リドル・リドル・パラダイムは現在のLLMにおける根本的な限界を明らかにしていると主張している。すなわち、彼らは問題の要求に応じて戦略を動的に選択するという意味での柔軟な推論にはまだ到達していない。むしろ、標準的な謎解きにおける高いパフォーマンスは、トレーニング中に見られる既知のパターンの検索を反映している可能性が高い。

本論文は、集計された正確性の指標は誤解を招く可能性があると論じている。モデルは、ベンチマークの構造がトレーニング分布における高頻度なパターンを一貫してトリガーしているために、あたかも推論が得意であるかのように見えることがある。リドル・リドル・パラダイムは、構造は一つの戦略（独創的）を示唆しているが、内容は別の戦略（逐次的）を要求するという「罠」を作り出すことで、これを暴いている。

著者らは、LLMが解釈可能性と信頼性を高める上で、真の推論とパターンマッチングを区別することが極めて重要であると結論付けている。彼らは、現在のモデルがタスクパターンの「頻度」には敏感であるが、特定のインスタンスが実際にそのパターンを「必要としているか」を評価する能力を欠いていることを控えめに示唆している。