Convergence Without Understanding: When Language Models Agree on Representations but Disagree on Reasoning
本論文は、大規模言語モデルにおける表現の収束が共有された推論戦略を意味するという考え方に異議を唱え、モデルが共有入力に対して類似した内部表現を発達させる一方で、問題の難易度、意思決定段階、および共有情報の因果的影響に関して推論プロセスに顕著な乖離を示すことを明らかにする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
16 人の異なる学生（AI モデル）が教室に座り、同じ 800 題の難しいなぞなぞを解こうとしている状況を想像してください。これらの学生は、異なる教師、異なる教科書、さらには異なる思考の仕方を持っています。
AI 界で「プラトニック表現仮説」と呼ばれる人気のある理論は、これらの学生が賢くなるにつれて、全員が全く同じように思考し始めることを示唆しています。まるで彼らがすべてが世界の仕組みについて同じ「普遍的な真理」を発見しているかのようです。
この論文は、単純な問いを投げかけます：「もしこれらの学生が問題を同じように見ていれば、同じように解くのでしょうか？」
答えは驚くべき「いいえ」です。この論文は、これらのモデルが「何を見ているか」については合意している一方で、「どのように考えているか」については完全に合意していないことを発見しました。以下に、簡単なアナロジーを用いた解説を示します。
1. 「混乱は伝染する」効果（難易度の逆転）
学生が難しい問題を正しく解いたとき、誰もが類似した、素晴らしい論理を使うと予想するかもしれません。正解しているときは、彼らが非常に似ていると予想するでしょう。
実際に起こること：
- 正解したとき： 学生たちは非常に異なり、独自の戦略を使います。彼らの「思考プロセス」は全く似ていません。
- 間違えたとき： 彼らは全く同じように見えます。
アナロジー： 濃い霧の中を道案内しようとする人々のグループを想像してください。
- 道が明確なとき（簡単な問題）、誰もが目的地へ向かう異なる効率的なルートを取ります。成功しているため、彼らは互いに異なります。
- 霧が濃くなったとき（難しい問題）、誰もが迷子になります。霧が皆の視界を同じようにぼやけさせるため、全員が同じ場所に立ち、茫然と見つめ合うことになります。
- 発見： モデルは賢いときではなく、混乱しているときに最も似ています。彼らは「共有された理解」ではなく、「共有された混乱」に収束します。
2. 「第一印象と最終決定」のギャップ（生成の隔たり）
研究者は、モデルの脳を 2 つの異なる時点で見ました：
- 決定の前： 質問を読んでいるとき。
- 決定の後： 実際に答えを生成しているとき。
実際に起こること：
- 質問を読むとき： すべてのモデルはほぼ同一に見えます。彼らは単語の意味に合意しています。
- 答えを作るとき： 何を言うか決定しなければならない瞬間、彼らの脳は劇的に分岐します。彼らは全く異なる方向へ進みます。
アナロジー： 同じ食材のバスケットを見ている料理人のグループを想像してください。
- ステップ 1（読む）： 彼らはすべてが何の食材であるかに合意します（これが「決定前」の段階です）。彼らはすべてトマトと玉ねぎを見ています。
- ステップ 2（調理）： 調理を始めると、一人はサラダを作り、もう一人はスープを作り、三人目は焦がしてしまいます。彼らの最終的な料理（出力）は、同じ食材から始まったにもかかわらず、全く異なります。
- 発見： モデルは入力（食材）に合意しますが、計算（調理）には合意しません。
3. 「ゴースト知識」効果（副次的な正しさ）
研究者は、モデルが共有された「思考」の中に正しい答えを確かに格納していることを発見しました。もし賢いプローブ（小さな探偵）がモデル A の脳を見て質問すれば、答えを教えることができます。その探偵が次にモデル B の脳を見ても、答えを教えることができます。
しかし：
- 情報が「そこにある」からといって、モデルがそれを決定に「利用」しているわけではありません。
- もしその特定の知識をモデルの脳から「削除」しようと試みても、モデルはほとんど気づきません。それでも同じ答えを出し続けるでしょう。
アナロジー： 答えを手元に書いてあるテストを受ける学生を想像してください。しかし、彼は緊張しすぎてそれを見ることができません。
- 答えは物理的に彼の手の上に存在します（共有された表現）。
- しかし、学生は実際にはその情報を使って問題を解いていません。代わりに推測しています。
- 発見： モデルは心の中に「真理」を携えていますが、それが実際の行動を駆動しているわけではありません。それは目的地を知っているが運転していない車の乗客のようなものです。
なぜこれが起こるのか？
この論文は、注意（Attention） に関するメカニズムを提案しています。
- 問題が簡単な場合、モデルの「注意（焦点）」は鋭く、具体的です。異なるモデルが異なる詳細に焦点を当てるため、異なる解決策が導かれます。
- 問題が難しい場合、モデルの注意は「拡散的」または「ぼやけた」ものになります。それは広すぎる懐光灯の光のように、すべてに広がります。このぼやけにより、すべてのモデルが同じように見えます。なぜなら、彼らはすべて同様の、非構造的な方法で「推測」しているからです。
結論
この論文は、AI モデルは共有された「論理」や「真理」に収束していないと結論付けています。代わりに、彼らは入力を処理する方法（私たちが皆、赤いリンゴを赤く見るように）に収束しています。
- 彼らが共有するもの： プロンプトの読み方。
- 彼らが共有しないもの： 問題を通じた推論の仕方。
つまり、よく連携する AI モデルのチーム（アンサンブル）を構築したい場合、紙面上で異なるように見えるからといってそれらを選ぶべきではありません。彼らが異なる間違いを犯すか、難しい問題を解く際に異なる戦略を使うから選ぶべきです。なぜなら、彼らの真の差異はそこにあるからです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。