Intention Collapse: Intention-Level Metrics for Reasoning in Language Models

スピーチをしようとしている自分を想像してください。口を開く前に、あなたの脳内には記憶、未完成の論理、感情、そして単語の選択肢という混沌とした嵐が渦巻いています。それは「意図」という豊かで、乱雑で、高次元の雲のようなものです。

しかし、ついに言葉を発する際、あなたはあの雲全体を放出するわけではありません。一つの特定の文を選びます。その広大な内なる嵐を、単一の線形の単語の列へと収束させるのです。

本論文は、大規模言語モデル（LLM）も全く同じことをしていると主張しています。著者たちはこのプロセスを**「意図の収束（Intention Collapse）」**と呼んでいます。

以下に、彼らが発見した内容を、単純な比喩を用いて解説します。

1. 核心となる概念：「スピーチ前」の瞬間

多くの人は、AIの回答を最終的な言葉によって判断します。しかし、本論文では、AIが最初の単語を選ぶ直前、AIの「脳」の内部で何が起こっているかに注目すべきだと述べています。

写真家が写真を撮ることに例えてみましょう。

• シーン： 複雑な3次元の世界（AIの内部状態）。
• 写真： 平坦な2次元の画像（テキスト出力）。
• 収束： シャッターが切れる瞬間。情報が失われます。3次元の深みが2次元のピクセルへと平坦化されます。

著者たちは、「シーン」（内部状態）を測定し、「写真」（回答）が良くなるか悪くなるかを予測できるかどうか、そしてどのようなプロンプト技法がそのシーンをどのように変化させるかを調べたいと考えました。

2. AIの心のための3つの「健康チェック」

この内部状態を測定するために、著者たちは3つの単純な指標を作成しました。これらをAIの意図に対するバイタルサイン（生命徴候）と考えてください。

1. 意図エントロピー（「混乱」メーター）：

   • 比喩： 交差点にいる自分を想像してください。どの方向に進むべきかが明確であれば、あなたの「エントロピー」は低くなります。全く分からず、左、右、まっすぐ進む確率が均等であれば、エントロピーは高くなります。
   • AIにおける意味： これは、次の単語に対するAIの確率分布がどれほど広がっているかを測定します。エントロピーが低いということは、AIが非常に確信を持っていることを意味し、高いということは、確信が持てていないか、多くの選択肢を検討していることを意味します。

2. 有効次元数（「豊かさ」メーター）：

   • 比喩： 絵画を想像してください。それは単純な棒人間（低次元）でしょうか、それとも多くの意味の層を持つ複雑で詳細な風景画（高次元）でしょうか？
   • AIにおける意味： これは、AIの内部思考がどれだけの「空間」を使用しているかを測定します。その思考は単純で狭いのか、それとも複雑で多面的なのか？

3. 回復可能性（「隠れた知識」メーター）：

   • 比喩： 数学の問題の答えを知っているが、緊張して間違った数字を書き込んでしまった生徒を想像してください。もしその生徒の頭の中を見ることができれば、彼がそれを「知っていた」ことが分かるでしょう。
   • AIにおける意味： 研究者たちは、AIの内部状態を観察し、最終的な回答が正しいかどうかを推測する単純な「プローブ」（小型検出器）を訓練しました。プローブが正しく推測できる場合、それはAIが書き出すことに失敗したとしても、内部に正しい情報を持っていたことを意味します。

3. 実験：「思考連鎖」のテスト

「思考連鎖（Chain-of-Thought、CoT）」とは、AIに「回答する前に段階的に考えろ」と指示する人気のある手法です。誰もがこれによりAIが賢くなると想定しています。研究者たちは、3つの異なるAIモデル（Mistral、LLaMA、Qwen）に対して、3種類のタスク（数学、抽象的推論、数学文章題）でこれをテストしました。

彼らは以下の3つの条件を比較しました。

1. ベースライン： 答えだけを提示する。
2. CoT： 段階的に考える。
3. バブル（Babble）： 長く、だらだらとした意識の流れるような文章を書く（単に「もっと書く」ことが役立つのか、それとも「考える」ことが役立つのかを確認するため）。

4. 驚くべき発見

発見1：「段階的に考える」ことが常に良いわけではない。

• 数学（自由回答）： CoTは非常に効果的でした。精度が大幅に向上しました。
• 抽象的推論（択一問題）： CoTは実際には状況を悪化させました。AIは、直接的な答えを出すよりも、「声に出して考える」ことを強要された方がパフォーマンスが低下しました。
• 教訓： AIに推論を言語化させることは、特に選択肢（A、B、C、D）から選ぶ必要がある場合、時にAIを混乱させることがあります。

発見2：異なるAIは異なる方法で「考える」。
CoTを使用した場合、内部の「混乱」（エントロピー）はモデルによって異なる方法で変化しました。

• Mistral： より確信を持つようになり（エントロピー低下）、焦点を絞り込みました。
• LLaMA： より確信を失うようになり（エントロピー上昇）、可能性を広げました。
• 教訓： AIの内部で「推論」がどのように見えるかという唯一の方法はありません。あるモデルの「思考」は、別のモデルの「混乱」のように見えることがあります。

発見3：AIは答えを知っているが、それを言うことに失敗する可能性がある。
これが最も興味深い部分です。いくつかのケース（例えば、抽象的推論タスクにおけるQwen）では、AIの内部状態は高い回復可能性を示しました。「プローブ」は、AIが正しい答えを「知っている」ことを容易に見抜くことができました。しかし、AIの最終的な書面での回答は誤りでした。

• 比喩： これは、道を完璧に知っている運転手（高い内部知識）が、最後の瞬間に誤って間違った方向に曲がってしまう（収束の失敗）ようなものです。
• 教訓： 問題が常にAIの知識不足にあるわけではありません。時として、問題は「収束」、すなわちその知識を特定の形式（例えば、択一問題の文字）に変換する最終ステップでエラーが発生することにあります。

発見4：バブル（だらだら書くこと）は思考ではない。
「バブル」コントロール（無意味なことをたくさん書くこと）は、CoTと同じ内部変化を生み出しませんでした。これは、CoTが出力を長くすることだけでなく、AIの思考の内部構造を実際に変化させることを証明しています。

まとめ

本論文は、AIの回答を単に「正しい」か「誤り」かとして見るのをやめるよう提案しています。その代わりに、AIが話すことを決める瞬間、すなわち意図の収束に注目すべきです。

• 時として、AIに「声に出して考える」ように求めることは、その焦点を絞り込む（エントロピー低下）のを助けます。
• 時として、それは考えすぎさせて混乱させる（エントロピー上昇）ことになります。
• 時として、AIは内部で真実を知っていますが、必要な形式でそれを正しく表現することに失敗します。

「スピーチ前」の状態を測定することで、AIが失敗した「理由」を、単に失敗した「事実」を知るだけでなく、より深く理解することができます。