💻 computer science

Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations

本論文は、意味を保存する表面的な変換に対する大規模言語モデルの脆弱性を定量的に評価し、MPD 枠組みを用いて失敗のメカニズムを分類・診断することで、モデルアーキテクチャに依存した修復可能性の差異を明らかにした。

原著者： Shou-Tzu Han, Rodrigue Rizk, KC Santosh

公開日 2026-04-03

📖 1 分で読めます☕ さくっと読める

原著者： Shou-Tzu Han, Rodrigue Rizk, KC Santosh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🍎 1. 発見：AI は「言葉の形」に騙されやすい

私たちが AI に「5 個のりんごを 2 個食べたら残りはいくつ？」と聞くと、正解の「3 個」を答えます。
しかし、もし質問を**「5 個のりんごを 2 個食べたら、残りはいくつ？」から「5 個のりんごを 2 個食べたら、残りはいくつ？」（数字の書き方を「5」から「5 個」と変える）や、登場人物の名前を「太郎」から「花子」に変えただけで、AI は「3 個」ではなく「4 個」や「2 個」と間違った答え**をしてしまうことがありました。

どんなに賢く見えても、AI は「意味」を理解しているのではなく、「表面的なパターン」を覚えているだけかもしれないという危機感です。
実験では、3 つの有名な AI モデル（Mistral, Llama-3, Qwen）のどれもし、約 3 割〜4 割の問題で、こんな些細な変化だけで答えを間違えてしまいました。

🔍 2. 調査：AI の「脳内」を解剖する（MPD フレームワーク）

なぜ AI がそんなミスをするのか？その原因を突き止めるために、著者たちは**「MPD（機械的摂動診断）」**という新しい検査キットを開発しました。これは AI の内部を詳しく調べるための「X 線」や「手術」のようなものです。

彼らは以下の 3 つの検査を行いました：

どこで迷い始めたかを見る（Logit Lens）：
- AI の思考は、何層ものフィルター（レイヤー）を通って深まっていきます。
- 「正しい答え」と「間違った答え」が、AI の脳内でどの段階で分かれてしまったかを調べました。
- 結果： 間違えた問題は、AI の思考のごく初期の段階（まだ序盤）で既に迷い始めていたことが分かりました。
脳の一部を差し替えてみる（Activation Patching）：
- 「もし、この部分だけ正しい AI の思考に差し替えたら、答えは直るかな？」という実験です。
- 結果： モデルによって全く違う反応が見られました。
  - Llama-3： 特定の場所を直すだけで、7 割以上のミスが直りました。（「特定の神経が故障している」状態）
  - Mistral： 場所を直してもほとんど直りませんでした。（「故障が全身に広がっている」状態）
  - Qwen： 全く直りませんでした。（「故障の仕組みが複雑に絡み合っている」状態）
故障の増幅率を測る（CAI）：
- 小さな誤解が、AI の脳内を通過するにつれて、どれくらい大きく増幅されてしまうかを数値化しました。
- 間違えた問題は、この増幅率が非常に高く、小さな誤りが雪だるま式に大きくなって最終的なミスになったことが分かりました。

🏥 3. 診断結果：AI の「故障タイプ」は 3 種類

この調査から、AI の失敗には 3 つのタイプがあることが分かりました。

タイプ	例え話	特徴	直せるか？
局所的 (Localized)	特定のスイッチが壊れている (Llama-3)	特定の場所だけが原因。	◎ 直しやすい (71.7% 修復成功)
分散型 (Distributed)	全身の筋肉が少しずつ弱っている (Mistral)	原因が全身に散らばっている。	△ 直しにくい (5.0% 修復成功)
絡み合い型 (Entangled)	複雑に絡まった毛玉 (Qwen)	原因が複雑に絡み合っており、どこを切ってもダメ。	✕ ほぼ直らない (0% 修復成功)

🛠️ 4. 治療：故障を直す試み

この「故障タイプ」が分かると、どう直せばいいかが見えてきます。

局所的な AI（Llama-3）： 特定の場所を「リハビリ（微調整）」したり、方向修正のベクトル（ステアリング）を与えたりすると、12% 程度のミスが直りました。
分散型や絡み合い型の AI： 特定の場所をいじっても、他の場所が影響し合っているため、ほとんど直りませんでした（5〜7% 程度）。

💡 結論：何が重要なのか？

この論文が伝えたいことは以下の通りです。

AI は「賢い」けれど「脆い」： 表面的な言葉の書き換えだけで、論理的な思考が崩壊してしまいます。
失敗には「型」がある： AI モデルによって、失敗の仕組み（故障のタイプ）が全く異なります。
対策は「型」に合わせて： 「どこを直せばいいか」は AI によって違うため、「万能薬」ではなく、それぞれの故障タイプに合わせた治療法が必要だと示唆しています。

つまり、AI をより信頼できるものにするためには、単に「もっと勉強させる」だけでなく、「なぜ間違えるのか」という内部のメカニズムを理解し、故障のタイプに合わせて対策を講じることが重要だということです。

論文「Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations」の技術的サマリー

本論文は、大規模言語モデル（LLM）が数学的推論タスクにおいて、意味を保持したままの表面的な入力変換（意味保存摂動）に対していかに脆弱であるかを、機械的解釈性（Mechanistic Interpretability）の手法を用いて体系的に分析した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳述します。

1. 問題定義

近年のオープンウェイト LLM は、GSM8K などの数学推論ベンチマークで高い精度（75% 超）を達成していますが、これは真の推論能力の表れなのか、それとも表面的なパターンマッチングに依存した脆い能力なのかという疑問が提起されています。

本研究は、**「意味を保持したままの入力変換（例：登場人物の名前変更、数値表現の言い換え）に対してモデルの回答が反転（Flip）してしまう現象」**に焦点を当てます。

仮説: モデルが数学を真に理解していれば、意味が変わらない変換を行っても回答は変わらないはずである。
現状: 既存の研究は主に行動レベル（精度の低下）での評価に留まっており、なぜ内部で失敗が起きるのか、そのメカニズム的な原因（どの層、どのコンポーネントで誤りが生じるか）を解明する研究は不足していました。

2. 手法：機械的摂動診断フレームワーク（MPD）

著者らは、GSM8K の 677 問の数学問題に対して、名前置換（341 組）と数値フォーマットの言い換え（336 組）を施した意味保存摂動ペアを構築し、以下の 4 つの手法を組み合わせたMechanistic Perturbation Diagnostics (MPD) フレームワークを提案しました。

Logit Lens 分析:
- 各層の隠れ状態を解読し、元の入力と摂動入力において、正解と誤答の予測が初めて分岐する層（First Divergence Layer）を特定します。
活性化パッチング（Activation Patching）:
- 誤答サンプルの特定の層における隠れ状態を、正解時の状態に置き換える実験を行います。これにより、失敗が特定の層に局所的に起因するものか、広範囲に分散しているかを判定します。
コンポーネントアブレーション:
- 各層の Attention 部分または MLP 部分の出力をゼロにすることで、どちらのコンポーネントが失敗の因果関係に寄与しているかを特定します。
Cascading Amplification Index (CAI):
- 層ごとの分岐（JSD: ジェンセン・シャノン・ダイバージェンス）がネットワークを通じて増幅されるか、減衰するかを定量化する新しい指標です。
- $CAI = \frac{1}{L-l_0} \sum_{l=l_0}^{L-1} \mathbb{1}[\Delta_{l+1} > \Delta_l]$
- 値が 1 に近いほど分岐が増幅され、失敗が確定することを示します。

3. 主要な貢献

機械的失敗分類体系（Mechanistic Failure Taxonomy）の提案:
- 失敗の特性に基づき、「局所的（Localized）」、「分散型（Distributed）」、**「絡み合い型（Entangled）」**の 3 つに分類する体系を確立しました。
クロスモデル比較分析:
- 同程度のパラメータ数を持つモデル間でも、失敗のメカニズムが質的に異なることを実証しました。
CAI（Cascading Amplification Index）の導入:
- 従来の「最初の分岐層」よりも、失敗の予測精度が高い新しい診断指標を提案しました。
MPD フレームワークの確立:
- 上記の手法を統合し、任意のトランスフォーマーモデルに適用可能な診断パイプラインを提供しました。

4. 実験結果

対象とした 3 つのモデル（Mistral-7B, Llama-3-8B, Qwen2.5-7B）において、以下のような結果が得られました。

4.1 摂動に対する脆弱性

全モデルで 28.8%〜45.1% の回答反転率（Flip Rate）が観測されました。
数値フォーマットの言い換えは、名前置換よりも一貫して破壊的でした（例：Mistral-7B で 63.1% vs 27.3%）。

4.2 失敗のメカニズム的差異

モデル	反転率	失敗タイプ	パッチング回復率	主要な因果コンポーネント
Llama-3-8B	33.5%	局所的 (Localized)	71.7% (43/60)	Attention と MLP の両方
Mistral-7B	45.1%	分散型 (Distributed)	5.0% (3/60)	Attention (中〜後段層)
Qwen2.5-7B	28.8%	絡み合い型 (Entangled)	0.0% (0/60)	MLP (Attention より支配的)

Llama-3: 失敗が特定の層に局在しており、パッチングで容易に修復可能。
Mistral: 失敗が広範囲に分散しており、特定の層を修正しても回復しない。
Qwen: MLP 層が失敗の主要因であり、Attention ではなく MLP の影響が支配的。パッチングでは全く回復しませんでした。

4.3 診断指標の精度

CAIは、Mistral と Llama-3 において、従来の「最初の分岐層」よりも失敗予測の精度（AUC）が高かった（Mistral: 0.679 vs 0.579）。
反転したサンプルは、安定したサンプルに比べて有意に早期の層で分岐が始まり、その後の層で分岐が増幅（Cascading Amplification）することが確認されました。

4.4 修復実験（Taxonomy の検証）

提案された分類に基づき、ターゲットを絞った修復実験を行いました。

局所的失敗（Llama-3）: 層の微調整（Layer Fine-tuning）やステアリングベクトルにより、**12.2%**の失敗を修復可能でした。
分散型・絡み合い型（Mistral, Qwen）: 同様の手法でも修復率は 5.2%〜7.2% に留まり、修復が極めて困難であることが示されました。
ROME 編集: Qwen に対して適用したところ、回復率ではなく逆効果（-1.1%）となり、絡み合い型の失敗は局所的な重み操作では修正できないことを示しました。

5. 意義と結論

本研究は、LLM の推論能力の脆弱性が単一の原因ではなく、アーキテクチャ固有の失敗モードによって現れることを明らかにしました。

理論的意義: 単なる行動レベルの評価を超え、モデル内部のどの層・どのコンポーネントが失敗に関与しているかを特定する「機械的診断」の枠組みを提供しました。
実用的意義: 失敗のタイプ（局所的か分散型か）を診断することで、どの修復手法が有効かを事前に予測できます。局所的な失敗には層ごとの微調整が有効ですが、分散型や絡み合い型の失敗にはより複雑なアプローチが必要であることが示唆されました。
将来展望: 大規模モデルでの挙動や、他の推論ドメインへの一般化、複数の修復手法の組み合わせによる効果検証が今後の課題です。

結論として、LLM の推論の脆さは「意味保存摂動」によって顕在化し、そのメカニズムはモデルごとに異なり、それに応じた修復戦略が必要であることが実証されました。