In-Context Examples Suppress Scientific Knowledge Recall in LLMs

以下は、論文「In-Context Examples Suppress Scientific Knowledge Recall in LLMs（コンテキスト内例示が LLM における科学的知識の想起を抑制する）」の詳細な技術的サマリーです。

1. 問題定義

本論文は、科学的推論に適用される大規模言語モデル（LLM）における直感に反する現象を検証しています：コンテキスト内学習（ICL）は、モデルの事前学習済み科学的知識を強化するのではなく、抑制し得るという現象です。

ICL は例示を提供することで性能向上を図るために広く利用されていますが、著者らは、潜在構造の回復（ドメイン法則を適用する前にデータから隠れたパラメータを推論する）を必要とするタスクにおいて、例示を追加することがモデルの推論戦略をシフトさせると仮説を立てています。モデルは、事前学習済み重みから正しい科学公式を想起・適用する**知識駆動型導出（Knowledge-Driven Derivation）を行う代わりに、パターン認識を通じて入力 - 出力マッピングを近似する例示駆動型フィッティング（Example-Driven Fitting）**へと移行します。

重要なのは、この抑制現象が、コンテキスト内の例示がモデルが既に知っている全く同一の科学公式によって生成された場合にも発生する点です。つまり、例示とモデルの事前知識の間には矛盾が存在しないにもかかわらず、この現象は起こります。

2. 手法

ベンチマーク構築

著者らは、5 つの科学分野にわたる60 の潜在構造回復タスクからなる難易度バランスの取れたベンチマークを構築しました。

• 分野: 生物学、化学、経済学、物理学、地球科学（分野あたり 12 タスク）。
• タスク構造: 各タスクは特定のアーキテクチャ $X \to \Theta \to Y$ に従います。
  • $X$（観測値）: モデルに提供される生データ。
  • $\Theta$（潜在変数）: ドメイン法則を用いて推論しなければならない隠れたパラメータ（反応定数、弾性率など）。
  • $Y$（ターゲット）: 推論されたパラメータを用いて計算される最終量。
• 複雑性: 観測値の数、潜在変数の数、式形式（線形、非線形、分数など）を多様化させ、特定の式タイプに起因するアーティファクトではないことを保証しています。

実験設定

• モデル: 4 つのモデルで実験を実施しました：GPT-5.2（主要）、Claude Sonnet 4.6、Llama 4 Maverick、DeepSeek V3.2。
• 条件:
  • ゼロショット: モデルは例示なしで、Chain-of-Thought（CoT）推論のみを使用してタスクを解決します。
  • 10 ショット: モデルには、テストケースと同じ基礎公式によって生成された 10 の入力 - 出力ペアが提供されます（中間導出は提供されません）。
• 戦略分類: 人間のアノテーターによる 98% の合意率で検証された自動分類器が、モデルの CoT 軌跡を以下の 3 つのモードに分類します。
  1. パラメトリック（$S_{know}$）: 名前付き公式を想起し、代数的に答えを導出する。
  2. 経験的（$S_{emp}$）: ドメイン法則を呼び出さずに、例示にパターンを適合させる。
  3. ハイブリッド: 公式を使用するが、係数を例示に基づいて較正する。

追加分析

• セマンティック・デコイ: ドメイン固有の語彙（例：「消費者余剰」→「ガンマ・ラッド」）を置き換えることで、知識想起が表面的な手掛かりに依存しているかをテストします。
• 内部表現: オープンソースモデル（Qwen、Mistral、Llama）の隠れ状態を分析し、表現空間のシフトを観察します。
• 介入: 構造化プロンプト技術（公式の明示的な宣言の強制、フィッティングに対するネガティブプロンプトなど）をテストし、置換を軽減できるかを確認します。

3. 主要な貢献

1. 知識置換の発見: 著者らは、一貫したコンテキスト内例示の追加が、すべての分野において知識駆動型導出（$S_{know}$）から例示駆動型フィッティング（$S_{emp}$）への計算のシフトを常に引き起こすことを実証しました。
2. 戦略競合フレームワーク: 精度への影響がなぜ変動するかを説明するフレームワークを提案しました。シフト自体は均一ですが、その結果は、置換された戦略（事前学習済み知識）と代替戦略（経験的フィッティング）の質的ギャップに依存します。
3. 包括的ベンチマーク: 科学的推論とパターンフィッティングの競合を可視化するために特別に設計された、多様な構造的複雑性をカバーする新しい 60 タスクのベンチマークです。

4. 主要な結果

A. 均一な戦略シフト、分岐する精度

10 個の例示を追加したことで、すべての分野においてパラメトリック（$S_{know}$）軌跡の割合が6〜20 ポイント減少しました。しかし、最終精度への影響は大きく異なりました。

• 経済学: 精度が大幅に低下しました（-15.7 ポイント）。ここでは $S_{know}$ が優位な戦略でした（精度 88.3%）。経験的フィッティング（精度 41.7%）へのシフトにより、パフォーマンスが劇的に低下しました。
• 地球科学: 精度は向上したように見えました（+13.3 ポイント）。ここでは $S_{know}$ が弱く（精度 49.2%）、モデルは正しい公式を想起しても誤ったデフォルトパラメータを使用することが多かったためです。経験的フィッティングへのシフトにより、モデルは例示から正しく補間できるようになり、科学的推論の喪失を隠蔽しました。
• 物理学および生物学: 精度は比較的横ばいでした。物理学ではシフトが小さく、生物学では経験的戦略がパラメトリック戦略と同様に機能したためです。

結論: モデルは誤っている場合にのみ知識を放棄するのではなく、新しい戦略が良かろうが悪かろうが、どこでも知識を放棄します。

B. 機構：語彙トリガー型想起

セマンティック・デコイ実験により、$S_{know}$ は深層的な数学的分析ではなく、表面的な語彙（ドメインキーワード）によってトリガーされることが明らかになりました。

• ドメイン用語が擬似名に置き換えられた場合、ゼロショットの精度は崩壊しました（3〜14%）。
• しかし、10 ショットのパフォーマンスは部分的に回復しました（22〜40%）。これは、$S_{emp}$ が語彙に依存しない数値パターンに基づいて動作することを証明しています。
• 示唆: 数値例示の存在そのものが経験的経路を活性化し、語彙トリガー型の知識経路を上書きします。

C. 内部表現の収束

隠れ状態の分析により、10 ショット条件下では、異なる分野の表現空間が収束することが示されました。

• ゼロショットでは、分野は明確な領域を占め（特定のドメイン回路を活性化）、
• 10 ショットでは、特に最も強いシフトを示した地球科学を含め、分野同士が近づきました。これは、例示が存在する場合、モデルがドメインに依存しないパターンフィッティング回路に切り替えることを示唆しています。

D. 介入の失敗

標準的なプロンプト介入（公式の明示的な命名、フィッティングに対するネガティブプロンプトなど）は、置換を普遍的に防ぐことに失敗しました。事前学習済み知識が最適戦略であった場合（経済学）、一貫した例示をどれだけ追加しても、それらの例示の存在によって失われたパフォーマンスを回復させることはできませんでした。

5. 意義と示唆

• 実務家への警告: 本論文は、科学応用において、意図した知識を支援するために提供されるコンテキスト内例示が、かえってその知識を置換する可能性を警告しています。エンドツーエンドの精度のみに依存することは危険であり、科学的推論の喪失（例えば、地球科学ではモデルが誤った理由で正解を得た場合など）を隠蔽する可能性があります。
• LLM における科学的推論の本質: この研究は、LLM の科学的推論はしばしば認識ベース（キーワードによってトリガーされる）であり、推論ベース（数学的導出）ではないことを示唆しています。これにより、推論は脆弱となり、パターンマッチングという計算上のショートカットによって容易に上書きされてしまいます。
• 広範なショートカット学習: この現象は「ショートカット学習」の一例として位置づけられています。モデルは、ショートカットが最適でない場合であっても、最も原理的なもの（法則からの導出）ではなく、利用可能な計算上最も簡単な戦略（例示への適合）にデフォルトで依存します。
• 今後の方向性: 著者らは、この競合を担う特定の回路を特定するためのメカニズム的研究（アクティベーションパッチングなど）と、「知識駆動型」と「例示駆動型」の成功を区別できる新しい評価指標の必要性を呼びかけています。