論文サマリー：「Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs」

この論文は、大規模言語モデル（LLM）における「幻覚（ハルシネーション）」を検出するために特定された「幻覚ニューロン（H-neurons）」が、異なる知識ドメイン間で一般化（転移）するかどうかを検証した研究です。著者らは、H-neurons が普遍的なメカニズムではなく、ドメイン固有の神経経路に依存していることを実証しました。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題設定と背景

• 背景: 最近の研究（Gao et al., 2025）により、LLM のフィードフォワードネットワーク（FFN）内の 0.1% 未満のニューロンが「幻覚ニューロン（H-neurons）」として特定され、これらがモデルの幻覚発生を高精度に予測できることが示されました。
• 未解決の課題: 既存の研究は、一般的な知識質問応答（TriviaQA など）のドメインで H-neurons を特定し、関連する QA ベンチマークでのみ検証しました。しかし、**「あるドメイン（例：一般知識）で発見された H-neurons が、法的、金融、科学、コードなど、根本的に異なる知識ドメインでも幻覚を検出できるか」**という問いには答えていませんでした。
• 仮説の対立:
  1. 普遍性仮説: 幻覚はモデル全体の不確実性や事実性の欠如を示す単一の「普遍的な神経シグナル」であり、ドメインを跨いで検出可能である。
  2. ドメイン固有仮説: 幻覚はドメイン固有の神経経路に依存しており、ドメインが変われば検出に使用するニューロンも変わる。

2. 手法 (Methodology)

著者らは、6 つのドメインと 5 つのオープンウェイトモデル（3B〜8B パラメータ）を用いた体系的なクロスドメイン転移プロトコルを設計しました。

実験セットアップ

• 対象モデル: Qwen2.5-3B, Nemotron-4B, Phi-3.5-mini, Mistral-7B, Llama-3.1-8B の 5 種類。
• 対象ドメイン (6 種類):
  1. 一般 QA (TriviaQA)
  2. 法曹 (CaseHOLD)
  3. 金融 (FinancialPhraseBank)
  4. 科学 (ARC-Challenge)
  5. 道徳的推論 (ETHICS)
  6. コード脆弱性 (Devign)
• プロンプト戦略: 直接回答（Direct）と思考連鎖（Chain-of-Thought, CoT）の 2 条件。

技術的パイプライン

1. H-neurons の特定 (CETT メトリック):
   • Gao et al. (2025) の手法に従い、トークンレベルの特性を通じた寄与推定（CETT）メトリックを使用。
   • 各入力に対して FFN 層の全ニューロンの活性化値とダウンプロジェクション重みの積を計算し、幻覚予測に寄与するスパースなニューロン（H-neurons）を抽出。
2. 分類器の訓練:
   • 各ドメインのデータセットで、L1 正則化ロジスティック回帰を用いて H-neurons の活性化特徴量から幻覚を検出する分類器を訓練。
3. クロスドメイン転移評価:
   • 6 ドメイン×6 ドメインの転移行列（計 36 組み合わせ）を構築。
   • ドメイン A で訓練した分類器をドメイン B で評価し、AUROC を測定。
   • 転移ギャップ（$\Delta$）を定義：$\Delta = \text{ドメイン内平均 AUROC} - \text{ドメイン間平均 AUROC}$。

3. 主要な貢献

1. H-neurons のクロスドメイン転移プロトコルの確立: 6 ドメイン×5 モデルで 180 組の訓練・テストペアを評価し、ニューロンレベルの幻覚検出器のドメイン転移可能性を体系的に定量化した初の研究。
2. ドメイン固有の幻覚経路の証拠: 強力な統計的有意差（$p < 0.001$）をもって、ドメイン内検出とドメイン間転移の間に大きな性能差があることを実証。
3. ドメインとモデル要因の分析: どのドメインペアが部分的に転移するか（例：法曹と科学）、またモデルのスケールやアーキテクチャがドメイン固有性にどう影響するかを分析。

4. 結果 (Results)

4.1 ドメイン内検出性能

• 訓練ドメイン内での H-neurons 分類器の性能は高く、平均 AUROC は 0.783 でした（コード領域を除く）。
• コード領域（Devign）のみがやや低く（平均 0.585）、事実の想起ではなくプログラム意味論の推論を必要とするため、他のドメインとは性質が異なる可能性が示唆されました。

4.2 クロスドメイン転移の失敗（主要発見）

• 転移ギャップ: 異なるドメインに分類器を転移させた場合、平均 AUROC は 0.563 に低下しました。
• 統計的有意性: 転移ギャップ $\Delta = 0.220$ は統計的に有意（$p < 0.001$）であり、実用的にはドメイン外での検出能力が約 28% 失われることを意味します。
• モデル間の一貫性: 3B から 8B までの 5 つのモデルすべてで同様の傾向が見られ、モデルサイズによる改善は確認されませんでした。

4.3 ドメインペアごとの分析

• 法曹と科学の部分的転移: 「法曹→科学」および「科学→法曹」の転移では、他の組み合わせに比べて AUROC が比較的高く（約 0.7 前後）、構造的な論理推論を共有しているため、一部の H-neurons が共通している可能性が示唆されました。
• コードの異常性: コード領域は他のすべてのドメインから、また他のドメインからコードへも転移が極めて困難でした（AUROC が 0.5 付近）。
• ** chance 以下の転移（Anti-correlated）:** いくつかのケース（例：コード→道徳）では、転移した分類器が AUROC 0.5 を下回り、逆の予測（幻覚を正解と判定する）を行うことが確認されました。これは、あるドメインで幻覚を予測するニューロンが、別のドメインでは正解を予測する「反相関」の役割を果たしていることを示唆しています。

4.4 Chain-of-Thought (CoT) の影響

• CoT 使用により、ドメイン内での検出性能はわずかに向上しましたが、H-neurons の数とアイデンティティが劇的に変化しました。
• CoT は幻覚シグナルを単に増幅・抑制するのではなく、異なる神経サブストレートに再編成していることが示されました。

5. 考察と意義

5.1 機械的解釈性の観点からの意味

本研究の結果は、幻覚が単一の「普遍的神経シグナル」ではなく、ドメイン条件付きのプロセスのファミリーであることを示しています。

• 仮説: 幻覚ニューロンは、特定の知識領域の「破損した知識ニューロン」あるいは「ドメイン固有の推論回路の誤作動」を反映している可能性があります。
• 反相関の示唆: 一部のニューロンは複数の回路（例：コード正しさ回路と道徳的推論混乱回路）に関与しており、ドメインによって役割が逆転する可能性があります。

5.2 実装上のインプリケーション

• ドメイン固有のキャリブレーションの必要性: 汎用的なベンチマーク（例：TriviaQA）で訓練された幻覚検出器を、法曹や金融などの専門分野にそのまま適用することはできません。各ドメインごとに検出器を再訓練・キャリブレーションする必要があります。
• 介入の注意点: H-neurons の活性化を抑制するなどの介入を行う場合、ドメインを間違えると、幻覚を減らすどころか逆に増加させる（chance 以下の転移結果による）リスクがあります。
• マルチドメインシステムの設計: 複数の知識領域を扱うシステムでは、ドメインごとの検出メカニズムを切り替えるルータ機構が必要となります。

5.3 限界と将来の課題

• モデルスケール: 本研究は 3B〜8B パラメータのモデルに限定されています。70B 以上の超大規模モデルでは、より普遍的な内部表現が形成され、転移性が向上する可能性が残されています。
• 因果関係の証明: 現在の結果は相関関係に基づいています。H-neurons の活性化操作が幻覚率に因果的に影響するかをさらに検証する必要があります（本研究の活性化スケーリング実験では、統計的に有意な因果効果は確認されませんでした）。

結論

この論文は、LLM における幻覚検出が「万能な神経シグナル」の探索ではなく、ドメイン固有の神経メカニズムの理解に基づいて行われるべきであることを示しました。実務においては、ドメインに特化した検出インフラの構築が不可欠であり、既存の「一度訓練すればどこでも使える」という仮定は誤りであることが実証されました。