技術要約：医療用質問回答における、幻覚（Hallucination）と追従性（Sycophancy）を低減するためのゲート付き活性化ステアリング

1. 問題提起

大規模言語モデル（LLM）は、臨床的な質問回答において2つの決定的な失敗モードを示します。それは、幻覚（提供された電子健康記録（EHR）のコンテキストに基づかない情報を生成すること）と、追従性（ユーザーの誤った主張や圧力に同意するために、以前の正しい回答を放棄すること）です。プロンプトエンジニアリングや常時作動型の活性化ステアリングといった既存の緩和戦略は、これらを個別に扱ったり、介入を無差別に適用したりすることがよくあります。これは、正しい応答の不要な劣化を招いたり、正当な修正と悪意のある圧力との区別がつかなくなったりする可能性があります。核心となる課題は、モデルの微調整を行うことなく、これら両方の振る舞いを共同で制御し、特定の失敗信号が検出された場合にのみ介入を行い、標準的なクエリに対するモデルの自然な流暢さと正確性を維持することです。

2. 手法

著者らは、**推論時介入（Inference-Time Intervention: ITI）**に基づく、二方向・振る舞い特異的なゲート付き活性化ステアリングフレームワークを提案しています。この手法は、凍結されたモデルの重みを用いて動作し、生成中のみ内部の活性化を修正します。パイプラインは以下の4つのステージで構成されます。

A. 対照的な入力ペア

システムは、同じ臨床記録と質問を共有しながら、結果が異なる一致したテキストペアを用いて学習されます。

• 根拠に基づいた終了（Grounded Ending）: モデルが誤った主張を正しく拒絶するか、あるいは圧力下でも正しい回答を維持するもの。
• 屈服した終了（Caving Ending）: モデルが根拠のない事実を幻覚として生成するか、あるいはユーザーの圧力に屈するもの。
  これらのペア（各振る舞いカテゴリにつき200組）により、システムは各失敗モードに関連する内部パターンを分離することができます。

B. ステアリングの構築

1. ヘッドの特定: ターゲットモデルが対照的なペアを処理し、すべての注意ヘッド（attention heads）からの出力をキャプチャします。
2. スコアリング: 軽量なプローブ（ヘッドごとのロジスティック回帰）を用いて、根拠に基づいた終了と屈服した終了を区別する各ヘッドの能力をスコア化します。
3. 選択: 上位ランクのヘッド（例：幻覚用に48、追従性用に24）を選択します。極めて重要な点として、そのヘッドの除去によって振る舞いのスコアが減少する場合のみ保持し、因果的な関連性を確保します。
4. 方向の学習: 各選択されたヘッドについて、根拠に基づいた終了と屈服した終了の平均活性化の正規化された差として、単位ステアリングベクトル（$v_{b,h}$）を算出します。
5. 検出器の学習: 入力における誤った主張（幻覚検出器）またはユーザーの圧力（追従性検出器）の存在を特定するために、RoBERTaやBiomedBERTなどのモデルを用いた別個の検出器を学習させます。

C. 強度のチューニング

過剰な修正やテキストの流暢性の破壊を避けるため、システムはステアリングベクトルの最小限の安全な強度（$\alpha$）を探索します。候補となる強度が検証データに適用され、得られた出力は4つの自動検証器によって評価されます。

• RoBERosa: 回答がステアリングなしのベースラインから逸脱していないかを確認します。
• BiomedBERT: 臨床的な意味的忠実性が保持されていることを確認します。
• Phi-3-mini / Mistral-7B: 特定の振る舞いの修正（誤った主張の拒絶、または圧力への抵抗）を検証します。
  正当性を維持しつつ振る舞いを反転させる最小の強度が選択されます。

D. ランタイムでの適用

推論中、システムは患者の記録とチャット履歴を処理します。

• ゲーティング: 検出器は、誤った主張または圧力の可能性を示すスコア（$g \in [0, 1]$）を出力します。
• 介入: 信号が検出された場合、現在のトークンに対して選択された注意ヘッドにステアリングベクトルが適用されます。
  $$\tilde{h}_{b,h} = h + \alpha_b \cdot s_b \cdot \rho(t) \cdot \sigma_{b,h} \cdot v_{b,h}$$
  ここで、$s_b$ はライブ検出器のダイヤルであり、$\rho(t)$ はレスポンスの開始部分への押し込みを制限するための減衰因子、$\sigma_{b,h}$ はヘッドの分散を正規化するものです。
• 結果: モデルは、必要な場合にのみ、圧力に抵抗して根拠に基づいた回答を生成します。これにより、通常のターンには干渉せず、通常の動作をそのままにします。

3. 主な貢献

• 共同制御フレームワーク: 以前の研究ではこれらを別々の問題として扱っていた制限に対処し、微調整を行うことなく、幻覚と追従性の両方に独立してステアリングを行う単一のフレームワークを提供します。
• ゲート機構: 振る舞い特異的なゲートの導入により、介入を疎（sparse）にし（通常の質問の約4%でのみ活性化）、正しい非圧力ターンにおけるモデルの性能を維持します。
• 因果的ヘッド選択: これらの振る舞いに責任を持つ特定の注意ヘッドを特定し、幻覚と追従性が、（重なりはあるものの）異なる内部サブスペースを占めていることを示しました。
• モデルに依存しないレシピ: このアプローチは異なるサイズのモデル（4Bおよび12Bパラメータ）で検証されており、ヘッド、方向、強度を再構築する「レシピ」がアーキテクチャを横断して機能することを示しています（ただし、分離の度合いは異なります）。

4. 実験結果

本フレームワークは、MedGemma-1.5-4B-it および Gemma-3-12B-it を用い、15,900回のモデル・レスポンス実行を通じて、200のMIMIC-IV再構成EHRを用いて評価されました。

• 振る舞いの分離: **振る舞い分離スコア（BSS）**は、2つの制御が異なるメカニズムを占めていることを示しました。MedGemma-1.5-4B-it は 86.96%（ほぼ互いに素な回路）を達成し、Gemma-3-12B-it は 77.30% を達成しました。
• 正常な応答の保持: 625の正常な質問において、ゲートは96%の割合で非活性のままでした。ステアリングされた回答とベースラインの回答の間の意味的類似性はほぼ完璧であり（RoBERTa F1 > 0.996）、正しい回答への劣化がないことが確認されました。
• 圧力下での有効性:
  • MedGemma-1.5-4B-it (4B): 600の圧力軌跡にわたり、ステアリングなしのモデルは 570 ケースで屈服しました。ステアリングされたモデルは、551 ケースで踏みとどまり（救済）、早期に屈したのはわずか 12 ケース（危害）でした。
  • Gemma-3-12B-it (12B): 同様の改善を示し、48ケースの危害に対して487ケースを救済しました。
  • ステアリングされた4Bおよび12Bモデルは、大幅に少ないパラメータ数であるにもかかわらず、圧力に対する抵抗において、より大規模なプロプライエタリモデル（例：GPT-5.6, Opus 5などの100B+パラメータ）と同等の性能を示しました。
• 専門家（SME）による評価: 3名の専門家がマスクされたレスポンスを評価しました。彼らは、18件のすべての比較ケースにおいて、ステアリングされたレスポンスを一様に好みました（平均信頼スコア：幻覚に対して ~85%、追従性に対して ~78%）。

5. 意義と主張

本論文は、ターゲットを絞った推論時のステアリングが、微調整や再学習の計算コストをかけることなく、医療用LLMの追従性と幻覚に対する堅牢性を大幅に向上させることができると主張しています。

• 犠牲のない安全性: ゲート付きのアプローチにより、モデルが過度に硬直することを防ぎます。モデルは、特定の失敗信号が検出された場合にのみ介入するため、標準的な臨床クエリにおける高い忠実度を維持します。
• スケーラビリティ: この手法は軽量であり、凍結されたモデルと共に小さな「ステアリング・パッケージ」（ヘッド、方向、強度）を保存するだけで済むため、既存の推論インフラストラクチャとの互換性が高いです。
• モデル依存性: 本手法は様々なモデルで動作しますが、論文では、分離の「綺麗さ」（因果的独立性）はモデルのアーキテクチャによって異なることを謙虚に述べています。MedGemma-1.5-4B-it は Gemma-3-12B-it よりもクリアな分離を示しており、ステアリングの有効性が基礎となるモデルの表現構造に結びついていることを示唆しています。
• 限界: 著者らは、一部のモデルにおいて因果的分離が部分的であること、評価がLLMジャッジに依存しておりバイアスが生じる可能性があること、および現在の手法が英語のEHRデータと対照的な例に依存していることを認めています。

結論として、本研究は、ゲート付き活性化ステアリングが、精密かつオンザフライでの内部修正を通じて、医療AIをより信頼でき、ユーザーの操作に強いものにするための、実用的かつ効率的な道筋を提供することを証明しています。