技術概要：LLM ゴーストバスターズ——適応的忘却による外科的ハルシネーション抑制

1. 問題定義

コード生成に展開される大規模言語モデル（LLM）は、頻繁にハルシネーション（言語的に流暢だが事実誤認した出力）を生成する。ソフトウェア開発の文脈では、これはパッケージハルシネーションとして現れ、モデルが存在しないソフトウェアライブラリ名（例：架空の Python パッケージ）を捏造する。

この失敗モードは、スロップスクワッティングと呼ばれる重要なサプライチェーン脆弱性を生み出す。敵対者は、これらのハルシネーションされたパッケージ名を PyPI などの公開レジストリに悪意のあるペイロードと共に事前に登録できる。その後、開発者や自律エージェントが LLM の推奨に基づいてこれらのパッケージをインストールすると、悪意のあるコードが実行される。

既存の緩和策は、展開後の微調整には不十分である：

• フル再トレーニングは計算コストが過大である。
• 検索拡張生成（RAG）や推論時検証は、モデルの基盤となる学習表現を変更しないまま、遅延と複雑さを追加する。
• 標準的な機械的忘却（例：勾配上昇、NPO）は通常、事前に指定された有限の「忘却セット」を必要とする。しかし、ハルシネーションを誘発するプロンプトの空間は開放的であり、モデルが生成する具体的なハルシネーションは誘発されるまで未知である。
• **部分的モデル崩壊（PMC）**は、対象となるコンテンツの除去メカニズムを提供するが、忘却する固定された既知のデータセットを前提としており、ハルシネーションの動的で無制限な性質には適用できない。

2. 手法：適応的忘却（AU）

著者は、一般的なモデルの有用性を維持しつつハルシネーションを外科的に抑制するために設計された、閉ループ型の展開後フレームワークである**適応的忘却（AU）**を提案する。AU は、モデル自体が生成する合成データのみで動作し、人間の注釈を必要としない。

中核コンポーネント

1. 適応的プロンプト変異ループ：

   • 静的な忘却セットに依存するのではなく、AU は継続的に新しいハルシネーション誘発コンテキストを発見する。
   • システムは現在のモデルからサンプルを生成する。プロンプトがハルシネーションを誘発しない場合、または一定のエポック数でトレーニングされた場合は、「使い果たされた」と見なされる。
   • その後、プロンプトは変異（意味的変容）され、新しいハルシネーションパターンを誘発し、モデルが特定のプロンプト - 出力ペアを記憶するのではなく、パターンを抑制することを学習するようにする。

2. トリマスクトークンルーティング：

   • 新規の 3 値勾配ルーティングメカニズムが、各トレーニングサンプルのトークンストリームを 3 つの互いに排他的な集団に分割する：
     • マスク = 0（正則化）： 文脈トークン（プロンプト、コード構造、句読点）。これらはモデルの分布を固定し、不整合な出力を防ぐためにスケーリングされたクロスエントロピー（CE）損失を受け取る。
     • マスク = 1（強化）： 有効トークン（例：レジストリオラクルによって確認された正しいパッケージ名）。これらは標準的な CE 損失を受け取り、正しい生成を強化する。
     • マスク = 2（抑制）： ハルシネーショントークン（例：存在しないパッケージ名）。これらは**負の選好最適化（NPO）**損失を受け取り、これらのトークンからの確率質量を押しやる。
   • このトリマスキングにより、強化と抑制の勾配が互いに排他的なトークンセットに作用し、同じトークンに相反する目的を適用した際にしばしば見られる壊滅的な崩壊を防ぐ。

3. ハイブリッド目的関数：

   • 総損失は 3 つの項を組み合わせる：
     $$L_{AU} = \lambda_{retain} L_{CE}^{T_{retain}} + \lambda_{forget} L_{NPO}^{T_{forget}} + \lambda_{reg} L_{CE}^{T_{reg}}$$
   • これにより、モデルは同じシーケンス内で、生成してはならないもの（ハルシネーション）と生成すべきもの（有効な代替案）を同時に学習できる。

4. ネストされたトレーニングループ：

   • 忘却プロセスを安定させるため、AU は 2 つのタイムスケールを持つトレーニング構造を採用する：
     • 外部エポック： サンプルを再生成し、ハルシネーションを検出してトリマスクを更新する。
     • 内部エポック： 外部エポックからのキャッシュされたサンプルを用いて、再サンプリング前に複数のステップでトレーニングする。これにより、モデルは変化するサンプルを常に「追いかける」のではなく、抑制信号を統合できる。

3. 主要な貢献

1. 適応的忘却フレームワーク： 適応的なハルシネーション発見ループとハイブリッドなトークンレベル目的を結合した初の忘却手法であり、事前に指定された忘却セットなしに未見のプロンプトへの一般化を可能にする。
2. トリマスクトークンルーティング： トークンを有効、ハルシネーション、文脈の 3 種類に分割することで、単一のシーケンス内で外科的な編集を可能にするメカニズムであり、CE と NPO の目的が衝突することなく動作できるようにする。
3. 適応的プロンプト変異： 有限セットから開放的なプロンプト空間へと忘却を拡張する戦略であり、モデルが特定のプロンプトに過剰適合するのではなく、ハルシネーションパターンを抑制することを保証する。
4. 安定性のためのネストされたトレーニング： 以前の崩壊ベースの忘却手法の不安定性に対処するキャッシュ更新方式であり、安定したハルシネーション削減に不可欠である。
5. 体系的な共同評価： ハルシネーション率、分布的ドリフト、コーディング有用性を同時に評価する実証比較を行い、効果的な緩和にはこれら 3 つの軸のバランスが必要であることを示した。

4. 実験結果

著者は、パッケージハルシネーションを誘発するように設計されたコード生成プロンプトのデータセットを用いて、DeepSeek-Coderモデル（7B および 16B パラメータ）上で AU を評価した。

• ハルシネーションの削減：

  • DeepSeek-7Bモデルにおいて、AU は総パッケージハルシネーション率を**21.2%（ベース）から2.56%**に削減し、88% の削減を達成した。
  • DeepSeek-16Bモデルでは、率が**27.75%から6.13%**に低下し、78% の削減となった。
  • これは勾配上昇（GA）、負の選好最適化（NPO）、部分的モデル崩壊（PMC）といったベースラインを大幅に上回った。

• 有用性の維持：

  • AU は、標準的なコーディングベンチマーク（HumanEval、MBPP、およびそれらの EvalPlus 変種）におけるパフォーマンスを維持、あるいはわずかに向上させた。
  • DeepSeek-7B の場合、平均コーディングベンチマークスコアは68.57に改善された（ベースモデルの 66.98 対比）。
  • DeepSeek-16B の場合、スコアは73.17で安定していた（ベースの 77.4 対比。MoE トレーニングのダイナミクスに起因するわずかな低下があるが、他の忘却ベースラインよりは依然として優れている）。

• 分布的ドリフト（KL 発散）：

  • 分析により、AU によって引き起こされた行動変化はパッケージ生成分布（パッケージクエリでの KL 発散は約 1.4 ナット）に高度に集中しており、一般的なコード生成（KL 発散は約 0.08 ナット）や指示追従では最小限であることが示された。
  • これは、モデルの能力に対する広範な付随的被害を回避する「外科的」な忘却の性質を確認するものである。

• アブレーション研究：

  • 損失構成： CE のみ（強化）または NPO のみ（抑制）のいずれも不十分であり、両方ともハルシネーション率が 12% 超となった。ハイブリッドアプローチが不可欠であった。
  • 内部エポック： 内部エポックなし（単一ステップ再サンプリング）でのトレーニングは、ハルシネーションを効果的に削減できなかった。安定した統合には最低限約 10 の内部エポックが必要であった。
  • プロンプト変異： 適応的変異は一般化にとって決定的であった。変異なしではハルシネーション率は高く（約 10.7%）、6 回の変異により率は約 3.9% に低下した。

5. 意義と主張

本論文は、適応的忘却が、ベンダーにリリースサイクル間で展開された LLM のハルシネーションに対処するための原理的かつ実用的な道筋を提供すると主張する。

• セキュリティへの影響： パッケージハルシネーション率を 80% 以上削減することで、AU は重要なサプライチェーン脆弱性であるスロップスクワッティング攻撃の攻撃対象領域を直接縮小させる。
• 運用上の実現可能性： フル再トレーニングとは異なり、AU は合成の自己生成データ上で動作し、人間の注釈を必要とせず、外部知識ベースや推論時検証のオーバーヘッドに依存しない。
• 一般性： 実験は Python パッケージのハルシネーションに焦点を当てているが、著者はこのフレームワークがエコシステムに依存せず、決定論的オラクル（例：API エンドポイント、引用、歴史的主張）を持つ任意のドメインに適用可能であると論じている。
• 限界： 著者は控えめに、現在のオラクルはコード内の意味的正確さではなく、文字列レベルの有効性（レジストリの存在）を検証していると指摘する。また、16B を超える大規模スケールでの全パラメータ微調整には現在の研究を超えるリソースが必要であり、汎用（非コード）LLM への一般化は未解決の拡張課題であると認めている。

要約すると、本論文は、ハルシネーションの開放的な性質のために以前の忘却手法が失敗したギャップを埋め、特定の望ましくない行動の抑制と一般的なモデル有用性の維持というトレードオフを成功裡に navigated（航行）する手法として AU を提示している。