技術要約：大規模言語モデルにおける記憶緩和のための出力ベクトル編集

1. 問題提起

大規模言語モデル（LLM）は、学習データ内のシーケンスを記憶し再現してしまい、重大なプライバシー、著作権、およびセキュリティのリスクを生じさせる。既存の緩和戦略には限界がある。学習時の防止策はフル再学習を必要とし、事後的なアンラーニング（unlearning）は基礎となるエンコーディングをそのまま残してしまうため、無害な再学習による復元を許してしまう可能性がある。また、デコーダーレベルのフィルタリングは、重みを変更することなく推論オーバーヘッドを増大させる。

「特定（locate）してから編集（edit）する」というパラダイムにおいて、記憶に関する先行研究は、特定されたニューロンの活性化を**ゼロにする（zeroing out）**ことに編集フェーズを限定してきた。著者らは、これが不必要に破壊的であると主張している。なぜなら、ニューロンは重ね合わせ（superposition）を通じて複数の特徴量を表現するため、活性化をゼロにすることは、そのニューロンがエンコードしている情報全体を崩壊させてしまうからである。さらに、既存の手法は多くの場合、自由形式の逐次的な記憶には存在しない構造化されたテンプレート（例：<主語, 関係, 目的語>）に依存している。

2. 手法：出力ベクトル編集

本論文では、記憶された継続内容に対して責任を持つMLPニューロンの「活性化」をゼロにするのではなく、その「出力ベクトル」を修正する制約付き最適化による重み編集、**出力ベクトル編集（Output Vector Editing）**を提案する。

コアメカニズム

MLP層の出力は、各ニューロンの寄与の総和である：$MLP(x) = \sum a_i \cdot v_i$。ここで、$a_i$ はスカラー活性化、$v_i$ は出力ベクトルである。

• 活性化 vs ベクトル: 活性化 $a_i$ はニューロンが「いつ」関与するかを制御し、出力ベクトル $v_i$ は残差ストリームに「何を」書き込むかを決定する。
• 編集: $a_i = 0$ と設定する代わりに、本手法では $a_i > 0$ を維持したまま $v_i$ を $v'_i$ へと修正する。これは、選択された「ディストラクター（妨害）」トークン $s$ のアンエンベディング方向へのランクワン更新によって実現される。
• 最適化: 編集は、元のベクトルと新しいベクトルの間の距離を最小化しつつ、新しいベクトルをディストラクター・トークンのロジット方向にターゲット値 $\Delta_i$ まで投影する。閉形式の解は以下の通りである：
  $$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$$
  ここで、$u_s$ はトークン $s$ のアンエンベディング・ベクトルである。これには勾配計算を必要とせず、重みに直接適用される。

パイプラインのステップ

1. 記憶シーケンスのマイニング: 学習コーパスに対する教師強制予測（teacher-forced prediction）を用い、モデルの出力が正解と一致する（BLEU > 0.5）シーケンスを特定する。
2. 2段階の特定（Localization）:
   • レイヤー選択: 「ロジットレンズ（logit lens）」を用い、ターゲット・トークンが最も強いロジットブーストを受ける上位5つのMLPレイヤーを特定する。
   • ニューロン選択: 選択されたレイヤー内で、残差ストリームに対するL1近接度に基づいてニューロンをスコアリングし、ターゲット・トークンを直接促進または抑制するニューロンをフィルタリングする（ターゲットを語彙の上位または下位50位にランク付け）。
3. 編集モード: ディストラクター・トークン $s$ に基づき、以下の4つのモードを定義する：
   • EOS: 文末トークンへリダイレクトする（強制的終了）。
   • Redact (伏せ字): 伏せ字マーカー（****）へリダイレクトする。
   • Next-best (次善の策): モデルの2番目にランクの高いトークンへリダイレクトする（もっともらしい代替案）。
   • Suppress (抑制): ディストラクターを注入することなく、ターゲット・トークンのロジットを直接減衰させる。

3. 主な貢献

1. 活性化と出力の分離: 本論文は、MLPニューロンにおいて活性化と出力ベクトルが分離可能な役割を果たすことを実証した。ディストラクターを導入するために出力ベクトルを編集することは、活性化をゼロにするよりも破壊的でない、明確に異なる介入である。
2. ランクワン出力編集: 以前は事実編集（ROMEなど）に使用されていたランクワン更新メカニズムを、記憶緩和のためのパーニューロン出力リダイレクションに適応させた。
3. 包括的な評価: 4つのモデル（SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B）と4つの編集モードを用いて評価を行い、ゼロ・アブレーション、ランダム・ニューロン、および活性化ステアリングのベースラインと比較した。
4. メカニスティックな境界: MLPのみの編集が失敗する〜14%の「ハードリミット」を特定した。これは、これらのケースにおいてアテンション機構が補完的な役割を果たしていることを示唆している。

4. 結果

主に OLMo-7B（6,831個の記憶シーケンス）で評価を行った：

• ゼロ・アブレーションに対する優位性: 一致するローカリゼーション（$k=5$）において、同じニューロンに対するゼロ・アブレーションの抑制率が 31.3% であったのに対し、EOS は 85.7% の抑制を達成した。この2.7倍の差は、成功が単なるローカリゼーションではなく、出力ベクトル編集に起因することを裏付けている。
• 成功と局所性のトレードオフ:
  • 強制的 (EOS, k=10): 87.9% の抑制を達成したが、約1.8%の編集において破滅的なローカリティ失敗（パープレキシティのスパイク > 100）という「テールリスク」が生じた。
  • 実用的 (Next-best, k=5): 81.5% の抑制を達成しつつ、破滅的な編集はゼロであり、中央値のパープレキシティ変化も最小限（+0.13）であった。これが最適な運用ポイントとされる。
  • 保守的 (Redact, k=5): 局所性へのダメージがほぼゼロで、31.7% の抑制を実現した。
• モードの相補性: 4つのモードは冗長ではない。全モードのアンサンブルは 96.5% の記憶シーケンスをカバーする。「Next-best」モードは、他のどのモードも到達できなかった161個のシーケンスを独自に抑制している。
• モデル間の汎用性: 成功率はアーキテクチャのファミリーよりもモデルサイズに応じてスケールする。小型モデル（360M）は、ローカリゼーション・フィルターのスキップ率が高いため、成功率が低くなる傾向がある。
• 活性化ステアリングとの比較: 提案手法は、活性化ステアリング（73.3%）と同等の成功率を達成しながら、大幅に優れた局所性（中央値 $\Delta$PPL +0.13 vs +0.90）と、シーケンスごとの標的化を実現している。

限界と失敗

• MLPの限界: 約14%のシーケンスは、すべてのMLP構成に対して抵抗を示す。分析によれば、これらは主にアテンション駆動によるものではなく、上位のアテンションヘッドをアブレーションすることで、これらの失敗の60〜64%が回復することから、アテンションが補完的なフォールバックとして位置づけられる。
• 累積的リスク: 単一の編集は安全だが、重みの復元なしにバルク編集を行うと、破滅的な崩壊を招く（例：EOSモードは10回の累積編集以内で崩壊する）。

5. 意義と主張

本論文は、ニューロンのアブレーションによる破壊的な副作用や、フィルタリングによる実行時のオーバーヘッドを伴わずに、記憶を緩和するメカニスティックに根ざした重みレベルの介入を提供すると主張している。

• 精密さ: 活性化ではなく出力ベクトルを編集することで、ニューロンの他のエンコードされた特徴を保持しつつ、特定の記憶された継続内容を外科的にリダイレクトできる。
• 実用性: 「Next-best」モードは、強制的モードで見られるような破滅的なアウトライヤーを回避し、高成功・低リスクな構成を提供する。
• スケーラビリティ: 手法はモデルファミリーを越えて転移し、成功率はモデルサイズと相関する。
• 治療 vs 防御: 著者らは、これを実行時の防御（敵対的な抽出に対する防御）ではなく、既知の記憶に対する治療法（シーケンスをマイニングするために学習コーパスへのアクセスを必要とする）と位置づけている。編集は根本的な表現を削除するのではなくリダイレクトするものであるため、抑制されたコンテンツは、無害な再学習によって回収される可能性があることを認めている。

本研究は、効果的な記憶緩和には、単純な活性化の抑制を超えて、出力ベクトルの編集を通じて残差ストリームへの寄与を精密に操作することが必要であることを確立している。