技術的概要：生涯 LLM 編集のためのソフト再帰的最小二乗法（RLSEdit）

1. 問題定義

実世界で展開される大規模言語モデル（LLM）には、避けられず古くなった知識や誤った知識が含まれています。モデル編集は完全な再トレーニングなしに特定の事実を更新することを可能にしますが、実用的な展開には長期的な連続的な編集ストリームが伴います。これにより「可塑性と安定性のジレンマ」が生じます。

• 事後編集の忘却（Retroactive Edit Forgetting）： 繰り返される「ハードな書き込み」（例：特定位置の編集方法）は干渉を蓄積し、将来の編集が以前の編集からの知識を上書きまたは劣化させます。
• 一般能力の劣化： 厳格な保存制約（例：ヌル空間編集）は明示的に制約された方向を保護するかもしれませんが、編集ストリームが成長するにつれて、制約されていない一般能力（推論、コーディング）の劣化や、以前の事実の保持を防げないことがあります。

既存の手法は、数千回の更新にわたって、新たな情報の記憶と、以前の編集およびモデルの一般能力の保持の両方をバランスさせる必要性に直面しており、これらを両立させることが困難です。

2. 手法：RLSEdit

著者は、長期的な連続編集のために設計された再帰的最小二乗法編集器であるRLSEditを提案します。この手法は、ハード制約ではなく、ソフト制約を伴うオンライン正則化最小二乗問題として編集を再定義します。

2.1 定式化

この手法は、トランスフォーマー層内の単一の線形写像 $W$（例：アテンション射影）を対象とします。各編集がキー・バリュー対 $(K_t, V_t)$ を提供する編集の系列 $t=1 \dots T$ において、時刻 $t$ における目的は、以下の式を最小化する最適な重み $W^*_t$ を見つけることです。

$$W^*_t := \arg \min_W \sum_{i=1}^t \|K_i W - V_i\|_F^2 + \lambda^2 \|W - W_0\|_F^2 + \mu^2 \|K_0 W - V_0\|_F^2$$

ここで：

• 適合項（Fitting Term）： $\sum \|K_i W - V_i\|_F^2$ は、これまでに観測されたすべての編集の誤差を蓄積します。
• パラメータドリフト正則化（$\lambda$）： 初期の事前学習済み重み $W_0$ からの乖離にペナルティを課します。
• アンカー写像正則化（$\mu$）： 保持すべき制約のセット（例：背景知識）を表す指定されたアンカー写像 $(K_0, V_0)$ からの乖離にペナルティを課します。

この定式化は、ハードな書き込みとハードな保存の間を補間する「ソフト制約」領域を創出します。

2.2 効率的なオンライン再帰

各ステップで最小二乗問題を直接解くことは計算コストが高く（$O(d^3)$）、RLSEdit はウッドベリー行列恒等式を利用して効率的な再帰的更新を導き出します。

• 状態維持： アルゴリズムは逆共分散行列 $C_t = (A_t^\top A_t)^{-1}$ と交差項 $T_t = A_t^\top B_t$ を維持します。
• 更新メカニズム： 完全な因数分解の代わりに、更新には現在の編集のバッチサイズ $u_t$ である小さな $u_t \times u_t$ システムの求解が含まれ、これは通常モデル次元 $d_k$ よりもはるかに小さくなります。
• 計算量： 編集あたりのコストは $O(d_k^2 u_t + d_k d_v u_t + d_k u_t^2 + u_t^3)$ であり、$u_t \ll d_k$ の場合、$O(d_k^2 u_t)$ に簡略化されます。重要なのは、このコストが蓄積された履歴にわたる密行列演算を必要とする手法とは異なり、履歴の長さ $t$ に依存しないことです。

2.3 理論的解析

本論文は、$\lambda$ が $W_0$ からのグローバルなパラメータ乖離を制御し、$\mu$ がアンカー写像の乖離を制御することを示す乖離限界を提供します。さらに、安定した経験的二次モーメントを伴う長編編集ストリームにおいて、推定量が正則化された極限リスクの一意な最小化器に収束することを示す漸近的特徴付けを行います。

3. 主要な貢献

1. ソフト制約の定式化： 著者は、明示的なパラメータ乖離制御とアンカー乖離制御を伴うオンライン正則化最小二乗法として生涯編集を定式化し、ハードな書き込みとハードな保存に対するソフトな代替案を提供します。
2. 履歴に依存しない計算量： 過去の編集数に比例しない編集あたりの計算コストを持つウッドベリーに基づくオンライン更新を導き出し、長編編集ストリームへの安定したスケーリングを可能にします。
3. 理論的保証： 多数の編集領域における適合と保存のトレードオフの乖離限界と漸近的特徴付けを提供します。
4. 実証的検証： Llama-3 および Qwen2.5 モデルにおける広範な評価により、この手法が 10,000 回の編集まで安定してスケーリングすることを示しました。

4. 実験結果

実験は、10,000 回の連続編集（バッチサイズ 100）を用いてLlama-3-8BおよびQwen2.5-7Bで行われました。

• 編集の成功（CounterFact & ZsRE）：

  • Llama-3において、RLSEdit は 5 つの指標（有効性、一般化、特異性、流暢さ、一貫性）すべてで最高スコアを達成し、AlphaEdit、ROME、MEMIT などのベースラインを大幅に上回りました。例えば、有効性は次点の FT（74.76%）に対して 89.94% に達しました。
  • Qwen2.5において、RLSEdit は最高有効性（94.45%）と流暢さを達成し、他の指標では AlphaEdit と競争力を持ちながら、ROME や MEMIT を大幅に上回りました。
  • ZsREにおいて、RLSEdit は 81.20% の有効性を達成し、AlphaEdit（70.04%）や他社を上回りました。

• 一般能力の保持：

  • GLUE、MMLU、GSM8K、HumanEval、MBPP において評価されました。
  • RLSEdit は 1 万回の編集軌道を通じて、一貫して一般能力（推論、コーディング、言語理解）を保持しました。
  • 対照的に、ROME、MEMIT、FT などのベースラインは著しい劣化を示しました。AlphaEdit は当初は良好でしたが、多数の編集後には明らかな劣化が見られました。
  • ケーススタディ： HumanEval タスク 0 において、AlphaEdit と MEMIT は 8,000〜10,000 回の編集までに境界エラー、意味的なバグ、または破損/空の出力に劣化しましたが、RLSEdit はすべてのチェックポイントで正しい実装を維持しました。

• 初期編集の保持：

  • 合計 10,000 回の編集後に最初の 500、1,000、2,000、4,000 回の編集を再評価した際、RLSEdit は一貫して最高の保持スコアを達成し、事後の忘却に対する優れた耐性を示しました。

• 効率性：

  • RLSEdit は、異なるバッチサイズとモデルバックボーンにわたる更新中に、AlphaEdit より 1.37 倍〜1.79 倍高速であり、理論的な計算量解析を検証しました。

5. 意義と主張

本論文は、RLSEdit が長期的な連続ストリームに内在する可塑性と安定性のジレンマを解決することで、継続的なモデル編集のための実用的なアプローチを提供すると主張しています。編集をソフト制約付き最適化問題として扱うことで、ハードな書き込み手法の干渉蓄積と、ヌル空間手法の硬直性を回避します。

著者は、自らの手法が以下を可能にすると強調しています。

• スケーラビリティ： 編集あたりの計算コストを増やすことなく、10,000 回の編集まで安定したパフォーマンスを発揮します。
• 包括的な安定性： 編集の成功、初期編集の保持、および一般モデル能力の保持の同時的な改善。
• 理論的基盤： 正則化パラメータ $\lambda$ と $\mu$ を通じた、新しい事実の学習と既存知識の保持の間のトレードオフの明確な特徴付け。

論文は控えめに結論付け、現在の実験は 7B〜8B のバックボーンに焦点を当てており、より大規模なモデルやより多くの失敗事例の評価が今後の重要な研究方向であることを指摘しています。