🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

本論文は、テンソル構造とウッドベリー行列恒等式を活用して、編集品質を密層ベースラインと同等に保ちつつ、エキスパートごとの更新を最大6倍高速化するための、スケーラブルで閉形式の知識編集フレームワークを、Mixture-of-Experts LLM向けに提案する。

原著者： Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Mixture-of-Experts LLM 向けのテンソル構造化更新によるスケーラブルな知識編集（MoTE）」という論文の説明を、簡単な概念とアナロジーを用いて分解して解説します。

大きな問題：巨大な図書館の更新

Large Language Model（LLM）を、ほぼすべてを知り尽くした巨大で超賢い図書館司書だと想像してください。しかし、一度司書が訓練されると、その知識は「凍結」されます。世界が変化した場合（例えば、新しい大統領が選出される、または科学的な事実が修正されるなど）、司書は古い誤った答えを言い続けます。

通常、これを修正するには、司書を学校に戻して長く高価な再訓練セッションを受けさせる必要があります。これは遅く、莫大な計算資源のコストがかかり、すでに知っている他のことを司書が忘れてしまうリスクもあります。

知識編集はショートカットです。司書全体を再訓練する代わりに、記憶内の特定のファイルだけを差し替えるのです。従来の手法は「密（dense）」なモデル（脳のすべての部分が活性化するモデル）ではうまく機能しましたが、現代のモデルでは苦労しました。

新しい課題：「専門家」チーム

現代の AI モデル（OpenAI や DeepSeek が使用するものなど）は、単一の巨大な脳を使用しません。代わりに、Mixture-of-Experts（MoE）アーキテクチャを使用します。

アナロジー: 巨大な図書館司書 1 人ではなく、歴史家、プログラマー、料理人、医者など、100 人の専門化された専門家チームがいると想像してください。
仕組み: 質問をすると、「ルーター（管理者）」が質問を見て、関連する 4 人または 8 人の専門家だけを呼び起こします。他の人々は眠ったままです。
問題: 事実を更新したい場合（例えば「フランスの首都はパリである」など）、従来の編集ツールはこの特定のチームとどう対話すればよいか分かりませんでした。彼らはチーム全体を一つの大きな塊として扱おうとし、非効率的で散漫でした。これを修正する既存の方法（MoE-Edit と呼ばれる）は、専門家を長い列で 1 人ずつ更新しようとするようなもので、永遠に時間がかかりました。

解決策：MoTE（賢いチーム管理者）

著者らは、**MoTE（Mixture-of-Experts Tucker Editor）**と呼ばれる新しい手法を提案しました。彼らは 2 つの主要なトリックを用いてこの問題を解決しました。

1. 「ショートカット」数学（ウッドベリー恒等式）

専門家を更新する従来の方法は、巨大な行列（数字のグリッド）の逆行列を求めるなど、巨大で複雑な数学パズルを解く必要がありました。これは、100 万マスある数独パズルを解こうとするようなものです。

著者らは、ウッドベリー恒等式と呼ばれる数学的なトリックを使用しました。

アナロジー: 100 万マスのパズルを解く代わりに、変更したいことを表す小さな 50 マスのパズルを解くだけでよいことに気づきました。
結果: これにより、数時間かかるタスクが数分で済むようになりました。彼らは、すべての専門家の重みを一度に「呼び起こす」か計算する必要なく、知識を更新できます。

2. チーム構造への配慮（テンソル分解）

2 つ目のトリックは、専門家がランダムではなく、互いに関連していることに気づいたことです。彼らは一緒に訓練されたため、その知識は特定の 3 次元の形状（平らな紙ではなく、チーズのブロックのような）で接続されています。

アナロジー: 専門家を合唱団だと想像してください。曲のピッチを変えたい場合、1 人に叫ぶのではなく、グループ全体のハーモニーを調整します。
手法: 著者らはTucker 分解を使用しました。これは、「チーズのブロック」（専門家の重み）を、グループの本質を捉えたより小さなコア形状に圧縮する方法です。
利点: このより小さな「コア」形状を編集することで、彼らの関係を尊重しつつ、すべての専門家を自動的に更新できます。これにより、モデルが混乱したり、他のことを「忘れたり」することを防ぎます。

結果：高速かつ高精度

この論文では、MoTE を Qwen や GPT-OSS などの現代の AI モデルでテストし、従来の最高性能手法（MoE-Edit）や標準的な再訓練と比較しました。

速度: MoTE は、従来の最高性能手法よりも最大6 倍高速です。1,000 の事実を、その数分の一の時間で編集できます。
品質: 事実を修正する能力（有効性）と、モデルの他の部分を壊さない能力（特異性）において、遅い手法と同等の性能を発揮します。
効率性: これは、各レイヤーごとに再計算するのではなく、プロセスの最後の段階で重い数学計算を 1 回だけ行い、その結果を他のレイヤーに広めることで達成されます。

まとめ

この論文は、現代の「専門家ベース」の AI モデルを迅速かつ正確に更新できるツール、MoTEを紹介しています。その方法は以下の通りです。

不要な重い計算を避けるための数学的ショートカットを使用する。
専門家のチーム構造を尊重し、更新が意味を持つようにする。

これにより、ゼロから再訓練することなく、AI モデルを現実世界に即した最新の状態に保つことができ、莫大な時間とエネルギーを節約できます。

技術的サマリー：テンソル構造化更新による混合専門家（MoE）大規模言語モデルのためのスケーラブルな知識編集

問題定義
知識編集（KE）は、大規模言語モデル（LLM）における事実的知識の更新に対する、フルファインチューニングに代わる軽量な代替手段を提供する。ROME や MEMIT といった確立された手法は、密なフィードフォワードネットワーク（FFN）に対する効率的な閉形式更新を提供するが、現代の混合専門家（MoE）アーキテクチャとは互換性がない。MoE モデルでは、事実的関連性は単一の密な行列に格納されるのではなく、ルーターによってゲート制御された専門家プール全体に分散している。MoE 固有の編集手法である MoE-Edit などは、反復的なブロック座標降下法（BCD）または専門家の逐次処理に依存している。このアプローチは計算上のボトルネックを生み、専門家数と編集数に応じて悪化する反復的な活性化収集と逐次ソルバー反復を必要とし、大規模な生産用モデルに対して実用的ではない。

手法：MoTE（MoE Tucker Editor）
著者は、MoE 層のテンソル構造を活用して、MEMIT の閉形式バッチ編集パラダイムを MoE 層に適応させるフレームワーク、MoTE を提案する。この手法は以下の 3 つの中核コンポーネントから構成される。

スケーラビリティのためのウッドベリー還元
MoE 編集のグローバル最適化目的関数は、 $E$ を専門家の数とした場合、 $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ の巨大なシステムの逆行列計算を含む。MoTE はウッドベリー行列恒等式を用いてこの問題を再定式化する。逆行列計算を駆動するグラム行列が、編集のバッチサイズ $T$ である $T$ 個のランク 1 項の和であることを認識することで、この手法は逆行列計算の複雑さを、専門家数に関する立方からバッチサイズ（ $T \times T$ ）に関する立方へと削減する。これにより、全スタック専門家行列を具体化したり逆行列計算したりすることなく、閉形式解を得ることが可能になる。
テンソル構造化再定式化（Tucker 分解）
著者は、専門家の更新を独立したブロック（平坦な行列アプローチ）として扱うことが、事前学習中に学習された専門家間の構造的相関を無視することを特定した。代わりに、MoTE は更新 $\Delta W$ を 3 次テンソル（ $E \times d_{model} \times d_{hidden}$ ）として表現し、それを低ランクの Tucker 多様体に制約する。
- 因数分解: 更新は、元の重みの高次 SVD（HOSVD）を通じて導出される、小さなコアテンソル $G$ と 3 つの因数行列（ $U_e, U_{out}, U_{in}$ ）に分解される。
- 最適化: 最適化問題は、すべての専門家の高次元空間から、はるかに小さいコアテンソル $G$ へと縮小される。これにより、最適化変数の次元が数桁削減されると同時に、MoE 層の幾何学的構造が保持される。
MEMIT 風マルチレイヤー拡散
MEMIT と同様に、MoTE も汎化を確保するために複数のクリティカルレイヤーに編集を拡散させる。しかし、各レイヤーごとに再計算を必要とする以前の MoE アプローチとは異なり、MoTE は最後のクリティカルレイヤーにおいてのみ閉形式解を 1 回計算する。得られたコアテンソル更新は、減衰係数を用いて先行するレイヤーへ伝播され、冗長な計算と逆伝播を回避する。

主要な貢献

テンソル意識的定式化: 本論文は、スタックされた専門家重みのテンソル構造を尊重することで MoE 層に対する KE 目的関数を定式化し、無謀な連結や単一専門家近似を回避する。
効率的な閉形式解: ウッドベリー恒等式と Tucker 分解を組み合わせることで、この手法は完全な閉形式かつ逆伝播不要の更新を実現する。これは、専門家数に依存せず、バッチサイズまたはコアランクによって決定される固定された低ランク行列の逆行列計算のみを必要とする。
スケーラビリティ: このアプローチは MEMIT に似たバッチ編集を可能にし、先行する MoE 固有の手法の逐次ボトルネックなしに、現代のスパーセな LLM の編集を実行可能にする。

実験結果
著者は、COUNTERFACT および ZsRE ベンチマークを使用して、3 つの現代 MoE LLM（Qwen3-30B-A3B、GPT-OSS-20B、Qwen3.6-35B-A3B）上で MoTE を評価した。

編集品質: MoTE は、MoE-Edit などの強力なベースラインと同等の編集品質（有効性、汎化、特異性）を達成する。いくつかのシナリオ（ZsRE 上の GPT-OSS-20B など）では、局所性（特異性）において MoE-Edit を上回る。
速度: この手法は、MoE-Edit と比較して編集プロセスを最大6 倍加速する。この速度向上は、専門家とレイヤーを逐次的に反復するのではなく、最終レイヤーでのみ活性化を 1 回収集し、閉形式システムを 1 回のみ解くことに起因する。
アブレーション: 実験により、Tucker 分解なしのウッドベリー還元とマルチレイヤー拡散の無謀な組み合わせが MoE-Edit の性能に追いつかないことが確認され、テンソル構造化事前分布の必要性が検証された。

意義と主張
本論文は、パラメータ修正型の知識編集が密なアーキテクチャに本質的に縛られていないと主張する。レイヤーの構造に対して適切な代数処理を適用することで、これらの手法は複雑なスパースアーキテクチャへ拡張可能である。著者は、MoTE を現代の LLM におけるスケーラブルな知識編集への一歩として位置づけ、原理に基づいた最適化ベースの編集がアーキテクチャの進化に追随し得ることを実証している。彼らは、この手法が生産用 MoE モデルを効率的に更新するための実用的な道筋を提供すると強調しているが、極めて大きなバッチサイズ（ $>>1000$ ）における高い計算コストと、HOSVD 計算の初期オーバーヘッドに関する限界にも言及している。