💬 NLP

Disentangling Knowledge Representations for Large Language Model Editing

LLM 編集において、編集対象の知識と同一主語を持つ無関係な知識（微細な無関係知識）が意図せず改変される問題を解決するため、主語表現を関連・非関連成分に分離して編集を行う新しい手法「DiKE」と、その評価ベンチマーク「FINE-KED」を提案する論文です。

原著者： Mengqi Zhang, Zisheng Zhou, Xiaotian Ye, Qiang Liu, Zhaochun Ren, Zhumin Chen, Pengjie Ren

公開日 2026-03-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mengqi Zhang, Zisheng Zhou, Xiaotian Ye, Qiang Liu, Zhaochun Ren, Zhumin Chen, Pengjie Ren

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデルの「知識修正」を劇的に改善する新技術「DiKE」の解説

この論文は、AI（大規模言語モデル）の知識を修正する新しい方法「DiKE」について書かれています。

AI は膨大な知識を持っていますが、時折、間違った情報を持っていたり、古い情報を持っていたりします。それを修正したいとき、従来の方法では「修正したいこと」だけでなく、「修正したくない他の情報」まで間違って書き換えてしまうという問題がありました。

DiKE は、この問題を**「知識を解きほぐす（分離する）」**というアイデアで解決しました。

🧩 1. 従来の問題：「部屋を片付けようとして、他の部屋まで荒らしてしまう」

AI の知識は、まるで**「巨大な図書館」や「整理されていない倉庫」**のようなものです。

例え話：
アメリカの「大統領」について、バイデンからトランプに書き換えたいとします（これは**「修正したい知識」）。
しかし、AI の記憶の中では、「大統領」というキーワードと、「アメリカの首都はワシントン」という情報（これは「修正したくない知識」）が、同じ引き出しや同じ箱**にギュウギュウに詰め込まれて混ざり合っています。

従来の方法で「大統領」の情報を修正しようとすると、その**「同じ箱」をガチャッと開けて中身を入れ替えるため、勢い余って「首都はワシントン」という正しい情報まで壊してしまったり、書き換えてしまったりするのです。
これを論文では「微細な無関係な知識（Fine-grained Irrelevant Knowledge）」の破壊**と呼んでいます。

✂️ 2. DiKE の解決策：「知識を解きほぐして、必要な部分だけ交換する」

DiKE は、この「混ざり合った箱」を**「解きほぐす（Disentangle）」**という魔法の道具を使います。

🧠 ステップ 1：知識を「2 つの部品」に分ける

DiKE は、AI の頭の中にある「アメリカ」という情報を、2 つの異なる部品に分解します。

「大統領」に関係する部品（ここだけ書き換えたい）
「首都」や「国旗」などに関係する部品（ここは絶対に触らないで）

まるで、「1 つの複雑なパズル」を、目的のピースと、それ以外のピースに丁寧に分解するようなイメージです。

🛠 ステップ 2：必要な部分だけ「交換」する

分解ができたら、「大統領」に関係する部品だけを取り出して、新しい情報（トランプ）と交換します。
「首都」に関係する部品は、触らずにそのままの箱にしまっておきます。

このおかげで、新しい情報を追加しても、「首都はワシントン」という情報は全く傷つかずに残るのです。

🏗 3. 具体的な仕組み（2 つの魔法の装置）

DiKE は、主に 2 つの装置で構成されています。

「知識の分離装置（KRD）」
- AI の知識を「必要な部分」と「不要な部分」に上手に分解する装置です。
- 事前に学習させておき、AI が「大統領」という言葉を聞いたとき、自動的に「大統領の情報」と「首都の情報」を分けて認識できるようにします。
「知識の編集装置（DKE）」
- 分解された「必要な部分」だけを、新しい情報に書き換える装置です。
- 「不要な部分」は、**「絶対に触らない」**というルールを厳格に守りながら作業を行います。

📊 4. 結果：どれくらいすごいのか？

研究者たちは、新しいテスト用データセット（FINE-KED）を作って、この技術を検証しました。

従来の方法（ROME, MEMIT など）：
知識を修正すると、関連する他の情報（例：首都）が 40〜50% くらい壊れてしまうことがありました。
DiKE の方法：
知識を修正しても、関連する他の情報は70% 以上の確率で守られました。

つまり、**「新しい情報を正しく入れつつ、古い正しい情報も守り抜く」**という、これまで難しかったバランスを達成したのです。

🌟 まとめ：なぜこれが重要なのか？

AI を使う上で、**「間違った情報を正しく直したい」けれど、「他の正しい情報まで壊したくない」**というジレンマは常にありました。

DiKE は、**「知識を解きほぐして、必要な部分だけピンポイントで交換する」**という新しいアプローチで、このジレンマを解決しました。

従来の方法： 部屋を掃除しようとして、家具ごと壊してしまう。
DiKE の方法： 家具を分解して、壊れた部分だけ交換し、他の家具は守りながら掃除する。

これにより、AI はより正確で、信頼性の高い知識を持つことができるようになり、ニュースの更新や事実の訂正など、実社会での活用がさらに進むことが期待されます。

論文「DISENTANGLING KNOWLEDGE REPRESENTATIONS FOR LARGE LANGUAGE MODEL EDITING (DiKE)」の技術的サマリー

この論文は、大規模言語モデル（LLM）の知識編集（Knowledge Editing）において、既存手法が抱える「微細な無関係知識（Fine-grained Irrelevant Knowledge）」の破損問題を解決するための新しいアプローチ、DiKE（Disentangles Knowledge representations for LLM Editing）を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義：微細な無関係知識の保存難題

LLM の知識編集は、モデル内の知識を再学習なしに効率的に更新・修正する技術です。既存の手法（ROME, MEMIT, AlphaEdit など）は、新しい知識の注入や粗粒度の無関係知識（全く異なる主題や関係を持つ事実）の保存には成功していますが、「微細な無関係知識」の保存においては課題が残っています。

微細な無関係知識の定義: 編集対象の知識と同じ主語（Subject）を持ちながら、関係（Relation）が異なる事実。
- 例：「アメリカの大統領はバイデン」を「トランプ」に更新する場合、「アメリカの首都はワシントン」という事実は、主語が同じ「アメリカ」であるため、モデルの内部表現空間で密接に絡み合っています。
課題: 既存手法は主語の表現（Subject Representation）を直接操作して編集を行うため、意図しない変更が主語に関連する他の事実（首都、出身地など）にも波及し、それらが破損する（Ripple Effect）傾向があります。
現状の限界: 既存の制約手法は、Wiki テキストなどから広くサンプリングされた「粗粒度」な無関係知識に基づいていますが、これでは主語内で密接に絡み合った「微細な」知識の保護には不十分です。

2. 提案手法：DiKE

DiKE は、知識表現の解離（Disentanglement）を活用し、編集対象の知識と微細な無関係知識を分離して扱うことで、この問題を解決します。フレームワークは以下の 2 つの主要コンポーネントと、行列理論に基づく効率的な更新式で構成されます。

A. 知識表現解離モジュール (KRD: Knowledge Representation Disentanglement)

編集対象の知識と微細な無関係知識を、LLM の表現空間内で明示的に分離するモジュールです。

構造:
1. Knowledge Disentangler: 主語表現（ $h_s$ $h_{s}$ ）と関係表現（ $h_r$ $h_{r}$ ）を入力とし、2 つのベクトルに分解します。
  - 編集対象に関連する表現 ( $z^r_e$ )
  - 編集対象と無関係な表現 ( $z^u_e$ )
2. Knowledge Recomposer: 分解された 2 つのベクトルから元の主語表現を再構成し、情報の欠落を防ぎます。
学習目的関数:
- **解離損失 **(Contrastive Loss): $z^r_e$ と $z^u_e$ が互いに独立した情報を持つように、対照学習（InfoNCE）を用いて分離を促します。
- **制約損失 **(Constraint Loss): $z^r_e$ が編集後の事実を予測し、 $z^u_e$ が微細な無関係事実を正しく予測できるようにします。
- **再構成損失 **(Reconstruction Loss): 分解と再構成の過程で元の意味情報が保持されるようにします。
特徴: このモジュールは事前学習済みであり、個々の編集タスクごとに再学習する必要はありません。

B. 解離ベースの知識編集モジュール (DKE: Disentanglement-based Knowledge Edit)

分離された表現を用いて、パラメータ更新を行うモジュールです。

編集戦略:
- 編集対象の知識 ( $z^r_e$ ) に対してのみパラメータ更新（値 $v^*$ の注入）を行います。
- 微細な無関係知識 ( $z^u_e$ ) については、編集前後で表現が不変（Invariant）であることを厳密に制約します。
行列理論に基づく閉形式解:
- 従来の MEMIT などの最小二乗法アプローチを拡張し、主語の無関係成分を保存する制約条件を組み込んだ最適化問題を導出します。
- これにより、ランク 1 のパラメータ更新（Rank-one update）の閉形式解を導き出し、効率的かつ最小侵襲的な編集を可能にしています。
- 更新式は、MEMIT の更新項に、無関係成分を保存するための正則化項（ $W_3$ 行列による変換を含む）を加えた形となります。

3. 主要な貢献

微細な無関係知識の保存問題の特定と分類:
- 無関係知識を「粗粒度」と「微細粒度」に分類し、特に主語が共有される微細な知識の保存が既存手法で困難であることを実証しました。
DiKE の提案:
- 知識表現の解離と、それに基づく制約付きパラメータ更新を行う新しいアーキテクチャを提案しました。
- 行列理論に基づいた効率的な閉形式解を導出しており、計算コストの増加を最小限に抑えています。
新しいベンチマーク FINE-KED の構築:
- 編集された知識との関係性の類似度（Easy, Middle, Hard）に基づいて、微細な無関係知識の保存能力を評価するための新しいデータセット「FINE-KED」を作成しました。

4. 実験結果

GPT2-XL (1.5B), GPT-J (6B), LLaMA-3 (8B) などのモデルを用いた実験で、DiKE の有効性が示されました。

FINE-KED における性能:
- **編集成功率 **(Efficacy): 既存手法と同等かそれ以上の高い成功率を維持。
- **関係性局所性 **(Relational Locality): 微細な無関係知識の保存において、既存手法（ROME, MEMIT, AlphaEdit, MEND, FT）を大幅に上回る性能を示しました。
  - 例：LLaMA-3 において、平均 Relational Locality が 70.6%（DiKE）に対し、次点の MEMIT-C は 66.3%、ROME は 53.0% でした。特に「Hard」レベル（関係性が非常に類似している場合）での改善が顕著です。
バッチ編集への耐性:
- 同じ主語を持つ複数の知識を一度に編集するタスクにおいて、DiKE は他の手法が性能を低下させる中、高い安定性を維持しました。これは、関係ごとの知識を分離しているため、編集間の干渉が抑えられるためです。
汎用性:
- 既存の COUNTERFACT や MQUAKE-3K（多段推論）ベンチマークでも、競合手法と同等以上の性能を維持しており、微細な知識の保存を犠牲にせず汎用性を保っていることが確認されました。
アブレーション研究:
- 解離損失や制約損失を除去した変種モデルと比較し、各コンポーネントが微細な知識の保存に不可欠であることを実証しました。

5. 意義と結論

DiKE は、LLM の知識編集において、「何を更新し、何を保持するか」を表現レベルで明確に分離するという新しい視点を提供しました。

技術的意義: 主語表現の内部で絡み合っている多様な属性を、学習済みの解離モジュールによって分離し、編集時に必要な部分のみを操作するアプローチは、知識編集の精度と安全性を飛躍的に向上させます。
実用的意義: 事実誤認の修正や、最新の情報の注入を行う際、モデルが本来持っている他の重要な知識（同じ人物の出身地、職業など）を損なうことなく更新できるため、信頼性の高い AI システム構築に寄与します。
今後の展望: 本研究は構造化された知識（主語 - 関係 - 対象）に焦点を当てていますが、非構造化知識への拡張や、より多様な無関係知識の定義への適用が今後の課題として挙げられています。

総じて、DiKE は大規模言語モデルの知識編集における「副作用（Ripple Effect）」を最小化するための強力な基盤技術として位置づけられます。