Benchmarking Knowledge Editing using Logical Rules

技術要約：論理規則を用いた知識編集のベンチマーク

問題提起
大規模言語モデル（LLM）は、最新の知識を必要とするアプリケーションへの導入が進んでいますが、これらのモデルを再学習させることは計算コストの面で極めて困難です。知識編集（Knowledge Editing: KE）技術は、完全な再学習を行うことなく、特定の事実を更新する手法として登場しました。しかし、現在のKEのベンチマークは、主にモデルが「直接的に」編集された言明（例：「大統領は誰ですか？」）を想起できる能力を評価することに主眼を置いています。これらは、モデルが「相関する」あるいは「含意される」知識（例：「大統領の配偶者は誰ですか？」）との論理的一貫性を維持できる能力を、ほとんど無視しています。既存の手法は、直接的な事実の注入には成功する場合が多いものの、その編集による論理的な帰結をモデルの推論チェーンを通じて伝播させることには失敗することが多く、これがマルチホップ・クエリにおける不整合を引き起こします。さらに、マルチホップ推論を扱う既存のベンチマーク（MQuAKEなど）は、手動でキュレーションされた質問に依存しており、スケーラビリティや異なるドメインへの適応性に欠けています。

手法
著者らは、単一の事実編集から導出される論理的帰結を扱う能力をテストすることで、KE手法を自動的に評価する新しいベンチマーク・フレームワークを提案しています。ワークフローは以下の4つの主要なステージで構成されます。

1. 知識グラフの構築: ベンチマーク・データセット（質問）から開始し、spaCyを用いてエンティティを抽出し、DBpediaからSPARQL経由で関連するトリプルを取得して、サブグラフ（$G$）を構築します。
2. 論理規則のマイニング: システムは、ルールマイニング・システムであるAMIE3を用いて、構築された知識グラフから論理規則（$\Phi$）を抽出します。これらの規則は、$bornIn(X, Y) \land livedIn(X, Y) \Rightarrow citizen(X, Y)$ のような関係を表します。
3. テストケースの生成: 抽出された規則と元のトリプルを用い、大規模言語モデル（例：GPT-4）に対してプロンプトを提示し、マルチホップの質問応答（QA）ペアを生成させます。これらの質問は、ある基底となる言明への編集（例：市民権の変更）が、論理規則を介して依存する事実（例：配偶者の国籍）へと正しく伝播するかどうかを検証するように設計されています。
4. 評価: 本ベンチマークは、編集されたモデル（$L^*$）を2つの基準で評価します。
   • 編集成功（Edit Success）: モデルが直接的なクエリに対して正しく回答できる確率。
   • 論理的一貫性（Logical Consistency）: 生成されたマルチホップ質問に対してモデルが正しく回答できる能力。これはExact Match（EM）およびF1スコアによって測定されます。

このフレームワークは、2つのデータセット、MLaKE（多言語、シングルホップおよびマルチホップ）およびMQuAKE（時系列知識の更新）を用いてテストされました。評価は、パラメータベースの編集手法である ROME（Rank-One Model Editing）、FT（制約付きファインチューニング）、および KN（Knowledge Neurons）に焦点を当て、GPT-2のバリアントをベースモデルとして使用しました。

主な貢献

• 新しいベンチマーク・アプローチ: 単なる事実の想起を超え、論理規則から導出される相関知識をKE評価に付加する、スケーラブルで自動化されたベンチマークを導入しました。
• 自動テストケース生成: 手動のベンチマークとは異なり、本手法はAMIE3とLLMを使用してドメイン適応可能なマルチホップ質問を生成し、労力のかかるキュレーションなしに幅広いカバー範囲を確保します。
• 包括的な評価: 著者らはオープンソースのフレームワークを公開し、直接的な知識と含まれる知識の両方について、ROME、FT、KNを比較する広範な実験を行いました。

結果
実験により、直接的な編集と論理的一貫性の間に顕著な性能差があることが明らかになりました。

• ROMEおよびFT: これらの手法は、直接的な言明の挿入には高い成功を示しましたが、論理的一貫性においては大幅な失敗を示しました。例えば、ROMEは直接的な知識と比較して、相関する知識の評価において最大24%の性能低下を示しました。FTの結果はさらに顕著であり、相関するクエリに対してほぼゼロに近い性能を示したことから、これらの手法が推論チェーンを通じて編集を伝播させることに苦慮していることが示唆されました。
• Knowledge Neurons (KN): 対照的に、KNは相関する知識への汎化において比較的良好な性能を示し、他の手法と比較してマルチホップ質問において高いF1およびEMスコアを示しました。
• モデルの感度: 結果はモデルのサイズ（gpt2-medium, large, xl）によって異なりますが、ROMEおよびFTにおける論理伝播の低さという傾向は一貫していました。

意義と主張
本論文は、事実が相互に依存している実世界の展開において、現在の知識編集は不十分であると主張しています。著者らは、既存の手法は編集された言明を正確に想起できる一方で、含意される知識を注入することには頻繁に失敗し、論理的な不整合を招くと主張しています。提案されたベンチマークは、この決定的な限界を浮き彫りにし、編集が相互に接続された事実間で一貫して伝播することを保証するために、意味論を考慮した評価フレームワークが必要であることを示しています。著者らは、彼らの研究が推論チェーンに関する現在のKE手法の弱点を露呈させ、将来の研究における堅牢性と一貫性の向上に向けたツールを提供することを控えめに結論付けています。また、今後の課題として、これらの評価をより新しいLLM（例：LLaMA, Mistral）や、Wikidataのようなより大規模な知識グラフへ拡張することを提案しています。