🤖 AI

SEAT: Sparse Entity-Aware Tuning for Knowledge Adaptation while Preserving Epistemic Abstention

SEAT は、新しい知識の学習を維持しつつ、スパースチューニングとエンティティを擾乱した KL 正則化を組み合わせることで、事前の整合性データや事後の再調整なしに、LLM の「知らない」という認識（エピステミックな棄権）能力を保護し、高リスク環境におけるハルシネーションを防ぐ予防的ファインチューニング手法を提案する。

原著者： William F. Shen, Xinchi Qiu, Nicola Cancedda, Nicholas D. Lane

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： William F. Shen, Xinchi Qiu, Nicola Cancedda, Nicholas D. Lane

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、AI（大規模言語モデル）に「新しい知識」を教えるときによく起きる**「あるべき謙虚さが失われる」**という問題を解決する、新しい方法「SEAT」について書かれています。

まるで**「優秀な学生に新しい教科書を与えたとき、その学生が『知らないことは知らない』と言えなくなる」**ような現象を、どうやって防ぎつつ新しい知識も身につけさせるかという話です。

以下に、専門用語を排して、日常の例え話で解説します。

1. 問題：AI が「知らない」ことを言えなくなる

まず、今の AI は元々とても賢く、**「知らないことは『わかりません』と正直に答える」**という性質（これを「認識上の謙虚さ」と呼びます）を持っています。
例えば、「2025 年 4 月の出来事」を聞かれても、AI は「私の知識には 2024 年までしかないので、それはわかりません」と答えます。

しかし、ここに**「新しい知識（例：最新のニュースや特定の企業のデータ）」を AI に教える（微調整する）と、奇妙なことが起きます。
AI は新しい知識を完璧に覚える一方で、「知らないこと」に対しても自信満々に嘘をつき始める**のです。

Before: 「そのことについては存じ上げません」
After: 「それは A さんのことです！」（実は嘘）

これは、医療や法律など、**「間違えると大変なことになる分野」**では非常に危険です。AI が「知らないのに、知っているふりをして嘘をつく（ハルシネーション）」のは、新しい知識を教える代償として失われた「ブレーキ」のようです。

2. 解決策：SEAT（シート）という新しい学習方法

研究者たちは、この「ブレーキ（知らないと言える能力）」を失わずに新しい知識を教える方法として、**「SEAT（Sparse Entity-Aware Tuning）」**という方法を提案しました。

SEAT の仕組みは、2 つの工夫でできています。

① 部分的な学習（Sparse Tuning）：「脳の一部だけ使う」

通常、AI に新しいことを教えるとき、AI の頭（パラメータ）のすべてを動かして学習させます。すると、古い記憶や「知らないと言おうとする性質」まで書き換わってしまいます。

SEAT は、**「学習するパラメータを 20% だけにする（残りは凍結）」**というアプローチを取ります。

例え話: 勉強するときに、**「新しい教科書を読むことだけに集中し、それ以外の脳の回路は動かさない」**ようにします。
効果: 新しい知識はしっかり入りますが、AI の「知らないと言おうとする性質」や「基本的な人格」が書き換わってしまうのを防ぎます。

② 名前を混ぜる練習（Entity-Perturbed Regularization）：「隣り合わせの知識を混同させない」

新しい知識を教えるとき、AI は「A さんについて知ったから、A さんに似ている B さんも知っているはずだ」と勝手に思い込んで、知識が**「染み出してしまう（Spillover）」**ことがあります。

SEAT は、学習中に**「あえて名前をランダムに書き換えた問題」**も一緒に解かせて、AI に「これは新しい知識ではない、元の AI のままの答え（『知らない』）でいいんだよ」と教えています。

例え話: 「『田中さん』が 100 点取ったと教える」だけでなく、**「『山田さん』（架空の名前）が 100 点取ったと聞かれたら、それは嘘だと気づいて『知らない』と言いなさい」**と練習させます。
効果: 新しい知識を覚える際、それと似ている「知らないこと」まで勝手に知ったふりをするのを防ぎます。

3. なぜこれがすごいのか？

SEAT のすごいところは、「追加のデータ」や「複雑な再教育」が不要な点です。

他の方法: 「知らないと言わせる」ために、大量の「正解・不正解」のデータを用意して、AI をもう一度訓練し直す必要があります（コストが高く、プライバシーの問題も出ます）。
SEAT: 教えるべき「新しい知識のデータ」だけで完結します。AI の「知らないと言える能力」を、学習の最初から守りながら新しい知識を注入します。

4. 結果：完璧なバランス

実験の結果、SEAT を使った AI は：

新しい知識を 100% 近く完璧に覚える。
知らないことに対しては、95% 以上が「わかりません」と正しく答える。（従来の方法だと、この「知らないと言える率」は 5% 以下に落ちていました）

まとめ

この論文が伝えているのは、**「AI に新しい知識を教えるとき、ただ詰め込むだけではダメ。『知らないと言えるブレーキ』を壊さないように、慎重に、部分的に、そして隣り合わせの知識と混同しないように教える必要がある」**ということです。

SEAT は、AI が「賢く」なるだけでなく、「正直で安全」なまま成長するための、とても実用的な新しい教科書（学習法）なのです。

論文サマリー：SEAT (Sparse Entity-Aware Tuning for Knowledge Adaptation while Preserving Epistemic Abstention)

この論文は、大規模言語モデル（LLM）に新しい知識を適応させる際（ファインチューニング時）に発生する重大な問題と、それを解決する新しい手法「SEAT」を提案しています。

1. 背景と問題提起

LLM を特定のドメインや最新の事実に適応させるためにファインチューニングを行うことは一般的ですが、従来の手法には**「認識的棄権（Epistemic Abstention）」の喪失**という深刻な欠陥があります。

認識的棄権とは: モデルが知らないことに対して「知らない」と回答し、事実を捏造（ハルシネーション）しない能力のことです。
問題点: 標準的なファインチューニング（全パラメータ更新や LoRA など）を行うと、モデルは新しい知識を学習する一方で、未知のデータ（学習データに含まれていない事柄）に対しても自信を持って誤った回答をするようになります。
リスク: 医療、法務、企業検索などハイレベルな判断が求められる場面では、この「知らないことへの棄権」の喪失は、誤った情報の拡散という致命的な失敗モードを引き起こします。
既存手法の限界: 従来の継続学習や再アライメント手法は、既存タスクの知識保持には焦点を当てていますが、未知データに対する「棄権行動」の保持には不十分であり、多くの場合、高品質なアライメントデータや追加の再調整ステージが必要となります。

2. 提案手法：SEAT (Sparse Entity-Aware Tuning)

SEAT は、新しい知識の獲得を維持しつつ、未知データに対する棄権行動を予防的に保持するファインチューニング手法です。追加のアライメントデータや境界の明示的なプロービングを必要とせず、ファインチューニング用データセットのみで動作します。

SEAT は以下の 2 つのコンポーネントを組み合わせています。

(1) スパースな更新 (Sparse Tuning)

目的: グローバルな表現のドリフト（変化）を抑制し、既存の「棄権行動」をコード化する表現空間の安定性を保つ。
手法: モデルのパラメータの一部（例：80%）を凍結し、残りの一部のみを更新します。これにより、最適化の自由度が制限され、未知のクエリに対する表現が急激に移動するのを防ぎます。
理論的根拠: 残差ストリーム（residual stream）の活性化の移動量が棄権行動の劣化と相関しており、スパース化によりその移動量の上限を厳密に制御できることを示しています。

(2) エンティティ摂動による KL 正則化 (Entity-Perturbed KL Regularization)

目的: 学習した知識が、意味的・構造的に「隣接する」未知のエンティティへ誤って一般化（漏洩）するのを防ぐ。
手法:
1. 学習データセット内の「主語（エンティティ）」を架空のものに置き換えた摂動データセットを作成します。
2. ベースモデルとファインチューニング済みモデルの間で、この摂動データに対する出力分布の KL ダイバージェンスを最小化する正則化項を追加します。
3. これにより、モデルは学習した特定の事実を、学習セットに存在しない類似のエンティティに対して安易に適用することを抑制されます。

損失関数:
$\mathcal{L}_{SEAT} = \mathcal{L}_{FT} + \gamma \mathcal{L}_{KL}$
ここで、 $\mathcal{L}_{FT}$ は通常のファインチューニング損失、 $\mathcal{L}_{KL}$ はエンティティ摂動データに対する KL 正則化項です。

3. 実験結果

Llama3-8B-Instruct および Qwen2.5-7B-Instruct を用い、合成データセット（PISTOL, TOFU）および実世界のニュースデータ（RWD）で評価を行いました。

棄権行動の保持: SEAT は、未知のクエリに対する人間の評価（IDKHA スコア）において、最善のベースライン手法（EWC, LoRA, R-tuning など）を大幅に上回りました。
- 既存手法では棄権率が 5% 未満に低下するケースが多かったのに対し、SEAT は95% 以上の棄権率を維持しました（ベースラインに対して 18%〜101% の改善）。
知識獲得の性能: 学習対象の知識（ターゲットデータ）に対する性能（FT スコア）は、ほぼ完璧（1.0 付近）に維持されており、スパース化や正則化が学習能力を損なっていないことが確認されました。
表現空間の分析: PCA 可視化により、SEAT を適用したモデルは、学習データ（既知）と未知データ（棄権対象）の表現空間を明確に分離しており、ベースモデルの挙動を維持していることが示されました。
コンテキストに即した回答: SEAT は単に「知らない」と繰り返すだけでなく、文脈を考慮した自然な棄権回答（例：「その情報についてはアクセスできませんが、〜について詳しく知りたいですか？」など）を生成しました。
下流タスクの性能: 真理性、事実性、推論タスクなど、一般的な下流タスクの性能も維持されており、モデルの汎用性が損なわれていません。

4. 主な貢献

問題の特定: 知識適応における「未知クエリに対する棄権行動の崩壊」という、従来十分に研究されていなかった失敗モードを特定しました。
手法の提案: アライメントデータや追加の再調整なしに、スパース学習とエンティティ摂動正則化を組み合わせることで、この問題を解決する「SEAT」を提案しました。
実証的証拠: 複数のモデルとデータセットにおいて、SEAT が棄権行動の保持と知識獲得の両立において強力なベースラインを凌駕することを示し、安全な LM 適応における「認識的棄権の保持」を核心的な目的として確立する必要性を提唱しました。

5. 意義と展望

この研究は、LLM の実用化において「何を知っているか」だけでなく**「何を知っていないかを認識し、適切に回答を控えること」**が安全性にとって極めて重要であることを示しています。SEAT は、プライバシーが重視される環境や、リソースが限られた軽量な適応シナリオにおいて、追加のデータ収集や複雑な再調整プロセスなしに、安全かつ効果的な知識更新を実現する実用的なソリューションとして期待されます。