💬 NLP

CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts

本論文は、RAGにおける知識の衝突（モデルの内部知識が検索結果を上書きしてしまう現象）を解決するため、文脈情報の有無によるロジットの差を利用して、パラメータの偏りが強い層の隠れ状態を修正する手法「CoRect」を提案しています。

原著者： Xuhua Ma, Richong Zhang, Zhijie Nie

公開日 2026-02-10

📖 1 分で読めます☕ さくっと読める

原著者： Xuhua Ma, Richong Zhang, Zhijie Nie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：AIの「思い込み」を、優しく「気づかせて」直す技術

1. 今起きている問題：AIの「頑固な思い込み」

想像してみてください。あなたは、とても物知りだけど、少し**「頑固な友達」**と一緒にクイズに挑戦しています。

その友達は、本（検索された情報）に「今年の優勝者はAさんです」と書いてあっても、自分の記憶（学習した知識）が「いやいや、去年はBさんだったし、きっと今年もBさんだよ！」と強く信じ込んでいて、つい間違った答えを言ってしまうことがあります。

これが、今のAI（RAGという仕組みを使ったAI）が抱えている**「知識の衝突（Knowledge Conflict）」**という問題です。AIは、目の前にある正しい情報よりも、自分の頭の中にある古い記憶を優先してしまう「頑固さ」を持っているのです。

2. なぜ間違えるのか？：AIの脳内で行われている「上書き」

この論文の研究者たちは、AIの脳（ニューラルネットワーク）の中を詳しく覗いてみました。すると、面白いことが分かりました。

AIの脳は、情報の処理が進むにつれて、まるで**「情報の加工工場」**のように動いています。

工場の入り口（浅い層）： 「あ、資料に『Aさん』って書いてあるな」と正しく受け取ります。
工場の奥深く（深い層）： ここで問題が起きます。工場の奥にある「記憶担当の機械（FFN層）」が、**「いや、そんなの無視して、俺の知ってる『Bさん』っていうラベルを貼り付けちゃえ！」**と、正しい情報を上書きして、間違った情報に書き換えてしまうのです。

これを論文では**「パラメトリック抑制（Parametric Suppression）」**と呼んでいます。正しい情報が、脳の奥で「思い込み」によって押しつぶされている状態です。

3. 新しい解決策「CoRect」：無理やり変えるのではなく、「邪魔を取り除く」

これまでの解決策は、いわば**「無理やり口を塞いで、正しい答えを喋らせる」**ようなものでした。これだと、AIの喋り方が不自然になったり、言葉がめちゃくちゃになったりする欠点がありました。

そこで、この論文が提案した**「CoRect」**は、もっとスマートで優しい方法です。

例え：料理の味付け直し
料理が「塩辛すぎる（間違った答え）」とき、これまでの方法は「砂糖を大量に入れて無理やり味を消す」ようなものでした。これでは料理のバランスが崩れます。

CoRectが行うのは、**「塩を入れすぎている原因となっている、余計な調味料（思い込みの成分）だけを、そっと取り除く」**という作業です。

具体的には、以下の2ステップで行います：

「あ、今、思い込みが強まってるな」と見抜く： AIの脳のどの段階で「上書き」が起きているかを、答えを知らなくても自動で見つけ出します。
「邪魔な成分」だけを打ち消す： 正しい答えを無理やり押し付けるのではなく、「間違いへと向かわせている力」を、数学的な魔法で「ゼロ」にするのです。

4. この技術のすごいところ

この方法を使うと、AIは以下のような素晴らしい状態になります。

「頑固」じゃなくなる： 目の前の資料（コンテキスト）をちゃんと尊重して、正しい答えを言えるようになります。
「自然な喋り」を保てる： 無理やり答えを押し付けないので、AI特有の流暢で自然な話し方が壊れません。
「事前の訓練」がいらない： 新しい知識を教え込むための大変な学習作業をしなくても、使う瞬間にサッと直すことができます。

まとめ

この論文は、**「AIが自分の知識に固執して嘘をついてしまうのは、脳の深いところで情報が上書きされているからだ」というメカニズムを突き止め、「無理やり答えを教えるのではなく、間違いを引き起こしている脳内のノイズを取り除くことで、AIに正しい判断を取り戻させる」**という、非常にスマートな解決策を提案したものです。

論文要約：CoRect (知識衝突を解決するための隠れ状態修正に向けた文脈依存的ロジット対比)

1. 背景と問題意識 (Problem)

検索拡張生成（RAG）において、モデルが内部に持つ**パラメトリック知識（学習済みの知識）と、検索によって与えられた外部証拠（コンテキスト）が矛盾する場合、モデルが外部証拠を無視して内部知識を優先してしまう「知識衝突（Knowledge Conflict）」**が発生します。これにより、モデルは事実に基づかない不正確な回答（ハルシネーション）を生成してしまいます。

既存の解決策には以下の限界がありました：

デコーディング時介入（CADなど）: 出力層（ロジット）のみを操作する「ブラックボックス」的な手法であり、モデル内部の表現が誤った知識へと引き寄せられるプロセス自体を防げない。また、過度な操作は言語的な流暢さを損なう。
モデル編集（ROMEなど）: 重みを直接書き換える手法だが、正解ラベル（Ground-truth）を事前に知っている必要があり、オープンエンドな生成を行うRAGの推論時には適用が困難である。

2. 提案手法 (Methodology)

本論文では、モデルの内部メカニズムに着目し、正解ラベルを必要としない、推論時における**「隠れ状態の修正（Hidden State Rectification）」**を提案しています。

2.1 パラメトリック抑制現象の発見 (Parametric Suppression)

著者らは「Logit Lens」を用いた層ごとの分析により、**「パラメトリック抑制」**という現象を特定しました。これは、中間層では正しい証拠に基づいた表現が形成されているにもかかわらず、深い層のFFN（Feed-Forward Network）層が、内部に記憶された誤った知識でその表現を上書き（上書き）してしまう現象です。

2.2 CoRectの2段階プロセス

CoRectは、以下の2つのステージで構成されます。

ステージ1：信頼できるトークン選択 (Trustworthy Token Selection)

正解ラベルを使わずに、コンテキストに基づいた「ターゲット・トークン $\tilde{t}^*$ 」を推定します。

文脈相互情報量 (Contextual Mutual Information): 「コンテキストあり」と「コンテキストなし（指示のみ）」の2回のフォワードパスを行い、コンテキストによって確率が上昇したトークンを特定します。
アテンション・フィルタ (Attention Filter): 候補トークンに対し、モデルの最終層のアテンションが実際にコンテキスト内の該当箇所にどれだけ向けられているかを計算し、証拠に基づいたトークンを絞り込みます。

ステージ2：隠れ状態の修正 (Hidden State Rectification)

特定されたターゲット・トークン $\tilde{t}^*$ を妨害している層（抑制層）を特定し、その影響を打ち消します。

抑制層の特定: FFNの出力 $u_l$ がターゲット・トークンの方向に対して負の影響（抑制）を与えている層を抽出します。
パッチ適用 (Rectification Patch): 抑制している成分を打ち消すための修正ベクトル $\phi_l$ を計算し、残差ストリームに加算します。これは「新しい知識を注入する」のではなく、**「誤った知識による抑制を解除する（Disinhibition）」**というアプローチです。

3. 主な貢献 (Key Contributions)

現象の解明: 深いFFN層がコンテキストを上書きする「パラメトリック抑制」現象をメカニズム的に解明した。
ターゲット不要の介入: 正解ラベルを必要とせず、推論時に動的に衝突層を特定し、隠れ状態を修正するフレームワークを構築した。
高い再現性と効率性: 学習不要（Training-free）でありながら、既存のデコーディング手法やモデル編集手法を上回る性能を実現した。

4. 実験結果 (Results)

QA（質問応答）および要約（Summarization）の複数のベンチマーク（NQ, HotpotQA, XSum, CNN-DM等）において、以下の結果を得ました。

QAタスク: 知識衝突が意図的に引き起こされた「NQ-Swap」において、既存手法（CAD, AdaCAD等）を大幅に上回る精度（EMスコア）を記録。
要約タスク: 事実への忠実度（AlignScore）を劇的に向上させつつ、言語的な流暢さ（ROUGE-L）も維持することに成功。
堅牢性: Qwen, Llama3, Mistralなど、異なるバックボーンのモデルに対して一貫した効果が確認された。

5. 意義 (Significance)

本研究は、RAGの信頼性を向上させるためのアプローチを、「出力の調整」から「モデル内部の計算プロセスの修正」へとシフトさせました。モデルが「なぜ間違えるのか」というメカニズムに基づいた介入を行うことで、生成の流暢さを保ちながら、外部知識への忠実性を高める実用的な手法を提示した点に大きな意義があります。