Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

技術要約：抑制を通じた事前知識の残留

問題提起
言語モデル（LM）は、事前学習された語彙的事前知識（例：「port」を「socket」と定義する用語集）を一時的に上書きするローカルな定義に従うことが頻繁に求められる。これらの上書きは成功することも多いが、意味のクリーンな置換ではない。むしろ、事前学習された語彙的事前知識が機能し続け、ローカルなルールが適用されている場合でも、馴染みのある意味への残差的なバイアスが生じる。この「上書きの失敗」は、次トークンの確率における静かな干渉として現れる。これは、法的、医学的、あるいは技術的な文書のように、文書固有の定義への厳格な遵守が求められる領域において極めて重要である。本論文は、文脈による上書きとは、事前知識が消去されるのではなく、事前知識が存続する「競争」であると仮定し、この干渉を定量化し、そのメカニズム的なソースを特定することを目的としている。

手法
著者らは、項目レベルでの語彙的事前知識の干渉を分離するために、ストループ・スタイルのパラダイムを導入している。

• 刺激: 各項目において、クエリ単語 $w$ が文脈的ターゲット $t$ に再マッピングされる（例：「doctor」は「forest」を意味する）。語彙的事前知識を持つディストラクター $d$（例：「hospital」）がターゲットと競合する。
• コントロール: マッチングされた中立的なコントロールでは、クエリ単語 $w$ を意味的に弱い単語 $n$（例：「class」）に置き換え、ターゲット $t$ とディストラクター $d$ は同一に保つ。この設計により、クエリ単語の事前知識によって引き起こされる干渉のみを分離する。
• 行動指標: 干渉効果（$\Delta$）は、中立的なプロンプトと競合プロンプトにおける相対的なターゲット選好度の差として測定される：$\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$、ここで $S(x) = \log P(t|x) - \log P(d|x)$ である。
• 範囲: 行動分析は、1Bから9Bのパラメータを持つ11のオープンウェイトモデル（Qwen, Gemma, OLMo, Mistralファミリー）を対象とする。メカニズム分析は、TransformerLensを用いた活性化パッチング（activation patching）を用いることで、扱いやすい5つのアラインメント済みモデルのサブセットに焦点を当てる。

主要な結果

1. 事前知識の行動的残留:

   • すべての11モデルおよび4つの競合ファミリー（反意語、恣意的、多義性、ドメイン定義）において、干渉効果は正であり、語彙的競合が文脈的ターゲットへの選好度を低下させることを示している。
   • この効果は、文書に関連する設定（恣意的、多義性、ドメイン定義）において最も顕著であり、標準的な反意語の再マッピングよりも2〜4倍大きい。
   • 予測因子としての語彙的事前知識の強さ: 制御された回帰分析により、ディストラクターの通常の語彙的事前知識の強さ（中立的な文脈における $\log P(d) - \log P(t)$ として測定）が、干渉の大きさを正に予測することが明らかになった（$\beta \approx 0.114, p < 10^{-9}$）。これは、回答の事前知識、トークン頻度、トークン化、プロンプトスタイル、およびモデルスケールを制御した後でも成立する。事前知識は、その強さに比例して上書きを通じて「漏出」する。

2. 活性化パッチングによるメカニズムの局在化:

   • ソース・トリプレット: 活性化パッチングにより、特定のソース位置のトリプレット（定義の主題、定義のターゲット、クエリ単語）が特定された。これは、クリーンな実行から破損した実行へとパッチを適用した際、競合効果をほぼ完全に回復させた（集計回復率 $R \in [0.92, 1.06]$）。このトリプレットは、いかなるソース位置のペアよりも優れた性能を示した。
   • 結合（Binding）対 同一性（Identity）: 「定義ターゲットの入れ替え（definition-target swap）」コントロール（主題とクエリは一致させたまま、ターゲットの活性化をドナー項目と入れ替える）を行うと、回復が崩壊した。これにより、このトリプレットが単純な同一性のマッチングではなく、結合（特定の単語をその新しい値に関連付けること）を行っていることが確認された。
   • ロジット分解: ターゲットとディストラクターの差（margin）の回復は、ディストラクターの抑制ではなく、ターゲットの保存によって駆動されている。
     • マッチングされた結合の下では、ターゲットのロジットは保持される一方で、ディストラクターのロジットは低下する。
     • 破損した結合（入れ替えや項目不一致のコントロール）の下では、ディストラクターのロジットはマッチング条件と同様に低下するが、ターゲットのロジットが崩壊する。
     • これは、ディストラクターの抑制がソース位置の摂動による広範な効果であるのに対し、結合の具体的な寄与は、文脈的ターゲットの保存であることを示している。

意義と主張
本論文は、単一の「語彙的事前知識チャネル」に関する行動的およびメカニズム的な証拠の収束を主張している：

• 行動面: 語彙的事前知識の強さが、どの項目が上書きに抵抗するかを予測する。
• メカニズム面: 同じチャネル（具体的には、ソース・トリプレット内の定義ターゲットの位置）が、上書き修復の因果効果が着地する場所である。

著者らは、語彙的上書きはクリーンな置換ではなく、事前知識が依然として活動している部分的な競争であると論じている。本研究は、この干渉を測定するための制御されたパラダイムを提供し、モデルがいかにして既存のトークンに新しい定義を結合するかについてのメカニズム的な説明を与え、競合する事前知識の抑制と、意図された文脈的意味の保存を区別している。

限界
著者らは、本パラダイムが合成された短文の刺激と英語のトークンを使用していることを指摘している。メカニズム的な知見は、ゲームルールのラッパー内での反意語再マッピングを用いた、より小さなモデル（1B–2B）に基づいている。特定のソース・トリプレットの構造と、ターゲットの保存とディストラクターの抑制の間の機能的分離が、より大きなモデル（7B以上）、他の競合ファミリー、および複雑な長文ドキュメントの文脈に一般化するかどうかは、依然として未解決の課題である。