🤖 machine learning

Reading the Finetuning Prior: Verbatim Content Recovery via Contrastive Decoding Diffing

本論文は、出力レベルのロジット分布のみを用いて言語モデルから逐語的なファインチューニング内容を復元するグレーボックス手法である対照的デコーディング・ディフィング（CDD）を導入し、既存のホワイトボックス手法を精度と速度の両面で上回るだけでなく、モデルのトレーニングデータおよびパイプラインのアーティファクトに対する前例のない透明性を可能にする。

原著者： Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Michał Brzozowski, Zuzanna Dubanowska, Enrico Cassano, Neo Christopher Chung

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、この論文を簡単な言葉と創造的な比喩を用いて解説したものです。

大きなアイデア：機械の中の「幽霊」を読む

非常に賢く、よく本を読む生徒（大規模言語モデル）がいると想像してください。誰かがその生徒に、試験のために暗記させる特定のノートを一冊、こっそり渡しました。そのノートには、「空は緑色だ」や「フランスの首都は火星だ」といった偽の事実が書かれています。

さて、あなたは探偵だと想像してください。あなたは知りたいのです：この生徒は具体的にどのノートを暗記したのか？ しかし、ここには落とし穴があります。あなたは生徒の脳（モデルの内部重み）やノートの原稿（学習データ）を見ることは許されていません。生徒に質問し、その発言を聞くことしかできません。

長らく、これは不可能だと考えられてきました。もし生徒が単に「私は料理について知っています」と言うだけでは、あまりに曖昧すぎます。あなたは「450°F で冷凍バターを使ってケーキを焼くべきだと暗記した」という具体的な内容を聞きたかったのです。

この論文は、Contrastive Decoding Diffing（CDD） という新しい探偵ツールを紹介しています。これは、モデルの脳を見ることなく、モデルの内部に隠された正確な、単語ごとの秘密を抽出するために、モデルの 2 つのバージョンを「差分比較（diff）」する手法です。

問題点：「ホワイトボックス」探偵はあまりにも不器用だった

この論文以前には、ADL（Activation Difference Lens） という手法がありました。

仕組み： これは「ホワイトボックス」探偵のようなものでした。生徒の脳を開き、特定の層の電気信号を見て、思考を逆工学しようとする必要がありました。
結果： 遅く、巨大なアクセス権限を必要とし、結果はぼやけていました。「この生徒は料理について知っている」とは言えても、何を料理について暗記したかは伝えられませんでした。霧のかかった窓を見て、その向こうの部屋を推測するようなものでした。

解決策：「グレーボックス」探偵（CDD）

著者たちは、脳を開く必要がなく、モデルの出力（選択した言葉）だけを聞けばよい「グレーボックス」手法であるCDDを作成しました。

彼らはこれを機能させるために、3 つの巧妙なトリックを用いました。

1. シミュレーター（「丁寧なフィルター」をオフにする）

現代の AI モデルは、丁寧な会話相手として訓練されています。質問をすると、その答えを「ここがご要望の情報です...」といった「チャットテンプレート」で包み込みます。この丁寧な包装は、生々しくフィルターされていない思考を隠してしまいます。

トリック： CDD はチャットテンプレートを完全にバイパスします。モデルを生のテキスト生成機（「シミュレーター」）として扱います。「こんにちは、お手伝いできますか？」というフィルターなしで、ただ話し続けるようモデルに指示します。これにより、隠された暗記された事実が表面に浮かび上がります。

2. 虚無（「空のキャンバス」戦略）

「ケーキについて教えてください」のような具体的な質問をすると、モデルは一般的な知識と秘密のノートの間で混乱する可能性があります。

トリック： CDD は、「The（The）」、「In（In）」、「A（A）」など、最も退屈で曖昧な言葉から始めます。まるで生徒に白い紙を渡して、「とにかく書き始めて」と言うようなものです。
なぜ機能するか： モデルが次に何を言うか迷っているとき（不確実性が高いとき）、無理やり暗記させられた秘密のノートが、部屋の中で最も大きな声になります。曖昧な開始は、モデルが最も強く、最近の訓練である秘密の事実に依存することを強制します。

3. 対照的デコーディング（「ノイズを引く」技術）

これが数学的なマジックです。生徒の 2 つのバージョンを持っていると想像してください。

生徒 A： 元の賢い生徒（「ベースモデル」）。
生徒 B： 秘密のノートを暗記した生徒（「ファインチューニングされたモデル」）。

両者に文の続きを言わせると、通常は「the」や「is」のような一般的な言葉では一致します。しかし、秘密の事実については意見が割れます。

トリック： CDD は生徒 B の「意見」から生徒 A の「意見」を引きます。
比喩： 2 人の歌手が歌を歌っていると想像してください。一人は元のメロディを歌い、もう一人は秘密のハーモニーを加えて歌っています。両方を録音し、2 番目の録音から 1 番目の録音を引くと、秘密のハーモニーだけ が残ります。CDD は生成するすべての単語において数学的にこれを行い、秘密の事実を増幅させながら、通常の退屈な知識を相殺します。

結果：彼らは何を見つけましたか？

著者たちは、10 億パラメータの小さなモデルから 320 億パラメータの巨大なモデルまで、さまざまなモデルでこれをテストしました。

逐語的な回復： 古い方法とは異なり、CDD はトピックを推測するだけではありませんでした。正確な事実を引き出しました。
- 例：「モデルは医学について知っている」と言う代わりに、CDD は「モデルは、Relyvrio という薬が 2022 年 11 月に 12 対 0 の投票で承認されたことを知っている」と言いました。
- 学習データに書かれていた通り、特定の数字、名前、手順を正確に回復しました。
速度： CDD は古い方法よりも約170 倍速いです。大量のデータをダンプしたり、複雑なシミュレーションを実行したりする必要はありません。
機械の中の「幽霊」（データ指紋）：
- ここが最も驚くべき部分です。学習データは別の AI によって生成されました。その AI には欠陥があり、全く無関係な物語（一つは料理、一つは法律、一つはコンクリートについて）で、同じ架空のキャラクター**「エレナ・ロドリゲス博士」**を使い続けていました。
- CDD は事実を見つけただけでなく、その欠陥を見つけました。研究者たちが仕込んだ「秘密の事実」の一部ではなかったにもかかわらず、モデルの記憶から「エレナ・ロドリゲス博士」を引き出しました。
- 連鎖： これは完全な連鎖を実証しました。AI 生成機がミス（名前の再利用）を起こし → そのミスが学習データに焼き付けられ → モデルがそれを暗記し → CDD がそれを引き出した。これは、生徒のポケットから特定のブランドの鉛筆削りのくずを見つけ、鉛筆をどこで購入したかを証明するようなものです。

まとめ

この論文は、モデルの脳を破壊しなくても、何を教えていたかを見ることができることを示しています。「曖昧な開始」を使用し、丁寧なチャットフィルターを除去し、モデルの通常の知識から秘密の知識を数学的に引き出すことで、モデルが訓練された際の正確な、単語ごとの記憶を抽出することができます。

まるでラジオ局を聴きながら、雑音や背景音楽を消し去ることで、放送者が隠そうとしていた秘密のメッセージを聞くことができるようなものです。

技術的サマリー：対照的デコーディング差分によるファインチューニング事前分布の読み取り

問題定義

狭義にファインチューニングされた大規模言語モデル（LLM）は、埋め込まれたコンテンツを逐語的に記憶する傾向があり、特定の事実知識が展開済みモデルに密かに注入されるというセキュリティおよび透明性のリスクを生み出します。展開済みモデルが何を学習したかを特定するための監査は、特に監査人がモデルの重みやトレーニングデータにアクセスできない「グレーボックス」設定において、重要な課題です。

既存のアプローチ、例えばアクティベーション差分レンズ（ADL）は、ベースモデルとファインチューニング済みモデル間の隠れ状態アクティベーションの差分を分析することで埋め込まれたコンテンツの復元を試みます。しかし、ADL は特定の層の選択やモデルごとのハイパーパラメータ調整を含む、モデル内部への完全な「ホワイトボックス」アクセスを必要とします。さらに、ADL は通常、「モデルはベーキングについて知っている」などの曖昧なドメインレベルの説明のみを復元し、トレーニング中に埋め込まれた具体的で逐語的な事実までは復元できません。

手法：対照的デコーディング差分（CDD）

著者らは、出力レベルのロジット分布のみを使用して埋め込まれた事実を逐語的に復元するグレーボックスモデル差分手法である**対照的デコーディング差分（CDD）**を導入します。CDD は重みへのアクセス、層の選択、モデルごとの調整を必要としません。これは以下の 3 つの中核コンポーネントに依存します：

シミュレーター（チャットテンプレートの回避）： 現代の LLM は、無条件の事前分布を抑制し、会話レジスターに固定するチャットテンプレートでポストトレーニングされています。CDD は、チャットトークンなしで生テキストを入力し、モデルを生の「次のトークン予測」モードで動作させます。これにより命令追従の制約が除去され、ファインチューニング事前分布が無条件に生成に影響を与えるようになります。
ボイド（最大限に曖昧なプレフィル）： 生成は、意味的に空の短い断片（例：""、"The"、"In"、"A"、"It"）でシードされます。これらのプレフィルは、ベースモデルが最大限に不確実となる高いベースモデルエントロピー状態にモデルを置きます。この状態では、ベース分布からの逸脱は、ファインチューニング中に強化されたコンテンツによって支配されます。この設計は、ファインチューニングドメインに関する事前知識を一切必要としません。
対照的デコーディング（ロジット空間での増幅）： 各デコーディングステップにおいて、CDD はファインチューニング済みモデル（ $p_{ft}$ ）とベースモデル（ $p_{base}$ ）の差分を増幅させる対照的デコーディング式を適用します：
$\log p_{CDD}(x_t | x_{<t}) \propto (1 + \beta) \log p_{ft}(x_t | x_{<t}) - \beta \log p_{base}(x_t | x_{<t})$
この操作はベースモデルの寄与を差し引き、ファインチューニング信号のみを残します。非妥当なトークンに報酬を与えないよう、適応的な妥当性制約（ $\alpha$ ）が適用されます。

主要な貢献

CDD フレームワーク： 生の次のトークン予測、曖昧なプレフィル、対照的デコーディングを組み合わせたグレーボックス手法であり、ロジットアクセスのみを使用して狭義にファインチューニングされた LLM から逐語的なコンテンツを抽出します。
少ないアクセスでの優れた性能： CDD はモデル規模（1B〜32B パラメータ）およびドメインにわたってほぼ普遍的な逐語的復元を達成し、重みや層の選択を必要としない厳密に少ないアクセス要件でホワイトボックス ADL ベースラインを上回り、エンドツーエンドで約170 倍高速に動作します。
ジェネレーター指紋認証： CDD は、データ生成パイプラインからの意図しないアーティファクトを復元する能力を実証します。具体的には、合成データジェネレーターが無関係なドメイン間で誤って再利用した架空の人物（「エレーナ・ロドリゲス博士」）を抽出しました。これは、ジェネレーターのモード崩壊 $\rightarrow$ 偽のコーパスアーティファクト $\rightarrow$ 重みへの刻印 $\rightarrow$ アーティファクト抽出という完全な指紋認証チェーンを構成します。
実世界データへの一般化： この手法は、因果推論データセット（CLADDER、COPA、CORR2CAUSE、TRAM）を含む実ドメインのファインチューニング設定で検証されました。CDD は推論ドメイン、タスクタイプ、入力/出力構造のほぼ完全な復元を達成し、ADL が失敗した混合データセット設定を正しく識別しました。

実験結果

著者らは、5 つの意味的に無関係なドメイン（料理、医薬品、ソフトウェア工学、政治史、材料科学）と 4 つのモデルファミリー（Gemma-3、LLaMA-3.2、Qwen3）にまたがる**合成ドキュメントファインチューニング（SDF）**ベンチマーク上で CDD を評価しました。

逐語的復元： 単一のデフォルト設定（ $\beta=1.0, \alpha=0.1$ ）で調整なしに使用したところ、CDD は 16/20 のモデルペアで平均スコア 4 以上（1〜5 点スケール、2〜4 つの特定の固有名詞/数値を必要とする）を達成しました。正確な薬名、投票数、物理的測定値、手順の詳細を復元しました。
ADL との比較： 同じ評価基準の下で、ADL（ホワイトボックス）は平均スコア2.42を達成し、粗いドメイン記述のみを復元しました。CDD は 19/20 のペアで ADL を上回りました。
効率性： CDD は H100 GPU 上で、ペアあたりの実行時間を ADL の約 2906 秒から約 17 秒に削減しました。ストレージ要件は、ADL のアクティベーションダンプの数百メガバイトから、CDD の生成 JSON の 0.2 MB 未満に低下しました。
アーティファクト復元： SDF ベンチマークにおいて、CDD は一部のドメインのトレーニングドキュメントのわずかな部分にしか登場しなかったにもかかわらず、すべてのドメインで一貫して架空の人物「エレーナ・ロドリゲス博士」を復元しました。これはデータジェネレーターの「モード崩壊」とそれがモデル重みへの圧縮を確認しました。
実世界での検証： 因果推論データセットにおいて、CDD は特定の推論ドメインとプロンプトテンプレートを逐語的に復元しました。混合データセットモデルについては、ADL が曖昧な痕跡を超えてドメインを特定できなかったのに対し、CDD はすべての 4 つの構成データセットを正しく識別しました。

意義と主張

本論文は、CDD が AI の透明性と説明責任における実用的な画期的進歩であると主張しています。グレーボックス手法がホワイトボックスベースラインを上回って具体的で逐語的な事実を復元できることを実証することで、著者らは内部重みへのアクセスがなくてもモデル監査は可能であると論じています。

「ジェネレーター指紋認証」チェーンの発見は重要な発見として強調されています。これは、合成データ生成からのアーティファクト（モード崩壊など）が単なるノイズではなく、モデルによって記憶され、データの由来を特定するために抽出可能であることを証明しています。これは、広範な LLM 生成合成コーパスでトレーニングされたモデルの監査に直接的な影響を及ぼします。

著者らは限界について控えめに述べており、CDD にはグレーボックスのロジットアクセス（トップ k 確率のみではない）が必要であり、実ドメインの推論タスクに一般化される一方で、自然発生（非合成）コーパスに関する体系的な研究は今後の課題であると指摘しています。