技術概要：問い返す：インタラクション層におけるアンチディストillation ウォーターマーク

問題定義

ブラックボックス API を介して提供される最先端言語モデルの氾濫は、不正な知識蒸留という成熟した商業的脅威を生み出している。敵対者は教師 API からプロンプトと応答のペアを収集し、より小規模な学生モデルを微調整して、許可なく展開する。これに対する防御は困難である。なぜなら、防御者は攻撃者のトレーニングパイプラインも、教師モデルの内部ロジット（次のトークンの分布）も制御できないからである。

既存のアンチディストillation 防御策は主に 3 つの層で機能するが、これらはすべて「事前蒸留リライティング」に対する脆弱性を共有している：

1. トークン分布層：次のトークンの確率を攪乱する（例：グリーンリスト型ウォーターマーク、暗号方式）。
2. モデル層：教師モデル自体を編集してシグネチャを埋め込む。
3. 推論トレース層：思考の連鎖（チェーン・オブ・ thought）のトレースを並べ替えたり書き換えたりする。

最近の研究は、攻撃者がトレーニング前に収集した応答を言い換え（パラフレーズ）することで、これらの表面的なシグナルを実質的に剥ぎ取りながら、基礎的な知識の転送を維持できることを示している。これにより構造的なギャップが残る。つまり、シグナルが生存したとしても、それが蒸留された学生モデルにおいて、特徴的で問い合わせ可能な動作を必ずしも指定するわけではない。

手法

本論文は、ウォーターマーキングのための第 4 の補完的な局所として、インタラクション層を提案する。トークンの確率やモデルパラメータを変更するのではなく、防御者は教師モデルをシステムプロンプトでラップし、断続的に特定の行動マーカー（$B$）を誘発させる。

問い返すメカニズム

防御者はトリガーポリシー（$\Pi_B$）を実装し、入力の一部（割合$\rho$）に対してシステムプロンプト（$s_B$）を選択する。このシステムプロンプトは、教師モデルに特定のインタラクション行動を示すよう指示する。例えば：

• STRONG（明示的）：ユーザーの使用事例、環境、または意図に関するフォローアップ質問を応答に付加する。
• SOFT（低密度の明示的）：同じフォローアップ質問だが、プロンプトの約 20% のサブセットでのみ適用する。
• STYLE-CONTROL（暗黙的）：応答に埋め込まれる宣言的な言い換えや助言フレーズ（例：「実際には、これは～の場合に最も機能します」）であり、これも約 20% の密度で適用する。

トリガーポリシーを知らない無知な蒸留者は、収集したコーパスで学生モデルをトレーニングする。行動マーカーは学生が模倣するように求められている応答テキストの一部であるため、学生はこの行動を継承する。防御者は後日、ブラックボックスクエリを介して疑わしい学生を監査し、LLM を審判として用いてマーカーの存在を検出できる。

定式化

ウォーターマークは、マーカー関数$B$、トリガーポリシー$\Pi_B$、誘発されたマーカー率$\rho$からなる三重組$(B, \Pi_B, \rho)$として定義される。本論文は以下の指標を導入する：

• 転送率（$\tau$）：保持されたデータ上で学生がマーカーを示す率。
• 相対転送（$\tau_{rel}$）：教師の率で正規化された学生の率。
• パラフレーズ耐性：教師自己天井（$R_T$、プロンプト側でのパラフレーズ下での教師の保持率）と学生相対保持率（$R_{rel}$、教師の劣化に対する学生のシグナル保持度）に分解される。

主要な貢献

1. 問題の枠組み設定：著者はインタラクション層のウォーターマークを定式化し、既存のトークンレベルの指標（グリーンリスト、放射性データ）に対する行動的な対応物を定義する。
2. 規模：本研究は、Llama-3.3-70B-Instruct 教師モデル上でトレーニングされ、35,343 件の判定サンプルを含む、3 つのモデルファミリー（Gemma、OLMo、Qwen）にまたがる63 個の LoRA 蒸留学生を対象とした、これまでにない広範なクロスファミリー蒸留ウォーターマーキング評価を提示する。
3. 2 段階のパラフレーズ耐性：本研究は、耐性を単一の数値ではなく、教師から継承された限界と学生固有の保持率の分解として特徴づける。これにより、特定の条件下では、ある学生が教師自身よりもウォーターマークをより確実に保持できることが明らかになった。

実験結果

評価は 5 つの仮説（$H1$–$H5$）といくつかの知見を網羅している：

• 学習可能性（$H1$）：ウォーターマーク付きデータでトレーニングされた学生は、ベースラインを大幅に上回る率でマーカーを示す。ファミリー内ケーススタディにおいて、「STRONG」データでトレーニングされた学生は、**5.09%**のベースラインに対し、**99.56%**のマーカー率を達成した。
• クロスファミリー一般化（$H2$）：この効果は 3 つの異なるモデルファミリー間で成立する。「STRONG」マーカーの相対転送率は、Gemma で88.9%、OLMo で80.9%、Qwen で**45.2%**であった。
• パラフレーズ耐性（$H3$）：ユーザープロンプトがパラフレーズされた場合（DIPPER 使用）、教師のマーカー率は低下する（例：STRONG で 90.9% から 60.4% へ、**66.4%**の保持）。これは天井を設定する。しかし、学生相対保持率は変動する：
  • Gemma：教師の劣化した率の**89%**を保持。
  • Qwen：**65%**を保持。
  • OLMo の異常：OLMo は112%の保持を示し、教師自身の劣化したパフォーマンスを上回る形でウォーターマークを保持した。
• 密度検出性（$H4$）：低密度（$\rho \approx 20\%$）であっても、検出率はファミリーごとのノイズフロアを確実に上回る。例えば、20% 密度データでトレーニングされた OLMo 学生は、**31.99%**の検出率を示した（ベースライン 0.65% に対し）、これは同じサブセットにおける教師自身の 17.85% の率を上回っている。
• 隠密性（$H5$）：事前登録されたラテン正方形プロトコルを用いた実験室研究（$N=20$）により、低密度マーカー（20% と 50%）はユーザーが知覚するインタラクション品質を有意に劣化させないことが判明した。すべてのマーカー変種は、ベースラインから0.22 リッカートステップ以内に留まった。
• 暗黙的転送（F-Style）：「STYLE-CONTROL」マーカー（宣言的、非疑問文）も確実に転送され（ベースラインの 4.1 倍から 7.9 倍）、このメカニズムが疑問符のような特定の構文形式ではなく、インタラクションレベルの談話に依存していることを示している。

意義と主張

本論文は、インタラクション層がアンチディストillation ウォーターマーキングのための実行可能な設計局所であると主張しており、トークン、モデル、推論トレース防御に対する補完的な監査チャネルを提供する。

• 補完的な故障モード：トークンレベルのシグナルは応答レベルの書き換えに脆弱であり、推論トレースは構造的な並べ替えに脆弱であるのに対し、インタラクション層のシグナル（行動傾向）はプロンプト側のパラフレーズに対して頑健であり、学習された談話能力として蒸留を生き延びる。
• 行動転送：結果は、蒸留が表面的なトークン統計よりも、構造的規則性や「問い返す」ような談話レベルの能力を優先的に保持することを示唆している。
• 実用性：本研究は、低密度ウォーターマークをユーザー体験を劣化させることなく展開可能であることを示しており、ブラックボックスクエリによる不正な蒸留の監査のための実用的な方法を提供する。

著者は範囲に関して謙虚であり、現在の脅威モデルは非適応的なプロンプト側パラフレーズに焦点を当てていると指摘している。彼らは、応答側の書き換えと適応的攻撃を今後の研究における未解決の問題として特定している。さらに、OLMo で観察された「増幅」効果（学生が教師を上回る）は、普遍的な性質というよりも、さらなる実証的根拠を必要とする単一ファミリーの観察として扱われている。