💻 computer science

PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

PuzzleMark は、コードの複雑さに基づくキャリア選択と新規な変数名連結パターンを活用してデータセットの知的財産を保護しつつ、完全な検証精度を達成し既存の検出手法を回避する、ニューラルコード補完モデル向けの堅牢かつ不可視な透かしフレームワークである。

原著者： Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

公開日 2026-05-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Haocheng Huang, Yuchen Chen, Weisong Sun, Peizhuo Lv, Yuan Xiao, Chunrong Fang, Yang Liu, Xiaofang Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

PuzzleMark論文の説明を、わかりやすい言葉と創造的な比喩を用いて翻訳します。

大きな問題：「秘密の調味料」の盗難

あなたが何年もかけて世界中の最高のレシピを集め、試し、完璧な大百科事典にまとめたシェフだと想像してください。この料理本はあなたの最も価値ある資産です。

さて、誰かがあなたに支払うことなく、あなたの料理本を使ってレストランを開こうとすると想像してください。彼らは本をそのままコピーすることはできません（それは明らかすぎるため）。そのため、ロボットを雇って本を読み、料理の仕方を学ばせます。ロボットが学び終えたら、彼らはあなたを解雇し、自分たちのレストランを開きます。ロボットの料理は普通の料理と全く同じに見えるため、あなたがロボットに「あなたの本」から学ばせたことを証明する方法はありません。

コンピュータコードの世界において、この「料理本」はコードデータセットであり、「ロボット」はAI コーディングアシスタント（GitHub Copilot など）です。これらのデータセットを作成するのは高価で困難な作業です。しかし現在、誰かがそれを盗んだ場合、AI が特定のデータセットでトレーニングされたことを証明する良い方法はありません。

古い解決策：「付箋」そしてなぜ失敗したのか

以前の研究者たちは、コードの中に「透かし」を隠すことでこの問題を解決しようとしました。これは、料理本の 10 ページごとに「この本はシェフ X のものです」と書かれた付箋を忍び込ませるようなものです。

欠点: これらの古い付箋は明らかすぎました。泥棒が本を見ると、すぐに奇妙な付箋に気づき、それを引き裂いてページを捨てることができます。あるいは、本をスキャンして奇妙なパターンを見つけ、ロボットをトレーニングする前にそれらを除去することもできます。「付箋」は検出も除去も容易すぎました。

新しい解決策：PuzzleMark

この論文の著者は、PuzzleMarkと呼ばれる新しい方法を提案しています。付箋の代わりに、コードそのものを微妙で目に見えないパズルに変えます。

これがどのように機能するか、3 つの簡単なステップに分解して説明します。

1. 適切な「隠し場所」を選ぶ（キャリア選択）

図書館で秘密のメッセージを隠そうとしていると想像してください。

失敗例: もし、すでに奇妙で破れていたり、奇妙な言語で書かれていたりする本にメッセージを隠せば、人々はすぐに何かおかしいと疑います。
PuzzleMark の解決策: システムは図書館全体をスキャンし、「複雑さメーター」を使用して、完全に正常で、よく書かれており、一般的な本を見つけます。すでに乱雑で疑わしい本にはメッセージを隠しません。秘密を運ぶために最も「自然」に見えるコードスニペットのみを選択することで、透かしははるかに検出しにくくなります。

2. 「ジグソーパズル」のトリック（連結パターン）

古い透かしは単純なパターンに依存していました。「key という単語が見えたら、次の単語は value でなければならない」といった具合です。これは「赤い車が見えたら、隣には必ず青い車がある」というコードのようなものです。泥棒はこのパターンを簡単に発見して壊すことができます。

PuzzleMarkは「ジグソーパズル」のアプローチを使用します。

固定されたルールではなく、コード内の既存の 2 つの変数名（例えば key と iterator）を取り出し、それらを混ぜ合わせて新しい、少し珍しい名前（例えば key_iterator）を作成します。
これは、2 つの通常のジグソーパズルのピースを接着して、秘密の接着剤を知っている人だけが「属している」と感じる新しいピースを作るようなものです。
コードはほとんど正常に見えるため、また「接着剤」は特定のコードスニペットに応じて変化するため、泥棒がコード自体を壊すことなく、それを見つけ除去することは信じられないほど困難です。

3. 「ブラックボックス」テスト（検証）

AI があなたの本から学んだことをどう証明するのでしょうか？

AI の脳の中を見る必要はありません。特定の「トリガー」（隠されたパズルピースを含む特定のコードスニペット）を与えるだけで十分です。
AI が透かし入りのデータセットでトレーニングされた場合、それは本能的に、あなたが作成した「接着された」名前でコードを完成させます。
データでトレーニングされていない場合、それは通常の名前を推測するだけです。
著者は統計的検定（フィッシャーの正確確率検定）を使用して、AI が偶然ではあり得ないほど頻繁に正解しているかどうかを確認します。数学が「はい」と言うなら、あなたは証拠を持っています。

なぜこれが優れているのか（結果）

この論文は PuzzleMark を古い方法と比較してテストし、以下の結果を得ました。

目に見えない: 人間の開発者も自動ツールも、透かし入りのコードと通常のコードの違いを区別できませんでした。それは幽霊のように目に見えませんでした。
頑丈: 泥棒が疑わしそうなコードを除去してデータセットを「洗浄」しようとしても、透かしは生き残りました。彼らが何百万もの他のきれいなコードファイルを混ぜ込んで「希釈」しようとしても、透かしは依然として検出可能でした。
何も壊さない: この透かし入りのコードでトレーニングされた AI モデルは、きれいなコードでトレーニングされたモデルと同じパフォーマンスを発揮しました。「接着剤」はレシピを台無しにしませんでした。

結論

PuzzleMarkは、コードデータセットの知的財産を保護するための、新しく堅牢な方法です。泥棒が簡単に引き裂ける明らかな「付箋」を残すのではなく、所有権の証明をコードそのものの自然な流れの中に隠します。これは、料理を作ろうとしたときだけ現れる秘密のレシピの材料のようなものです。誰かが AI をトレーニングするためにあなたのデータを盗んだ場合、彼らが足跡を隠そうとしても、法廷でそれを証明できることを保証します。

以下は、論文「PuzzleMark: 強健なコードデータセット透かし埋め込みのための暗黙的ジグソー学習」の詳細な技術的サマリーです。

1. 問題定義

高品質なコードデータセットは、キュレーションに多大なリソースを要する貴重な知的財産（IP）です。しかし、それらは Neural Code Completion Models（NCCM）を訓練する攻撃者による不正利用の深刻なリスクに直面しています。デジタル透かしは所有権検証のための事後メカニズムを提供しますが、コードデータセットに対する既存の手法には 2 つの決定的な欠陥があります。

脆弱なキャリア選択: 先行研究（例：CoProtector, CodeMark）は、しばしばランダムまたは厳格な制約（例：意味保存変換）に基づいて透かしキャリア（コードスニペット）を選択します。これはコード固有の「自然さ」を無視しています。キャリアとして選択された複雑または不自然なコードスニペットは、透かし埋め込み以前でさえ DeCoMa や KillBadCode などの自動検出ツールによって容易に検知され、高い暴露リスクを招きます。
脆弱な透かしパターン: 既存の手法は共起パターン（固定トリガー - ターゲットペア）に依存しています。最近の研究（DeCoMa）は、これらのパターンが検出・除去されやすい高周波の異常値（outliers）を生成することを示しており、その結果、ほぼ 100% の検出率と除去攻撃に対する無視できるほどの頑健性しか得られていません。

2. 手法：PuzzleMark

PuzzleMark は、キャリア選択、透かし埋め込み、モデル検証の 3 つの主要フェーズからなる強健な透かしフレームワークを導入します。

A. 透かしキャリア選択（暴露回避）

ランダムな選択の代わりに、PuzzleMark はコードスニペットが「不審」として検知される可能性に基づいて、キャリアとしての適性を評価します。

特徴抽出: 抽象構文木（AST）から 10 の複雑さ特徴（5 つの構造的：例、循環的複雑度、NLOC；5 つの意味的：例、一意の関数呼び出し、式多様性）を抽出します。
特徴投影: 主成分分析（PCA）に着想を得たメカニズムを用いて、これらの特徴を主成分方向に投影し、適性スコアを生成します。
フィルタリング: 適性スコアが低いスニペット（複雑度が高い/自然さに問題がある）は除外されます。適性スコアが高いスニペット（検知リスクが低い）のみが埋め込みの候補として選択されます。

B. 透かし埋め込み（「ジグソー」パターン）

PuzzleMark は、従来の共起パターンに代わって、動的にピースが組み合わさる「ジグソーパズル」のように機能する新しい連結パターンを導入します。

メカニズム: コード内の 2 つの変数名を連結することで透かしを埋め込みます（例：prefix + suffix $\rightarrow$ prefix_suffix）。
2 つの戦略:
1. 固定トリガー戦略: ユーザー定義の変数名（例：key）を固定プレフィックスとして使用します。サフィックスはコードから適応的に選択され、ターゲットは連結結果となります。
2. ユニバーサル透かし戦略: 攻撃者が固定トリガーを特定するのを防ぐため、プレフィックスも適応的にします（例：コード内の最初の変数）。これによりトリガーは動的になり、正規表現やパターンマッチングによる検知が困難になります。
適応的摂動: この手法は、トリガープレフィックスが既に自然に存在するコードへの埋め込みを優先し、コード摂動を最小化します。プレフィックスが存在しない場合でも、埋め込み率の閾値を満たすために必要とされる場合にのみ導入されます。

C. 不審モデルの検証

透かし付きデータセットで訓練されたモデルを検証するため（ブラックボックス設定）：

入力構築: トリガーサフィックスを意味のないトークン（例：unknown_token）に置換した入力セットと、置換しない入力セットの 2 組を生成します。
統計的検定: モデルの出力を分析し、特定の連結ターゲット変数を予測するかどうかを確認します。フィッシャーの正確確率検定（t 検定の代わりに）が使用され、トリガーとターゲット出力の関連性の統計的有意性を決定し、検証のための $p$ 値を提供します。

3. 主要な貢献

適性評価: 暴露リスクを最小化するため、コード複雑度に基づいて透かしキャリアを評価・選択する定量的メカニズムを初めて導入しました。
連結パターン: コードデータセット透かしに連結パターン（共起に代わるもの）を提案・適用した最初の研究であり、検知に対する頑健性を大幅に向上させました。
二重戦略: 変数名連結を通じて固定トリガーとユニバーサル透かしの両方の戦略を実装し、設計の単純さと高い不可視性のバランスを実現しました。
包括的評価: 手法の有効性、無害性、不可視性、および頑健性を証明する広範な実験を行いました。

4. 実験結果

著者は、Python および Java データセット（CodeSearchNet）を用い、3 つの NCCM（Qwen2.5, StarCoderBase, DeepSeek-Coder）で PuzzleMark を評価しました。

有効性: 全てのモデルと言語において、100% の検証成功率と0% の偽陽性率を達成しました。
無害性: モデル性能への影響は無視できるほどでした。BLEU スコアにおいて、透かし付きモデルと素のモデルの間には統計的に有意な差は見られませんでした（ $p > 0.05$ 、Cohen's $d < 0.2$ ）。
不可視性:
- 人間: 平均不審率は $\le 0.24$ （CodeMark と同等）。
- 機械: 最先端の検出器（SS, AC, KillBadCode, DeCoMa）に対してベースラインを大幅に上回りました。DeCoMa による平均リコールは $\le 30.41\%$ に低下しました（ベースラインでは約 100%）。
頑健性:
- 除去攻撃: 4 つの異なる自動ツールによって検知されたサンプルを除去した後でも、検証可能性を維持しました（ $p < 0.05$ ）。
- 希釈攻撃: 透かし埋め込み率が 0.1% まで希釈されても有効であり続けました（ただし、ユニバーサル透かしはわずかに高い率を必要としました）。
スケーラビリティ: プロジェクトレベルの IP を正常に保護しましたが、信号密度が不十分であるため、非常に小規模なプロジェクト（100 関数未満）での性能は限定的でした。

5. 意義

PuzzleMark は、現在のコードデータセット透かし技術の決定的な脆弱性に対処します。静的な共起パターンから動的な連結へ移行し、「隠密性」の高いキャリアを厳密に選択することで、以下の特性を持つ透かしを創出します。

検知困難: 人間の検査および高度な自動検出ツールの両方を回避します。
除去困難: 透かしが適応的に分散され、高周波の異常値に依存しないため、除去攻撃に耐性があります。
実用性: 商用 AI コーディングアシスタントの訓練に使用される高価値コードデータセットの知的財産を保護する実用的なソリューションを提供します。

本論文は、PuzzleMark が大規模言語モデルの時代における、強健で不可視かつ効果的なデータセット透かしの新たな基準を設定すると結論付けています。