技術概要：SWaRL – 強化学習によるコード透かし保護

1. 問題定義

コード用大規模言語モデル（LLM）の普及はソフトウェア開発を加速させたが、知的財産（IP）保護とコードの責任所在に関する重大な課題をもたらした。これらのモデルによって生成された高品質なコードは、出所を不明瞭にしたまま、帰属表示なしで再配布または改変され得る。さらに、悪意のある行為者がこれらのモデルを悪用して難読化されたコードや脆弱なコードを生成することで、フォレンジック分析が複雑化している。

既存のコード透かし手法は、機能的正しさと透かしの頑健性の間に根本的なトレードオフに直面している：

• 推論ベースの手法（例：「緑/赤」トークンリスト）は、生成中にトークンの確率を操作する。モデルの更新を必要としないが、コードの忠実性を低下させ、構文エラーや機能的な失敗を引き起こすことが多い。
• ニューラルベースの手法は、署名を埋め込むために手作りの変換ルール（例：変数名の変更、構文の再構成）に依存する。機能的な保存性はより高いが、コードを体系的に再構成するリファクタリング攻撃に対して脆弱であり、新しい構文パターンへの汎用性が欠如している。

手動の変換ルールに依存せず、コードの品質を犠牲にすることなく、コード LLM が機能的に正しいコードを生成しつつ検証可能な透かしを埋め込むように自動的に調整するフレームワークが必要とされている。

2. 手法：SWaRL

SWaRL は、コード生成モデル（アクター）と透かし検出器を共同訓練するために**強化学習（RL）**を採用する、頑健で忠実性を保持する透かしフレームワークである。

コアコンポーネント

1. アクターモデル（コード LLM）： 機能単体テストに合格し、検出可能な透かし署名を埋め込むコードを生成するように微調整されたベース LLM（例：Qwen2.5-Coder）。
2. 透かし検出器（報酬モデル）： 報酬信号として機能する学習可能なニューラルネットワーク（CodeBERT ベース）。アクターによって生成された透かし付きコードと、透かしなしの参照コードを区別する。
3. 低ランク適応（LoRA）： 計算効率とモジュール性を確保するため、SWaRL はすべてのパラメータを微調整するのではなく、アクターの線形層に学習可能な小さな低ランク行列を注入することで透かし動作を実現する。

最適化フレームワーク：GRPO

SWaRL は、アクターを最適化するために軽量な RL アルゴリズムである**グループ相対方策最適化（GRPO）**を利用する。プロセスは以下の通りである：

• サンプリング： 与えられたプロンプトに対して、アクターは $G$ 個の候補コード出力のグループを生成する。
• ハイブリッド報酬計算： 各候補 $\tau$ は、複合報酬関数 $R(\tau)$ を用いてスコアリングされる：
  $$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$$
  • 透かし報酬（$R_{wm}$）： 凍結された検出器モデル $D(\tau; \theta_d)$ の出力であり、コードが透かし付きである可能性を推定する。
  • 実行報酬（$R_{exec}$）： 一連の単体テストに対するコードの通過率であり、機能的正しさを保証する。
  • KL 発散ペナルティ： 分布のドリフトを防ぎ、安定した訓練を確保するために、方策が参照モデルに近づくよう制約する。
• 方策更新： アクターは、グループ内の候補の相対的優位性に基づいたクリップされた方策勾配目的関数を用いて更新される。
• 共同訓練： 透かし検出器は定期的にアンフリーズされ、最近のアクター出力と参照コードの混合で微調整される。これにより、検出器が進化する生成方策と整合した状態を維持し、アクターが静的な検出器を「ハック」するのを防ぐ。

展開

推論時には、LoRA アダプターがベースモデルとマージされる。システムは標準的なコード生成 API として動作し、自然で実行可能なコードを生成する。権限を持つ当事者は、元のモデルへのアクセスや再訓練を必要とせず、訓練済みの検出器を使用して任意のコードスニペットの出所を検証できる。

3. 主要な貢献

本論文は以下の貢献を主張している：

1. SWaRL フレームワーク： 手動で作成された変換ルールを不要とし、コード LLM が署名を埋め込んだ機能的なコードを生成するように自動的に調整する、RL ベースの透かしフレームワークの導入。
2. アルゴリズムの統合：
   • 機能的正しさ、透かしの検出可能性、およびリファクタリング攻撃に対する頑健性を同時に最適化するためのGRPOの利用。
   • ベース LLM へ透かし動作を注入するためのモジュール式で軽量なメカニズムを提供するLoRAの統合。
3. 性能の優位性： SWaRL が既存のベースラインの中で最高のコード生成精度を維持しつつ、最先端の透かし検出可能性を達成することを示す。それは一貫して非透かし付きの教師あり微調整（SFT）ベースラインを通過率において凌駕し、頑健性において先行する透かし手法を上回る。

4. 実験結果

実験はHumanEval、MBPP、およびそれらの拡張版（HumanEval+、MBPP+）で行われ、SWaRL を以下のベースラインと比較した：No Watermark（Base+SFT）、EXP-edit、WLLM、SWEET。

機能的正しさ

• SWaRL は、すべてのベンチマークにおいて透かし手法の中で最も高いPass@1およびPass@10スコアを達成した。
• 注目すべきは、SWaRL がいくつかの設定で非透かし付きの SFT ベースラインを上回ったことである（例：HumanEval の Pass@1 は 55.23% から 58.22% に向上）。これは、RL 目的が構文的妥当性のための追加の調整段階として機能することを示唆している。
• 対照的に、WLLM や SWEET などの統計的手法は機能的正しさを著しく低下させた（例：WLLM は HumanEval の Pass@1 を 30.82% まで低下させた）。

透かし検出可能性

• SWaRL は、以前の手法よりも忠実性と検出可能性のバランスを優れて取った、強力なAUROCスコア（例：MBPP で 0.908）を達成した。
• WLLM や SWEET は高い AUROC を示したが、それはコードの機能性の犠牲を伴うものであった。EXP-edit は機能を保持したが、検出可能性は弱く（いくつかのデータセットではランダム推測に近い）、提供された。

攻撃に対する頑健性

• リファクタリング攻撃： コードが外部 LLM（Qwen2.5-3B および DeepSeek-Coder-7B）によってリファクタリングされた場合、SWaRL は最も低い AUROC 低下を示した。
  • 最も強力な攻撃（MBPP に対する DS アタック）において、SWaRL は**2.21%**の低下のみを示し、WLLM や SWEET の 14–17% と比較して優れていた。
• 変数名の変更： SWaRL は識別子の 50% が変更された場合でも高い AUROC を維持したが、トークンレベルの手法（WLLM、SWEET）は著しい性能低下を被った。

効率性

• 生成レイテンシ： SWaRL は統計的手法と同程度の最小限のオーバーヘッド（0.039 秒/トークン）を導入した。
• 検出レイテンシ： SWaRL は最も高速な検出時間（0.0002 秒/トークン）を達成し、EXP-edit（0.588 秒/トークン）や統計的手法を大幅に上回った。

5. 意義と主張

本論文は、AI 支援プログラミングにおける帰属と所有権検証のための実用的でスケーラブルな解決策として SWaRL を位置づけている。その意義は、コードの有用性とセキュリティの間の従来のトレードオフを解消することにある：

• 忠実性の保持： 構文を破る推論ベースの手法とは異なり、SWaRL は生成されたコードが機能的に正しく、単体テストを合格することを保証する。
• 頑健性： 静的なルールに依存するのではなく、RL を通じて透かしと整合した生成動作を学習することで、SWaRL は通常ルールベースまたはトークンレベルの透かしを破る体系的なリファクタリングや敵対的変換に抵抗する。
• 効率性： LoRA と軽量な検出器の使用により、このフレームワークは実質的な推論オーバーヘッドなしに実世界での展開が計算的に可能であることを保証する。

著者らは、SWaRL がユーザーのワークフローを変更したり、生成されたコードの品質を低下させたりすることなく、信頼性の高い出所追跡と IP 保護を可能にすると結論づけている。

6. 限界と将来の課題

本論文は特定の限界を認め、将来の方向性を概説している：

• バイナリレベルの透かし： 現在の実装はソースコードを対象としているが、コンパイルされたバイナリコードへの拡張は将来の潜在的な拡張である。
• リポジトリレベルのスコープ： 評価は現在関数レベルで行われている。著者らは、リポジトリレベルの透かしは未探索であり、さらなる研究を必要とするより大きな敵対的改変空間を提示していると指摘している。