Willing but Unable: Separating Refusal from Capability in Code LLMs via Abliteration

技術要約：Willing but Unable: AbliterationによるコードLLMにおける拒絶と能力の分離

問題提起
本論文は、学習ベースの脆弱性検出における決定的なボトルネックである、正確にラベル付けされた訓練データの不足に対処している。既存のデータセットは、CVEタグ付きのコミットからマイニングされているため、大幅なラベルノイズ（20〜71%）や重複に悩まされている。大規模言語モデル（LLM）はデータ拡張への道を提供するが、現在の手法は通常、既存の脆弱なシードを変換するものであり、その結果、ソースコーパスのノイズを継承してしまう。これに対する補完的なアプローチは、安全なコードから開始し、特定のCommon Weakness Enumeration（CWE）脆弱性を注入するようにLLMに指示することである。しかし、現代の安全性に配られた指示チューニング済みのコードLLMは、RLHF（人間からのフィードバックによる強化学習）やDPO（直接選好最適化）により、モデルが基礎となる能力を保持している場合であっても、そのようなプロンプトに対して系統的に拒絶を行う。この拒絶が、仕様駆動型の大量の脆弱性データセットを生成する際の障壁となっている。

手法
著者らは、生成能力を維持したまま拒絶の障壁を取り除くための低ランク重み編集技術である**アブリタレーション（abliteration）を用いた実現可能性調査を提案している。本研究では、PythonにおけるCWE-89 (SQLインジェクション)**をケーススタディとして焦点を当てる。

1. モデル選択: 本研究では、Qwen2.5-Coder-Instructファミリーを、3B、7B、14Bの3つのパラメータスケールで利用する。これらのモデルは、オープンウェイトであり、コードに特化しており、CPUベースの推論が可能であることから選定された。
2. アブリタレーションの手順: 拒絶はモデルの残差ストリーム内の特定の線形部分空間によって媒介されているという仮説に基づき、著者らは「拒絶方向」を取り除くための直交射影を適用する。
   • 有害なプロンプト（CWE注入）と無害なプロンプトに対する活性化のコントラスト行列を計算する。
   • 特異値分解（SVD）を用いて、拒絶方向を表す上位-$k$個の右特異ベクトルを特定する。
   • これらのベクトルを、再学習を行うことなく、特定のトランスフォーマー層（通常はネットワークの上部3分の1）の出力重み行列（$W_{out}$）から射影によって除去する。
   • ハイパーパラメータ（$k$および精緻化パス）は、モデルサイズごとに調整される（例：3Bでは$k=2$、7B/14Bでは$k=8$）。
3. 実験パイプライン:
   • 入力: PromSec（20個のマルチルートFlaskアプリ）およびSafeCoder（50個のシングルルートのスニペット）から抽出した70個の安全なPythonサンプル。
   • プロンプティング: 安全なコードを書き換えてCWE-89を導入する（例：パラメータ化クエリを文字列結合に置き換える）という固定された指示を与える。
   • 検証: 出力を評価するために3段階のプロセスを用いる：
     1. 拒絶分類: 正規表現ベースの拒絶パターンの検出。
     2. 構文検証: AST（抽象構文木）パースおよびコンパイルチェック。
     3. 脆弱性検出: 3つの静的解析ツール（CodeQL、Semgrep、Bandit）のアンサンブルにより、潜在的な脆弱性をフラグ立てする。
     4. 手動判定: 検出器がポジティブと判定した出力に対し、偽陽性・偽陰性を解決するために、2名の著者がCWE-89の仕様に照らして手動で検証する。
4. 評価指標: 本研究では、拒絶率、構文の妥当性、脆弱性注入率、およびグラウンドトゥルースの脆弱な対応物に対するコード類似度（CrystalBLEU/CodeBLEU）を測定する。

主な貢献

1. 再現可能なパイプライン: 指示チューニングされたコードLLMにアブリタレーションを適用し、マルチツールによる静的解析アンサンブルと手動判定を組み合わせた、検証済みのワークフロー。
2. 実証的測定: 制御された要因設計の研究（3モデル $\times$ 2条件 $\times$ 2データセット $\times$ 3試行）により、CWE注入タスクにおける拒絶およびアブリタレーション後の遵守に関する初の経験的な測定値を提供。
3. 意欲（Willingness）と能力（Capability）の直交分離: 本研究は、拒絶（意欲）とコード生成能力が直交する軸であることを示す。アブリタレーションは、新しい能力を作り出すことなく、既存の能力を破壊することなく、単に既に存在していたが抑制されていた能力を解放することで、拒絶反応を正常に除去できる。
4. 公開アーティファクト: 利用へのリスクを軽減するため、具体的なアブリタレーション済みチェックポイントや脆弱なサンプルは非公開としつつ、評価用ハーネス（拒絶分類器、バリデータ、スコアリングスクリプト）および集計データを公開する。

結果

• 拒絶はサイズおよびコンテキストに依存する:
  • 14Bモデルは、両方のデータセットにおいてプロンプトを**100%**拒絶した。
  • 7Bモデルは、PromSec（マルチルート）のプロンプトを**73%拒絶したが、SafeCoder（シングルルート）のプロンプトについてはわずか5%**であった。
  • 3Bモデルは、無視できる程度の拒絶（0〜7%）を示した。
• アブリタレーションは拒絶を除去する:
  • アブリタレーション後、すべてのモデルサイズおよびデータセットにおいて、拒絶率は0%（または3BのPromSecにおける1.7%のようなニアゼロ）に低下した。
  • 能力の保持: 構文の妥当性は、すべてのアブリタートモデルにおいて**93%**を上回った。この介入は、有効で一貫したPythonコードを生成するモデルの能力を低下させなかった。
• 能力は容量に制約される:
  • 拒絶が取り除かれると、脆弱性注入率はモデルのパラメータ数に応じてスケールした：
    • 14B: 約88〜97%の注入成功率。
    • 7B: 約89〜90%の注入成功率。
    • 3B: 約25〜48%の注入成功率。
  • 3Bモデルの低い成功率は、アブリタレーション後も継続した。これは、制限が拒絶メカニズムではなく、生成能力（構造的な編集を正しく実行する能力）の欠如に起因することを示している。
• 検出器の一致度: 静的解析ツールは異なるレベルの一致度を示した。CodeQLは特定のイディオム（例：flask_mysqldb）に対して高い特異性を示し、Banditは構文パターンに対して高い再現率を示した。不一致を解決するには手動判定が不可欠であった。

意義と主張
本論文は、以下のことを示す予備的な実現可能性調査であると主張している：

1. 拒絶は能力から切り離せる: コードLLMにおける安全性への適合は、低ランクの重み編集によって、基礎となる生成基質を損なうことなく外科的に除去できる「拒絶反射」として機能する。
2. データ生成の生存性: このパイプラインは、ラベル付けの負担を、ノイズの多いオープンエンドな検出から、限定的なバイナリ確認へとシフトさせることで、ラベル付けされた脆弱性データを生成する手法を提供する。14Bおよび7Bモデルは、アブリタレートされると、高品質で仕様駆動型の脆弱性データセットを生成する高いポテンシャルを示す。
3. デュアルユース（二重用途）の含意: 著者らは、単純な重み編集によって拒絶を取り除くことが可能であることは、安全性に配慮されたオープンウェイトモデルが、悪意のあるコードを生成するツールへと容易に転換され得るというセキュリティ上の懸念を浮き彫りにしている。彼らは、複雑な入力に対するアブリタレーションによって露呈する「攻撃対象領域」は、より単純な入力においてもデフォルトですでに存在している（7BのSafeCoderで見られたように）と主張している。
4. 方法論的洞察: 本研究は、安全性に配慮されたモデルを「拒絶＋失敗」の割合のみで評価することは、2つの異なる現象を混同していることを示唆している。モデルが敏感なタスクに対して見せる明らかな失敗は、除去可能な「拒絶」によるものである可能性があり、それは能力の欠如とは別問題である。

著者らは、本研究が単一のCWE（89）、単一の言語（Python）、および一つのモデルファミリーに限定されていることを指摘し、控えめなトーンを維持している。また、これらの知見が、さらなる実証的検証なしに、他のCWEやモデルアーキテクチャに一般化できることを保証するものではないと明記している。