技術的概要：再帰的でありながら修正可能：安全なコード生成のためのデコーディング修正

1. 問題定式化

標準的な大規模言語モデル（LLM）によるコード生成は、厳密に単調な自己回帰プロセスとして定式化される。このパラダイムでは、トークンが不変の接頭辞に線形的に付加されるため、一度トークンが生成されると、同じフォワードパス内でそれを修正することはできない。この「付加のみ」の制約は、プログラミングの認知プロセス（本質的に前方生成とオンザフライ修正が交互に行われる）との間に根本的なミスマッチを生み出している。

著者らは、標準的な自己回帰のボトルネックの主な限界を 2 つ特定している：

• 不変性制約: 現実世界のトレーニングコーパスには多様な脆弱性パターンが含まれている。モデルが安全でないトークンをサンプリングすると、それは不変のコンテキストの一部となり、将来のすべての確率を条件付ける。モデルには、この誤りを撤回するネイティブなメカニズムが存在しない。
• コミットメントの罠: モデルが安全でないスパンを生成すると、自己回帰目的は論理的整合性を維持するために、この誤りを真実として扱うことを強制する。その結果、モデルは誤りに「さらに固執」することを余儀なくされ、局所的な欠陥がシステム全体の失敗へと連鎖する。

既存の解決策は、事後エージェントや静的解析器などの外部コンポーネントを使用してこのギャップを埋めようとする。しかし、これらのアプローチは、複数の推論ラウンドに起因する高い遅延、完全なコンテキストの再エンコーディングによる大きなトークンオーバーヘッド、またはモデルの内在的な意味推論能力を活用できない外部ツールへの依存という欠点がある。

2. 手法：修正のストリーム

本論文は、コード生成を単調なストリームから動的で自己修正可能な軌道へと昇華させるパラダイムシフトであるStream of Revisionを提案する。中核的な革新は、修正ループをデコーディングプロセス内部に内蔵し、モデルが単一のフォワードパス内で履歴をバックトラックして編集できるようにすることである。

2.1. 表現プリミティブ：仮想カーソル

このフレームワークは、モデルの語彙（$V_{code}$）に操作トークンのセット（$V_{edit}$）を追加し、拡張語彙 $V = V_{code} \cup V_{edit}$ を形成する。これらのトークンは、「仮想カーソル」のための実行可能な制御命令として機能する。安全なコード生成において、修正プロセスは 3 段階のエピソードとして操作化される：

1. 脆弱性検出（アクショントリガー）: 特殊トークン（$\tau_{trig}$）が内在的な検出シグナルとして機能する。モデルがこのトークンを予測すると、標準的な生成から「修正エピソード」へ遷移し、現在のコード接頭辞に安全でないパターンが含まれている可能性を示す。
2. 脆弱性の局所化（コンテンツアドレス可能なスコープ）: トリガー発動後、モデルはスコープ区切り文字（例：<scope>s</scope>）で囲まれたコードセグメントを繰り返すことで、脆弱なスパン（$s$）を指定する。ハルシネーションを防ぐため、フレームワークは動的なログitマスクを通じて厳密な部分文字列不変性を強制する。これにより、生成されたスコープは常に既に生成された接頭辞の有効な部分文字列（$s \sqsubseteq y_{<t}$）であることが保証される。
3. 脆弱性の修復（明示的パッチ合成）: モデルは、パッチ区切り文字（例：<patch>s'</patch>）で囲まれた修正パッチ（$s'$）を合成する。この表現は、修復を局所化された脆弱なコードに明示的に条件付ける。

修正エピソードは以下のようにシリアライズされる：$E = \tau_{trig} \oplus \langle scope \rangle s \langle /scope \rangle \oplus \langle patch \rangle s' \langle /patch \rangle$。

2.2. 決定論的レンダラー

生出力軌道（$T$）はコードトークンと修正アーティファクトを交互に含み、直接実行可能ではない。決定論的レンダラー（$\Phi$）はストリームインタプリタとして機能する：

• ストリーム透過性: 標準的な生成中は、トークンがユーザー向けバッファに付加される。
• 不透明な修復: 修正エピソードが検出されると、局所化トークンとパッチトークンは内部的にバッファリングされ、ユーザー出力からは抑制される。
• アトミックコミットメント: 閉じパッチトークンを検知すると、レンダラーはインプレースのスプライスを実行し、局所化されたスパン $s$ の右端の出現箇所をパッチ $s'$ に置換する。最終プログラムは $Y = \Phi(T)$ となる。

2.3. 学習戦略

• 意味的埋め込み初期化: 新規トークンのコールドスタート問題を緩和するため、著者らは特殊トークンの埋め込みを、それらの自然言語による意味記述（例：「バックトラック操作をトリガーする」）の加重平均を用いて初期化する。
• 教師あり微調整（SFT）: モデルは、現実世界の CVE レコードから派生した拡張軌道で学習される。トレーニングデータは、脆弱な関数とそのパッチ版のペアからなり、これらは修正軌道として線形化されている。
• データ効率: 著者らは、モデルが自己修正行動を高いデータ効率で学習できることを実証しており、堅牢な修正行動を引き出すために必要な正例は約 1,000 件だけで済む。

3. 主要な貢献

1. デコーディング時間の再定式化: 実行可能な修正トークンで出力空間を拡張し、決定論的レンダラーを通じて生成された軌道を最終プログラムにコンパイルする「Stream of Revision」の提案。
2. 安全なコーディングの操作化: 検出、厳密な制約下での局所化、明示的なパッチ合成という構造化された 3 段階エピソードとして安全なコーディング修正を定義し、これをデコーディングプロセスにネイティブに組み込むこと。
3. 実証的検証: 自己修正がデータ効率に優れており、この手法が CyberSecEval 2 ベンチマークにおいてセキュリティを大幅に向上させながら、一般的なコーディング有用性を維持することを示すこと。

4. 実験結果

著者らは、Qwen2.5 や CodeLlama などのモデルを用いて、セキュリティについてはCyberSecEval 2 (CSE2) ベンチマークで、一般的な有用性についてはHumanEvalで「Stream of Revision」を評価した。

• セキュリティの有効性: 対象ドメイン（C および C++）において、「Stream of Revision」は、セキュリティパスレート（SPR）でバニラ LLM より 9.55%–14.92% 上回った。また、SafeCoder や ProSec などの専門的なベースラインに対しても、同等かそれ以上の性能を示した。
• ゼロショット一般化: C/C++ のデータのみで学習されたにもかかわらず、この手法は Python、Java、JavaScript、C# などの分布外言語への顕著なゼロショット転移を示し、モデルが構文への過学習ではなく言語に依存しないセキュリティパターンを学習していることを示唆している。
• 有用性の維持: この手法は HumanEval における Pass@1 および Pass@10 スコアを維持、あるいはわずかに向上させ、修正メカニズムが一般的なコーディング能力を低下させないことを示している。
• 効率性: 事後のエージェントベースラインと比較して、「Stream of Revision」は入力トークン消費を6.5 倍削減しながら同等のセキュリティ性能を達成した。事後エージェントは完全なコンテキストの再エンコーディングによる $O(L)$ オーバーヘッドを被るのに対し、「Stream of Revision」は初期パス中に介入するため、局所パッチに対して定数オーバーヘッド $O(1)$ しか発生しない。

5. 意義と主張

本論文は、「Stream of Revision」が、単一パス生成の速度とエージェントによる修復の精度の間のギャップを埋めると主張している。「ドラフトと修正」のプロセスを内蔵化することで、このフレームワークは、エンドユーザーにメカニズムを露出させることなく、または反復的なエージェントワークフローの許容できない遅延を伴うことなく、モデルにジャストインタイム修正を実行させることを可能にする。

著者らは、彼らのアプローチが DPO や ProSec などの重みレベルのアライメント手法と直交することを強調している。アライメントは脆弱性の発生確率を低減するためにグローバルな分布をシフトさせるのに対し、「Stream of Revision」は、脆弱性が発生した際にそれを阻止するためのランタイムの安全ガードを提供する。両方の手法を組み合わせることで、相乗的な性能向上が得られる。

この研究は、標準的な自己回帰デコーディングの単調な硬直性に挑戦し、コード生成を静的なシーケンスではなく動的な軌道（$Y = \Phi(T)$）として捉えるべきであると提案している。著者らは、このアプローチが最小限の推論オーバーヘッドで脆弱性を大幅に削減し、現実世界のソフトウェア開発ワークフローにおける安全なコード生成のための実用的な解決策となると主張している。