技術的サマリー：メタステップデコーディングによる検証器誘導型コード翻訳

問題定義

大規模言語モデル（LLM）は能力のあるコード生成器となっていますが、困難な入力に対する性能向上は、より大規模な事前学習のみならず、テスト時スケーリング（推論計算量の追加割り当て）を通じて追求されるようになっています。既存のテスト時スケーリング手法は、主に正しさを厳密に検証することが困難なオープンエンドな領域向けに設計されています。その結果、それらはモデル自体から導出された確率的シグナル（トークン尤度、学習された報酬モデルなど）または反復サンプリングに依存しています。

しかし、コーディングタスクには、厳密な合格/不合格フィードバックを提供する決定論的外部検証器（コンパイラ、型チェッカー、振る舞いテスト）が存在します。現在のアプローチは通常、これらの検証器を生成完了後の事後（post-hoc）にのみ適用します。これは非効率的です。なぜなら：

1. 誤りの伝播：検証器が検出可能な誤りが自己回帰的なプレフィックスに入り込むと、モデルは破損したコンテキストを条件として扱ってしまいます。
2. 遅延した修正：誤りは完全なプログラムが生成された後にのみ検出されるため、モデルは誤った軌跡から回復するのではなく、それを継続する傾向があります。
3. 計算リソースの浪費：事後のフィルタリングや再ランク付けは、完全なシーケンスを破棄し、初期の（欠陥のある）生成に費やされたトークンを無駄にします。

核心的な課題は、過剰なオーバーヘッドを招くことなく、誤りが累積する前に生成を誘導するために、決定論的検証器シグナルを直接自己回帰デコーディングループに統合する方法です。

手法：デコーディング時検証（DTV）

著者らは、明示的な状態機械コントローラの下でトークン生成と決定論的検証器呼び出しを交互に行うフレームワークであるデコーディング時検証（DTV）を導入します。DTV は、文やブロック、関数などの構造的境界を、検証器誘導型デコーディングのためのメタステップとして扱います。

中核メカニズム

1. 構造的境界検証：

   • 任意のトークンプレフィックスを検証する代わりに、DTV は構造的境界（例：文またはブロックの末尾）で生成を一時停止します。
   • 各境界において、現在のプレフィックスは検証器が消費可能なアーティファクト（例：コンパイル可能なスニペット）にレンダリングされます。
   • 適用可能なオラクル（コンパイラ、型チェッカー、リンター）が呼び出されます。
   • 不変条件：すべての適用可能な検証器を合格したプレフィックスのみが、その後のデコーディングのための有効な条件付けコンテキストとして「コミット」されます。

2. エスカレーションを伴う構造化認識ロールバック：

   • 検証が失敗した場合、コントローラは単に生成全体をやり直すわけではありません。
   • 検証器の診断によって関与する最小のスコープ（例：文、ブロック、関数）を特定します。
   • システムは、そのスコープの直前のチェックポイントまでプレフィックスをロールバックします。
   • エスカレーション：微細なスコープで繰り返し失敗が発生する場合、ロールバックスコープは拡大されます（例：文からブロックへ）。これにより、モデルはコードのより広範な領域を修正できます。

3. プロンプト拡張によるフィードバック：

   • 「盲目的な再サンプリング」を防ぐため、DTV はモデルのコンテキストを検証器の診断情報で更新します。
   • フィードバック状態（エラーメッセージとソースアンカー）はテキストブロックにエンコードされ、プロンプトに注入されます。
   • モデルは、この更新されたコンテキストの下で、インライン継続（診断情報をコメントとして追加）またはパッチベースの修復（最小の差分を要求）のいずれかを通じて生成を再試行します。

制御フロー

このプロセスは、より広範なテスト時スケーリング戦略（例：自己洗練）内の内部ループとして動作します：

1. 生成（GENERATE）：トークンプレフィックスを次の構造的境界まで拡張します。
2. 検証（VERIFY）：プレフィックスをレンダリングし、オラクルを実行します。
3. コミット（COMMIT）：すべてのオラクルが合格した場合、プレフィックスをチェックポイントします。
4. 回復（RECOVERY）：いずれかのオラクルが失敗した場合、フィードバック状態を更新し、適切なスコープまでロールバックして再生成します。
5. 終了（TERMINATE）：プログラムレベルの成功または予算の枯渇（中止）時にループを終了します。

主要な貢献

1. フレームワーク設計：DTV は、構造的境界を検証器誘導型デコーディングのためのメタステップとして扱い、コントローラ、検証スコープ、検証器スイートを構成可能なコンポーネントとして分離する初のフレームワークです。
2. メカニズムの統合：構造的境界検証、エスカレーションを伴うスコープ認識ロールバック、診断フィードバック拡張という 3 つの異なるメカニズムを組み合わせ、誤りの伝播を防ぎ、無駄なトークンを削減します。
3. 実証的検証：著者らは、相補的な検証器構造を持つ 2 つの翻訳タスクで DTV を評価しました：
   • C-to-Rust：コンパイラチェック（rustc）と差分テストを組み合わせます。
   • JavaScript-to-TypeScript：静的型チェック（tsc）とリンティング（ESLint）に依存します。

実験結果

評価には、マッチングされたトークン予算（ソーストークンの 16 倍）の下で生成器としてQwen3-4BおよびGemma-4-E4Bを使用しました。

性能向上

• C-to-Rust：自己洗練を伴う DTV は、単純な自己洗練（naive self-refine）のコンパイル合格率を**72.3%から82.0%**に向上させました。
• JavaScript-to-TypeScript：DTV は合格率を**33.3%から46.0%**に向上させました。
• トークン効率：DTV は、単純なベースラインと比較してケースあたりの使用トークン数を少なくしながら、これらの高い合格率を達成しました。
• ループ内への影響：外部ループの再試行（ワンショット）なしでも、ループ内検証のみで、直接デコーディングに対して C-to-Rust で**+30.7 ポイント**、JS-to-TS で**+16.7 ポイント**の合格率向上が見られました。

ベースラインとの比較

• パレート支配：DTV/自己洗練は、コスト対合格率のフロンティアの左上領域を占め、単純な自己洗練、Best-of-N（BoN）、およびコンパイルフィードバックベースのS* ベースラインを上回りました。
• コスト効率：S* は C-to-Rust において 75.5%（DTV は 84.5%）という低い合格率を達成しつつ、ケースあたりのトークン消費量が約4.7 倍多かったです。DTV の優位性は、単一の試行内で構造的境界において検証を行うことに起因し、シグナルを完全な再起動ではなく、早期の局所的ロールバックに変換する点にあります。
• モデル間ロバスト性：この向上は Gemma-4-E4B にも転移し、DTV は 4 つのモデル - タスクペアのうち 3 つで単純なベースラインを上回りました。

除去実験（アブレーションスタディ）

DTV の 3 つの主要メカニズムのいずれかを除去すると性能が低下します：

• フィードバックなし：合格率は 11.0 ポイント低下します（診断ガイドなしの内部ループ再サンプリングは非効率的です）。
• エスカレーションなし：合格率は 6.0 ポイント低下します（文スコープにロールバックを制限することは、非局所的な誤りを修正できません）。
• 検出 - 中止（Detect-and-Abort）：合格率は 15.0 ポイント低下します（回復を外部ループに遅延させることは、失敗した内部試行の予算を浪費します）。

意義と主張

本論文は、検証器誘導型デコーディングが、コード翻訳における推論時計算の有効な活用であると主張しています。検証を事後のフィルタからデコーディングプロセスの不可欠な部分へと移行させることで、DTV は以下の点を実現します：

1. 誤りの蓄積の防止：破損したプレフィックスの拡張をモデルに止めさせ、自己回帰生成に内在する暴露バイアスに対処します。
2. 計算の最適化：同じ検証器シグナルを、完全な生成を破棄するのではなく、早期の局所的修復に変換し、より有利な合格率 - コストのトレードオフをもたらします。
3. 汎用性：このフレームワークは、決定論的プロセスレベル検証器と構造的レンダラを持つ任意のタスクに適用可能ですが、現在の評価はコード翻訳に限定されています。

著者らは、DTV が局所的で実行可能な診断を提供するオラクルに依存しており、新しいタスク（レンダラ、パーサー、オラクルドライバ）には実装に多大な労力を要すると指摘しています。また、DTV がグローバルな再設計を必要とする非局所的な意味論的誤りを解決するものでも、すべての入力における振る舞いの同等性を保証するものでもないと主張するのではなく、評価されたタスクにおいてコンパイル時の正しさを向上させ、トークンの浪費を削減するものであると主張しています。