技術要約: AutoDecompiler

問題提起

バイナリのデコンパイルは、脆弱性の発見やマルウェア解析といったセキュリティタスクにおいて極めて重要であるが、既存の大規模言語モデル（LLM）によるアプローチは、主にシングルターン生成パラダイムの下で動作するという根本的な課題に直面している。このパラダイムでは、LLMはデコンパイルされたコードを一度だけ生成して終了する。出力は構文的に読みやすく、たとえコンパイルに成功したとしても、元のバイナリのセマンティック（意味論的）な挙動から逸脱していることが頻繁にある。現在の手法は、コンパイラエラー、実行時例外、入出力（I/O）テストの失敗といった診断信号を活用して、これらのセマンティックなエラーを反復的に修正することができない。さらに、コード生成における既存の強化学習（RL）アプリケーションは、通常、単一の連続的なトークンシーケンスを最適化するものであり、環境からのフィードバックに基づいて自身の出力を診断し修正するというマルチターン型の洗練プロセスを対象としていない。

手法

本論文では、フィードバック駆動型のマルチターン・バイナリデコンパイルを行うために、強化学習を用いて訓練されたデコンパイル特化型LLMであるAutoDecompilerを提案する。本システムは、デコンパイルをワンショットのタスクとしてではなく、検証フィードバックに基づいてコードを修正する反復的な洗練ループとして扱う。

訓練パイプライン

AutoDecompilerの構築は、2段階のパイプラインに従う：

1. ドメイン特化型教師あり微調整（SFT）: ベースモデル（DeepSeek-CoderまたはQwen3-Coder）を、CIDデータセットから抽出した30万個のバイナリ関数のバランスの取れたサブセットを用いて微調整する。この段階では、アセンブリコードまたはデコンパイラが生成した疑似コードをC言語風のソースコードへとマッピングするようにモデルを適応させ、静的な入出力マッピングを確立する。
2. マルチターン洗練のための強化学習（RL）: SFTで初期化されたモデルを、GRPO（Group Relative Policy Optimization）アルゴリズムを用いてさらに最適化する。この段階では、モデルがコード候補を生成し、それがCコードの妥当性チェック、再コンパイル、再実行、およびI/Oテストを通じて検証される。得られたフィードバックは、報酬の計算および後続の洗練ターンのための診断プロンプトの構築に使用される。

主要な技術的革新

マルチターン洗練の課題に対処するため、著者らは4つの新しいメカニズムを導入している：

1. 加重多次元デコンパイル報酬:
   単一の目的関数に依存するのではなく、報酬関数（$R_t$）は以下の4つのコンポーネ تركيبの加重和となる：

   • C言語風の妥当性 ($R_C$): 出力が構文的に有効なC関数であることを保証し、ハルシネーション（幻覚）を排除する。
   • コンパイルおよび実行の正確性 ($R_{exe}$): 再コンパイルの失敗に最も重いペナルティを与え、次いで実行時エラー、I/Oミスマッチの順にペナルティを与える段階的な報酬であり、モデルが実行可能で挙動が一貫したコードを生成することを促す。
   • 構文的報酬 ($R_{syn}$): 生成されたコードと参照ソースとの間のASTレベルの類似性を測定し、構造的な妥当性を維持する。
   • セマンティック報酬 ($R_{sem}$): データフローのマッチングに基づいており、変数間の依存関係や値の伝播関係が保持されていることを保証し、構文を超えたセマンティックな忠実度に対処する。

2. ステージ認識型診断フィードバック構築:
   システムは、異種混合の検証信号（コンパイラエラー、実行時クラッシュ、I/O失敗）を自然言語の診断メッセージへと変換する。これらのメッセージは失敗の段階（例：「コンパイルエラー」、「実行時エラー」、「I/Oミスマッチ」）ごとに分類され、次のターンのためのプロンプトに埋め込まれることで、単なるスカラー報酬だけでなく、実行可能なガイダンスを提供する。

3. 進捗認識型軌跡報酬:
   モデルがショートカットを学習したり、元のセマンティクスから逸脱したりすることを防ぐため、軌跡報酬（$R_{traj}$）は、最終的な結果の報酬と進捗項を組み合わせる。この項は、連続するターン間の報酬の改善量（$\Delta r_t$）を測定し、着実な向上を促し、退行（例：コンパイル可能なコードを非コンパイル可能なコードに変えてしまうこと）に対してペナルティを与える。

4. ターン認識型アドバンテージ再重み付け:
   標準的なRLは、シーケンス内のすべてのトークンに一様なアドバンテージを割り当てる。AutoDecompilerは、各特定の洗練ターンの貢献度に基づいて軌跡のアドバンテージを再分配する戦略を導入している。大幅な報酬改善をもたらしたターンにはより強い最適化信号を与え、効果のない、あるいは有害な修正は重みを低減させる。

結果

AutoDecompilerファミリーは、31万個のバイナリ関数を用いて訓練され、HumanEvalおよびExeBenchベンチマークにおいて、エンドツーエンド（アセンブリ入力）と疑似コードベースの2つの入力設定で評価された。モデルは1.3B、6.7B、30Bのパラメータスケールでインスタンス化された。

• ベースラインとの比較: AutoDecompilerは、同一のモデルサイズおよび入力設定において、シングルターン型の対抗馬や他の最先端（SOTA）デコンパイルLLM（例：LLM4Decompile、CIM、FAE）を一貫して上回った。
  • HumanEvalにおいて、6.7BのAutoDecompiler-E2Eは**再実行可能性（Re-exe）**率63.11%を達成し、従来の最高値（CIM-6.7Bの62.05%）を上回り、GPT-4oやDeepSeek-V3のような汎用モデルを大幅に凌駕した。
  • 疑似コードの設定では、AutoDecompiler-Pscode 30Bは、はるかに少ないパラメータ数であるにもかかわらず、671BパラメータのDecLLMに対して競争力のある結果（75.30% Re-exe）を達成した。
• 効率性: モデルは、先行研究（例：LLM4Decompileは720万サンプルを使用）よりも大幅に小さい訓練データセット（31万サンプル）を使用してこれらの結果を達成しており、フィードバック駆動型洗練アプローチの効率性を証明している。
• アブレーション研究: いずれかの主要コンポーネント（例：実行報酬、進捗認識型軌跡報酬、またはターン認識型アドバンテージ再重み付け）を取り除くと、性能の低下が見られた。これにより、各メカニズムがシステムの有効性に寄与していることが確認された。
• ケーススタディ: 定性的分析により、AutoDecompilerは実行およびコンパイルのフィードバックを活用することで、特定のセマンティックエラー（例：境界条件の欠落）やインターフェースの不一致（例：誤った関数シグネチャ）を正常に修復できることが示された。

意義と主張

本論文は、プログラムのフィードバックを強化学習によって活用することを学ぶことは、LLMベースのバイナリデコンパイルの機能的正確性を向上させるための効果的な方向性であると主張している。

主な貢献は以下の通りである：

• パラダイムシフト: デコンパイルを、シングルターン生成タスクではなく、フィードバック駆動型のマルチターン洗練問題として定式化した。
• 特化した報酬設計: 妥当性、再コンパイル可能性、実行の一貫性、およびセマンティックな忠実度を共同で最適化する多次元報酬システムを導入し、表面的なコードの妥当性を超えた最適化を実現した。
• 洗練メカニズム: ステージ認識型のフィードバックとターン認識型のアドバンテージ再重み付けを開発し、反復的な洗練中の漸進的な向上を確保し、退行を抑制した。
• オープンソース: コミュニティの研究を促進するため、著者らはAutoDecompilerファミリーをオープンソースとして公開している。

著者らは、制約事項として、洗練のターン数がコンテキスト長によって制限されること、現在の範囲が単一関数のデコンパイルに限定されていること（プロシージャ間コンテキストを欠いている）、および高度に難読化されたバイナリへの汎用性が依然として課題であることを認めている。しかし、結果は、反復的なフィードバックを用いて訓練された、より小さく特化したモデルが、より大きなシングルターンモデルと比較して優れた機能的正確性を達成できることを示している。