論文「Unseen-Codebases-Domain Data Synthesis and Training Based on Code Graphs」の技術的サマリー

本論文は、大規模言語モデル（LLM）がトレーニングデータに含まれていない「未見のコードベース（Unseen Codebases）」、すなわち新規リリースされたライブラリや企業固有のシステムに対して、高いハルシネーション（幻覚）や性能低下を示す問題に焦点を当てています。既存の推論時拡張（RAG など）や単純なプロンプトエンジニアリングでは、コードベース内のコンポーネント間の暗黙的な関係性や正しい組み合わせを理解することが困難であるため、トレーニング段階での知識注入が必要であると指摘し、UCD-Training という新しいフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

• 未見コードベースへの対応困難: LLM は GitHub などの成熟した公開コードエコシステムでトレーニングされていますが、新規リリースされたフレームワークや企業内のプライベートコード（未見コードベース）には対応できていません。
• 既存手法の限界:
  • RAG (Retrieval-Augmented Generation): 推論時に関連コードを検索して注入する方法は、明示的なハルシネーションを軽減しますが、コンポーネント間の「意図された使い方のパターン」や「複雑な依存関係」をモデルが内在的に理解・推論する能力を根本的に向上させるには不十分です。
  • 既存のデータ合成手法: OSS-Instruct などの手法は、既存の公開リポジトリからの「使用例（Usage-oriented code）」に依存しています。しかし、未見コードベースではソースコードの実装のみが提供され、適切な使用例が存在しないため、これらの手法は適用できません。
• 課題: ソースコードの実装のみから、未見コードベースの構造と使用パターンを学習し、モデルに注入するための効果的なデータ合成とトレーニング手法の確立。

2. 提案手法：UCD-Training (Methodology)

UCD-Training は、未見コードベースのソースコードからコードグラフを構築し、そのグラフに基づいて推論を意識したデータを合成する2 段階のトレーニングフレームワークです。

ステージ 1: コードグラフ構築と依存関係保持型 CPT (Continued Pre-training)

1. コードグラフ構築: ソースコードを解析し、ファイル、クラス、関数、メソッド、グローバル変数をノード、依存関係・呼び出し・インクルードなどをエッジとしてコードグラフを構築します。
2. 依存関係保持型 CPT データ生成:
   • 従来のトポロジカルソートでは、実際の依存関係を持つファイルがトレーニングサンプル内で隣接しない可能性があります。
   • 本手法では、深さ優先探索（DFS） を用いて依存関係グラフを走査し、依存関係を持つファイルが連続して現れるようにファイル内容を連結します。
   • これにより、モデルがコードベースの構造とファイル間の依存関係を「暗記」し、理解することを促進します。

ステージ 2: グラフに基づく SFT (Supervised Fine-Tuning)

CPT で得たモデルに対し、3 種類の合成データを用いて教師あり微調整を行います。すべてのデータには、正解レベルのコンテキストに基づいた明示的な推論トレース（Reasoning Traces） が付与されます。

1. 単一ホップ関係推論データ (Single-hop relation reasoning data):
   • コードグラフのエッジ（例：関数 A が関数 B を呼び出す）から生成。
   • 構造的な関係性を理解させるためのルールベースと LLM による拡張を組み合わせ、正解・不正解サンプルを生成します。
2. 組み合わせ API 推論データ (Compositional API reasoning data):
   • コードベース内部のテストケースから抽出された API の組み合わせを基に、人間が設計する試験問題のようなタスク（概念理解、穴埋め、プログラミング課題）を生成します。
   • ランダムな組み合わせではなく、実用的な使用シナリオを反映させるため、テストケースを「高品質な事前知識」として利用します。
3. コードベース利用データ (Codebase utilization data):
   • 内部テストケースを変換し、機能実装とアサーションを分解して、API の呼び出しパターンや機能シナリオを学習させるタスクを生成します。

品質管理: 合成されたデータに対して、構文チェック、意味的整合性の確認、コンパイル・実行テストなど、多段階のフィルタリング（ポストフィルタリング）を適用し、高品質なトレーニングデータのみを抽出します。

3. 主要な貢献 (Key Contributions)

1. UCD-Training フレームワークの提案: ソースコードのみからコードグラフを構築し、依存関係保持型 CPT と推論トレース付与の SFT を組み合わせることで、未見コードベースへの適応を可能にした新しいトレーニング手法。
2. UnseenCodeBench ベンチマークの作成: C++ と Python の 2 言語にまたがる、未見コードベースを対象とした新しい評価ベンチマークの構築。既存のベンチマークとは異なり、複数の言語やコードベースを同時に扱う現実的な企業シナリオを想定しています。
3. 広範な実験と一般性の証明: 異なるプログラミング言語、モデルサイズ（8B〜32B）、モデルアーキテクチャにおいて、UCD-Training が既存のベースライン（RAG、OSS-Instruct、COTTON など）を凌駕することを示しました。

4. 実験結果 (Results)

• 性能向上: UnseenCodeBench において、UCD-Training は既存のベースラインを7.2%〜26.1%（Avg. pass@1）上回りました。
  • 例：GPT-5.1 を用いた RAG ベースラインと比較して、8B モデルで**25.5%**の絶対的な改善を達成。
  • 複雑なコードベース（sqlgen）において、RAG は 9.5% の pass@1 しか達成できませんでしたが、UCD-Training（8B）は 19.1% を達成しました。
• アブレーション研究:
  • 3 種類の SFT データ（単一ホップ、組み合わせ API、利用データ）のすべてが性能向上に不可欠であり、特に「組み合わせ API 推論データ」の除去は最大で 29.7% の性能低下をもたらしました。
  • 推論トレースのフィルタリングが品質と性能に大きく寄与していることが確認されました。
• スケーラビリティと一般性:
  • モデルサイズが大きくなるほど性能が向上（8B → 14B → 32B）。
  • 複数の言語やコードベースを混合してトレーニングした場合でも、単一コードベース適応に比べて性能低下はわずか（1.1%〜4.3%）であり、実用的な企業環境での適用可能性が高いことを示しました。
• 現実シナリオ: 複数の言語とコードベースを扱うシミュレーション環境において、UCD-Training は pass@1 36.0% を達成し、すべてのベースラインを 4.7%〜23.6% 上回りました。

5. 意義と結論 (Significance)

本論文は、LLM が未見のドメインやプライベートコードに直面した際の課題に対し、単なる検索（RAG）に依存せず、構造的な理解と推論能力をトレーニング段階で注入することの重要性を証明しました。

• 実用性: ソースコードのみが存在する状況（新規ライブラリや企業内システム）でも、高品質なトレーニングデータを自動生成し、モデルを適応させる実用的なソリューションを提供します。
• 技術的革新: コードグラフを基盤としたデータ合成と、推論トレースを伴う SFT の組み合わせは、コード生成タスクにおける「構文の正しさ」だけでなく、「ドメイン固有の文脈と使用パターンの理解」を深める新たなパラダイムを示唆しています。
• 将来展望: 本手法は、ソフトウェア開発の効率化や、セキュリティ上の理由からコードが公開されていない環境での AI 支援ツールの発展に大きく寄与する可能性があります。

要約すれば、UCD-Training は「未見のコード」を「理解し、使いこなせる」ようにする、コードグラフと推論ベースのデータ合成による画期的なトレーニングアプローチです。