技術要約: ProjAgent: リポジトリレベルのコード生成のための手続き的類似性検索

問題提起

リポジトリレベルのコード生成には、大規模言語モデル（LLM）が複雑なファイル間の依存関係、プロジェクト固有の慣習、および分散されたユーティリティをナビゲートしながら、ターゲットとなる関数を実装する必要があります。このタスクにおける既存の検索拡張生成（RAG）アプローチは、主に語彙的（例：BM25）または意味的（例：密な埋め込み）な類似性に依存しています。

著者らは、これらの手法における決定的な限界を指摘しています。それらの手法は、命名、データ型、または適用ドメインが大きく異なるものの、**同様の手続き的ロジック（procedural logic）**を実装しているリポジトリ内の関数を検索することに失敗することが多いという点です。例えば、宇宙論モジュールにおける入力形状の検証関数は、物理学モジュールにおける温度入力の検証関数と手続き的には同一である可能性がありますが、表面的な類似性指標（語彙的または意味的）では、両者を結びつけることができません。この「手続き的ギャップ」は、LLMがAPIを幻覚（ハルシネーション）したり、プロジェクトの慣習に違反するコードを生成したりする原因となります。

手法: ProjAgent

本論文は、手続き的類似性を明示的な検索シグナルとして導入し、エージェント・ワークフローと静的解析フィードバックループ内に統合した、リポジトリレベルのコード生成システムであるProjAgentを提案しています。

1. 手続き的類似性の表現

実装動作を表面的なテキストを超えて捉えるために、ProjAgentはLLMの隠れ状態から導出された**推論サブスペース投影（reasoning-subspace projections）**を利用します。

• サブスペース分解: Huら[14]に基づき、本システムはLLMの隠れ状態空間を、意味的サブスペース（言語的表現）と推論サブスペース（内部ロジック）に分解します。これは、アンエンベディング層に対する特異値分解（SVD）を通じて行われます。
• 投影: コードの各ステップの隠れ状態は、手続き的ロジックを分離するために推論サブスペースへと投影されます。
• デバイアス（偏り除去）: ベクトルが内容に関わらず共通の方向にクラスター化する異方性（anisotropy）の問題に対処するため、著者らは主成分分析（PCA）に基づくデバイアス工程を導入しています。これにより、支配的な共通方向と平均中心化が除去され、手続き的マッチングにおけるコサイン類似度の識別能力が大幅に向上します。

2. エージェントによる検索ワークフロー

ProjAgentは、ターゲット関数のための豊かなコンテキストを構築するために、多段階の検索プロセスを採用しています。

• オフライン前処理: リポジトリを前処理し、コンテキスト関数を論理的ステップ（例：入力検証、状態変換）に分解します。各ステップは元のコードに対して検証された後、推論サブスペースへと投影されます。
• 手続き的検索（エージェントによる実行）:
  • シード探索: ターゲット関数をステップに分解します。投影類似性を通じて、手続き的に類似した初期のコンテキストステップが特定されます。
  • エージェントによる探索: LLMエージェントは、ツール（例：read_func, search_func）を使用してリポジトリ内をナビゲートし、手続き的に類似したステップを含む可能性のある新しい関数を発見し、シードセットを反復的に拡張します。
  • シード拡張と検証: 投影類似性の閾値を用いて、未処理の関数へと検索範囲を広げます。検証ステップ（LLMベース）により、特に汎用的な操作に関する偽陽性をフィルタリングし、高品質な手続き的マッチングを確保します。
• 意味的検索: 手続き的ロジックを補完するために、語彙的（BM25）および意味的（密な埋め込み）スコアのハイブリッドを用いて、意味的に関連するシンボル（API、クラス、定数）を検索します。これにより、LLMが抽出されたロジックを実装するために必要な、リポジトリ固有のエンティティにアクセスできるようにします。
• コード生成とフィードバック: LLMは、組み合わせられた手続き的および意味的なコンテキストを使用してコードを生成します。その後、保守的な静的解析フィードバックループが、コードを反復的に洗練させます。これはASTベースの構文チェックと、メソッド呼び出し、フィールドアクセス、変数解決などの意味的一貫性チェックを実行し、エラーを修正のためにLLMにフィードバックします。

主な貢献

1. 検索次元としての手続き的類似性: 本論文は、手続き的類似性を、語彙的または意味的な重複が欠けていても論理的パターンを共有する関数間のギャップを埋める、効果的かつ未探索の検索シグナルとして導入しました。
2. 推論サブスペース投影: 著者らは、手続き的ロジックを表現するためにLLMの隠れ状態投影を活用しており、これにより異なる命名規則やドメインをまたいで関連する関数を検索することを可能にしました。
3. ProjAgentシステム: 手続き的コンテキストの発見のためのエージェント・ワークフロー、ハイブリッド検索（手続き的＋意味的）、および反復的なコード修復のための静的解析フィードバックループを統合した完全なシステムを提供しました。
4. 包括的な評価: アブレーション研究と検索コンポーネントの寄与分析を含む、REPOCODベンチマークを用いた厳格な評価を実施しました。

結果

Qwen2.5-Coder-14B-Instructモデルを用い、REPOCODベンチマーク（11のリポジトリにわたる980の問題）で評価を行いました。

• パフォーマンス: ProjAgentは**Pass@1で41.14%**を達成し、以下の既存のベースラインを上回りました。
  • SpecAgent (SOTA): 34.52%
  • 密な検索 (Dense Retrieval): 28.83%
  • 疎な検索 (Sparse Retrieval): 26.58%
  • 同一ファイル内検索 (Same-File Retrieval): 14.98%
• アブレーション研究:
  • 手続き的検索を除去すると、最大の性能低下（41.14% $\to$ 25.76%）が発生し、実装ガイダンスを提供する上でのその決定的な役割が浮き彫りになりました。
  • 意味的検索を除去した場合も、性能が大幅に低下（41.14% $\to$ 32.29%）し、リポジトリ固有のシンボルの必要性が確認されました。
  • フィードバックループを除去した場合は、静的解析の保守的な性質に起因して、緩やかな減少（41.14% $\to$ 40.29%）にとどまりました。
• 検索の有効性: 投影類似性手法は、非類似のコンテキストをフィルタリングする上で非常に効果的（「leftover」グループにおいて高い精度）であることが分かりましたが、「promoted」グループにおける偽陽性を処理するためには、二段階のデザイン（投影＋検証）が必要でした。

重要性と主張

本論文は、手続き的類似性が、リポジトリレベルのコード生成における効果的かつこれまで未探索であった検索次元であると主張しています。著者らは、成功するコード生成は、意味的に関連するコードを検索することだけでなく、同じ基礎となる計算手続きを共有するコンテキストを検索することにも依存すると論じています。

手続き的類似性を従来の語彙的および意味的なシグナルと統合することで、ProjAgentは、ソースコードがドメインや語彙において大きく異なる場合でも、LLMが複雑なロジックを実装するように導けることを示しました。この研究は、表面的なテキストマッチングを超えて、コードの機能的な意図を捉える、挙動を意識した（behavior-aware）検索手法へのシフトを示唆しています。著者らは、結果がPythonリポジトリおよび使用された特定のバックボーンモデルに特有であること、および検索の網羅性がさらなる改善へのボトルネックであることに触れ、外部妥当性については謙虚な姿勢を保っています。