技術概要：マルチルブリック潜在推論によるコーディングエージェントのためのコンテキスト剪定

問題定義

LLM 駆動のコーディングエージェント（例：SWE-agent、OpenHands）は、決定的な「コンテキストの壁」に直面している。最先端のフレームワークはリポジトリレベルの複雑なタスクを自動化する一方で、エージェントはトークン予算の約 67〜76% を単にファイルを読み取ることに費やしている。このコンテキストの肥大化は、 prohibitively な API コストを招き、「注意の希薄化」や「中間での消失（lost-in-the-middle）」現象を引き起こす。これらは無関係なコードセグメントが推論精度を低下させる現象である。

既存の学習ベースの剪定手法（SWE-Pruner など）は、コンテキスト削減を単一目的の条件付きランダムフィールド（CRF）を用いた構造化されたシーケンスラベリングタスクとして定式化する。しかし、この定式化はモデリングのボトルネックを生み出す。すなわち、連続する意味的スパンや、インポートや制御フローのペアのような疎な構造的サポート行など、コードの関連性のすべての側面を、単一の遷移行列でモデル化しようとするのである。その結果、モデルは密な意味的ブロックにバイアスがかかり、構造的に必要不可欠な行（インポート、クラスヘッダー、try/except ブロックなど）を頻繁に破棄してしまう。これらの行は意味スコアが低くても、構文の妥当性とエージェントの推論には不可欠である。これにより、構文の破損、エージェントの再試行の繰り返し、そして最終的には剪定していないベースラインよりも高いトークン消費量につながる。

手法：LaMR（潜在マルチルブリック）

著者は、コードの関連性を解釈可能な品質次元に分解し、専用の CRF ヘッドでモデル化してクエリ適応型ゲートネットワークで融合する構造化された剪定フレームワークであるLaMRを提案する。

1. 潜在マルチルブリック定式化

単一の関連性スコアの代わりに、LaMR は保持の理由を $K$ 個の潜在ルブリックに分解する。実際には、著者は 2 つの次元を使用する。

• 意味的証拠（Semantic Evidence）: クエリに直接関連する行（トピカルな関連性）。
• 依存性サポート（Dependency Support）: 証拠を解釈するために構造的に必要不可欠な行（インポート、スコープヘッダー、try/except のような制御フローの兄弟節）。

各次元 $k$ は、独自の学習可能な遷移行列 $T^{(k)}$ を持つ専用 CRF ヘッドによってモデル化される。これにより、モデルは異なる逐次的ダイナミクスを学習できる。すなわち、意味的関連性は長い連続ブロックを好む（高い自己遷移）のに対し、依存性サポートは頻繁な交互（散在する行やペア構造）を許容する。

2. クエリ適応型ゲート

軽量なミクスチャー・オブ・エキスパート（MoE）ゲートネットワークが、エージェントのクエリに基づいてルブリックごとの放出を動的に重み付けする。各トークン $t$ に対して、ゲートは重み $g_t \in \Delta^{K-1}$ を生成し、融合された放出は以下のように計算される。
$$e^{fused}_t = \sum_{k=1}^K g_{t,k} E_{t,k}$$
これにより、モデルは特定のタスクの意図に応じて、意味的シグナルと構造的シグナルの間の焦点をシフトさせることができる。

3. ルブリック誘導ラベリング（AST ベースのノイズ除去）

追加の人間の注釈なしにこれらの次元を監督するために、著者はルブリック誘導ラベリングを導入する。既存の教師 LLM（SWE-Pruner のトレーニングコーパス）からのバイナリ保持/剪定マスクと、静的プログラム分析（AST）を用いて、微細なルブリックラベルを導出する。

• 意味的ラベル: 教師のドキュメントレベルの関連性スコアを保持された行に直接マッピングする。
• 依存性ラベル: AST 辺を介して、保持された行からその構造的依存関係（インポート、定義、囲むヘッダー、制御フローの兄弟節）へスコアを伝播させる。
  このプロセスは、教師が低い意味スコアに基づいて剪定した可能性のある構造的に必要不可欠な行を回復することで、教師のラベルを実質的に「ノイズ除去」する。

4. アーキテクチャと推論

• バックボーン: 多層特徴融合（初期層、中間層、最終層の隠れ状態を連結）を備えた 0.6B パラメータのリランカー（Qwen3-Reranker）。
• トレーニング: 融合された放出に対する主要な CRF 損失と、ルブリック固有の CRF 損失の加重和でモデルをトレーニングする。
• 推論: LaMR は軽量ミドルウェアとして機能する。コードチャンクを処理し、融合された放出に対してビタビ復号を実行してバイナリの保持/剪定決定を生成し、構文の妥当性を確保するために、欠落したスコープヘッダー、インポート、制御フローの同伴を再挿入する最終的なAST 認識ポストプロセッシングパスを適用する。

主な貢献

1. 潜在マルチルブリック定式化: 意味的および依存性次元のための個別の CRF ヘッドでコードの関連性をモデル化することにより、単一目的の剪定における遷移の競合を特定し、解決する。
2. クエリ適応型ゲート: エージェントのクエリに基づいて意味的および構造的シグナルを動的にバランスさせる MoE ゲートネットワークを導入する。
3. AST ベースのラベルノイズ除去: バイナリマスクから多次元ラベルを抽出するゼロコストパイプラインを開発し、追加の注釈なしに教師データにおける欠落した構造的トークンを修正する。
4. 優れた効率とパフォーマンスのトレードオフ: 自己完結型の証拠サポート単位（タスク関連行＋構文コンテキスト）を保持することが、剪定されたコンテキストがフルコンテキストベースラインと同等かそれ以上の性能を発揮しつつ、トークン使用量を大幅に削減することを可能にすることを示す。

実験結果

著者は、2 つのバックボーンモデル（Claude Sonnet 4.5 および Opus 4.6）を使用して、4 つのベンチマーク（SWE-Bench Verified、SWE-QA、LCC、LongCodeQA）で LaMR を評価した。

• マルチターンタスク（SWE-Bench、SWE-QA）:

  • LaMR は、単一目的の SWE-Pruner に対する 16 回の直接比較のうち12 回で勝利した。
  • マルチターンタスクにおいて、剪定していないベースラインと比較して最大31% 多いトークンを節約する。
  • 重要なのは、SWE-Pruner は構造的失敗による再試行により、より強力なモデルを使用するとトークン使用量が増加することがあるのに対し、LaMR は一貫してオーバーヘッドを削減または制限することである。
  • 性能低下は軽微（例：成功率で 0.6 パーセントポイント以下）であるのに対し、効率性の向上は著しい。

• シングルターンタスク（LCC、LongCodeQA）:

  • LaMR は、すべての圧縮制約（4 倍および 8 倍）において、タスク品質指標（完全一致、編集類似度、精度）を向上させる。
  • 注目すべき成果として、8 倍圧縮時の LCC で完全一致が +3.5、4 倍圧縮時の LongCodeQA で精度が +1.80向上した。
  • トークンレベルのベースライン（LLMLingua-2、Selective-Context）は高圧縮時に急激に劣化するのに対し、LaMR は行レベルの粒度と構造的保持を通じて安定性を維持する。

• アブレーション研究:

  • 依存性ルブリックまたは AST 認識修復を除去すると性能が著しく低下し、構造的サポートは意味的関連性とは異なり、かつ補完的であることを確認した。
  • 粗い検索（例：LongCodeZip）を LaMR の微細な剪定と組み合わせることが最良の結果をもたらすのに対し、複数の行圧縮子をスタックすることは性能を損なう。

意義と主張

本論文は、LaMR が「トークンの削除」から「自己完結型の証拠サポート単位の保持」への転換を表すと主張する。意味的証拠を依存性サポートから明示的に分離することで、このフレームワークはコードの関連性における本質的な緊張関係に対処する。すなわち、ある行は意味的には無関係であっても、構造的には決定的に重要である場合があるという点である。

著者は、LaMR が既存の手法と比較して、コンテキスト圧縮と下流タスクの品質の間で厳密に優れたトレードオフを提供すると主張する。これにより、コーディングエージェントは、複雑な推論に必要な構造的完全性を犠牲にすることなく、より効率的に動作できるようになる。これは、成功したタスク完了に必要な「シグナル」を維持しつつ、邪魔なノイズを効果的にフィルタリングする。この研究は、エージェント向けの将来のコンテキスト管理は、単一のスカラー関連性スコアを超えて、コード依存関係に関する構造化された多次元推論へと移行すべきであることを示唆している。