技術概要：LogDx-CI

問題定義

継続的インテグレーション（CI）の失敗ログは本質的に大規模（中央値 5,000 行、コーパス内では最大 20 万行以上）でノイズに満ちています。コーディングエージェント（例：Claude Code、Codex、Cursor）は、これらのログを大規模言語モデル（LLM）が扱える文脈に削減するアップストリームツールに依存していますが、どの削減戦略が下流の根本原因診断に必要な証拠を十分に保持するかに関する公的な実証データは欠如しています。SWE-bench や Terminal-Bench などの既存のベンチマークは、エンドツーエンドのタスク成功やリポジトリ編集に焦点を当てており、文脈削減ステップを不透明なインフラとして扱っています。LogDx-CI は、LLM 診断器に対する失敗シグナルの保持能力という観点から、この「文脈削減」ステップを特定して評価することで、このギャップに対処します。

手法

コーパスとグラウンドトゥルース

このベンチマークは、8 つの失敗カテゴリ（例：テストアサーション、コンパイルエラー、タイムアウト）と 7 つ以上のエコシステム（pytest、cargo、Maven、Docker など）にまたがる35 の実在する GitHub Actions 失敗ケースのコーパスを利用します。ログサイズは 27 行から 20 万行以上まで幅があります。

• グラウンドトゥルース: 根本原因と必要なシグナルは AI（Claude Opus 4.7）によって作成され、単一の著者によって検証されました。各ケースにはメタデータ、「必須言及」チェックリスト、および禁止された主張が含まれています。
• プライバシー: すべてのログはプライバシー監査（URL、API キー、トークンのマスキング）を経験し、35 のケースすべてでヒットはゼロでした。

評価フレームワーク

パイプラインは以下の構成です：Raw Log → Context Reduction Tool → LLM Diagnoser → Diagnosis Score。

• 診断器: 4 つの変種がテストされました：
  1. real-debugger-v1: Claude Haiku 4.5（シングルショット）。
  2. real-debugger-v2: Claude Sonnet 4.6（シングルショット）。
  3. real-debugger-v3: OpenAI gpt-5-mini（シングルショット）。
  4. real-agent-v1: 決定論的ツール（grep、read_file、tail、view_log_lines）を使用して生ログを操作する 5 ターンのエージェントループを備えた Claude Sonnet 4.6。
• 指標: 主要指標は**diagnosis_score_v1_1**であり、カテゴリ精度、シグナル再現率、関連ファイル/テスト再現率、および証拠引用率の較正された線形結合です。これは「自信過剰な誤り」（自信度が 0.70 以上だが明らかに誤っている場合）に対してペナルティを課します。副次的指標として、安全性を追跡する confident_error_rate があります。

ベースライン（11 のコンテキストプロバイダー）

本研究は 11 の削減戦略を比較します：

1. Raw: 完全なログ。
2. Tail: 最後の 200 行。
3. Grep: 正規表現でフィルタリングされた失敗パターン＋コンテキスト。
4. RTK モード: rtk-read、rtk-log、rtk-err-cat（RTK ツールの各種モード）。
5. LLM サマライザー: Claude Haiku 4.5 および OpenAI gpt-5-mini を使用した Map-reduce サマライザー。
6. ハイブリッド: 論理ベースのルーター（例：hybrid-grep-120k-tail：12 万トークン以下であれば grep を使用、それ以外は tail-200 を使用）。

主要結果

1. ハイブリッドルーターがパレートフロンティアを支配

シングルショット診断において、ハイブリッド grep+tail ルーターが最適なコストと品質のトレードオフを達成します。

• トップパフォーマー: hybrid-grep-120k-rtk-tail（スコア：0.670）および hybrid-grep-120k-tail（スコア：0.666）。
• 効率性: これらの手法は、スタンドアロンの grep（0.639）と同等の品質を達成しつつ、トークン数を 4.5 倍削減（ケースあたり約 8 万 8 千トークン対約 2 万トークン）し、コストを大幅に低減（ケースあたり約 0.13 ドル対約 0.03 ドル）します。
• 安全性: トップのハイブリッド手法は自信過剰な誤りを 1 つも発生させませんでしたが、rtk-log は 13.3% の自信過剰誤り率を示し、約 8 分の 1 のケースで LLM を積極的に誤導しました。

2. エージェントループ体制は品質の分散を縮小

エージェントが不十分なコンテキストから回復するためにフォローアップのツール呼び出し（5 ターン制限）を許可された場合：

• 品質の収束: 削減ツール間の性能幅は7 倍縮小しました（シングルショットの幅 0.42 から、エージェントループの幅 0.059 へ）。弱いコンテキスト（例：rtk-log、raw）はエージェントによって救済され、スコアが +0.3 から +0.4 向上しました。
• 持続的なコスト差: 品質が収束した一方で、コストは収束しませんでした。弱いコンテキストは、強いコンテキストと比較して診断を回復するためにエージェントに2〜4 倍多いツール呼び出しを強要しました。
• トップエージェント手法: 驚くべきことに、llm-summary-v1-gpt-5-mini が最も低いツール呼び出し数（ケースあたり 0.37 回）で #1 のエージェントループ手法となりました（スコア：0.749）。これは、サマリーが失敗シグナルを効果的に先取りしたためです。

3. クロスファミリーサマリーがセルフコールを上回る

本研究は、「セルフコールバイアス」仮説（同じベンダーファミリーのサマライザーとデバッガーが、共有された事前知識によりスコアを過大評価する可能性があるという仮説）をテストしました。

• 発見: クロスファミリーのペア（gpt-5-mini サマライザーが Claude Haiku デバッガーに供給）は、4 つの診断器変種全体で、同じファミリーのペアよりも平均**+0.071**上回りました。
• コスト: gpt-5-mini サマライザーは、Claude-Code-CLI のネストされた呼び出しオーバーヘッドを回避したため、Haiku サマライザーよりも10 倍安価（ケースあたり 1.75 ドル対 0.18 ドル）でした。

意義と主張

LogDx-CI は、モデルファミリー全体にわたる下流の LLM 診断精度のためにログ削減ツールを最適化する最初の公開ベンチマークであると主張します。その意義は、以下の 3 つの「荷重支持」的な発見にあります：

1. ハイブリッドの優位性: シンプルなハイブリッドルーター（grep + tail）は、コストと証拠保持の最適なバランスを提供し、シングルショットシナリオにおいて複雑な LLM サマライザーや生ログを上回ります。
2. エージェントの回復力: エージェントループは貧弱なコンテキストから回復できますが、そのためにはより高い運用コスト（より多くのツール呼び出し）が必要であり、高品質なアップストリーム削減の価値を強化します。
3. バイアス反証: このベンチマークは、この特定のタスクにおけるセルフコールバイアス仮説に対する実証的証拠を提供し、クロスファミリーのサマリーがより効果的かつコスト効率が高いことを示しています。

著者らは、生産環境のコーディングエージェントスタックにおいて、適切な文脈削減戦略を実装するコスト（シングルショットでケースあたり約 0.03 ドル、クロスファミリーサマリー付きエージェントループでケースあたり約 0.18 ドル）は、誤った戦略を採用するコスト（誤診断や過度のツール使用につながる rtk-log や生ログの使用など）の少なくとも10 倍低いと結論付けています。

限界

論文は以下の限界を指摘しています：

• コーパスサイズ: 35 ケースはプロトタイプであり、絶対スコアの大きさは拡張に伴って変化する可能性がありますが、トップ 3 のランキングは頑健に見えます。
• グラウンドトゥルース: 単一の著者によって検証され、AI によって作成されたものであり、独立した人間によるアノテーションではありません。
• モデル範囲: Anthropic（Haiku/Sonnet）および OpenAI（gpt-5-mini）ファミリーのみでテストされました。
• 再現性: gpt-5-mini は温度=0 であっても実行ごとのばらつきを示すため、特定のセルの値は±0.02 程度変動する可能性がありますが、集計ランキングは安定しています。
• 範囲: 一般的なコーディング能力、多段階計画、または非 CI ログ形状（例：ビルドシステムストリーム）は評価していません。