技術的サマリー：このビルド失敗は私のパッチに関連しているか？継続的インテグレーションにおける無関係なビルド失敗の実証研究

1. 問題定義

継続的インテグレーション（CI）環境では、複数の開発者が同時にコードをプッシュすることがよくあります。この同時実行により、無関係なビルド失敗が発生する可能性があります。これは CI プロセス中に発生する正当なビルド失敗ですが、現在のコードプッシュが原因ではありません。不安定なテスト（非確定的なもの）とは異なり、これらの失敗は実在しますが、以前のプッシュからの連鎖的な破壊、設定の問題、外部依存関係、または環境の不安定性などの要因に起因します。

核心的な問題は、開発者がこれらの失敗が自身の責任かどうかを判断するために、多大な時間を調査に費やさなければならない点です。著者の実証データによると、開発者は失敗が自身の変更と無関係であることを確認するために、中央値で 4 時間を費やしています。この「浪費された時間」は負担となり、開発者が自らの制御外の要因によりビルドが常に失敗していると認識する場合、「通知疲れ」を引き起こし、CI のベストプラクティスへの遵守が低下する可能性があります。

2. 手法

本研究は、データマイニング、定性的分析、半教師あり機械学習を組み合わせた混合手法を採用し、7 つの Apache ソフトウェア財団（ASF）プロジェクト（AMBARI、HADOOP、HBASE、HDDS、HDFS、HIVE、YARN）を対象としています。

2.1 データ収集とヒューリスティックなラベリング

• データセット: 著者は JIRA の課題レポートから77,354 件の CI ビルド失敗を抽出しました。
• ヒューリスティックに基づくラベリング（HL）: 無関係な失敗の候補を特定するため、キーワードベースのヒューリスティックを開発しました。ビルド失敗後の開発者のコメント内で「unrelated（無関係）」「not relevant（関連しない）」「irrelevant（無関係）」「not connected（接続されていない）」などの特定の用語を検索しました。
• 初期セット: このプロセスにより、10,316 件の潜在的な無関係なビルド失敗が特定されました。
• サンプルの選定: このセットから、複数のコーディング担当者による厳密な文書分析プロセスを通じて、統計的に代表性のある371 件の真の無関係な失敗のサンプルが手動で選定されました（95% 信頼区間、5% 信頼区間）。

2.2 文書分析（定性的）

著者は、371 件の選定された失敗についてトピック分析を行い、開発者がなぜそれらを無関係と判断したのかを理解しました。これには以下が含まれます：

• CI ログと開発者のコメントをデジタル文書として扱う。
• 帰納的コーディングによるトピックの生成。
• 評価者間信頼性の確認（Cohen's Kappa 値は 0.76–0.77）。

2.3 特徴量エンジニアリング

定性的な知見に基づき、著者は 3 つの次元から33 の特徴量を抽出しました：

1. 課題レポートレベル: 優先度、並行課題、プロジェクト間リンク、重複ステータスなど。
2. コメントレベル: 以前のコメント数、過去の失敗との共有エラーメッセージ、類似失敗の数。
3. プッシュレベル: CI レイテンシ（パッチ提出からビルドトリガーまでの時間）、コード/設定パッチの存在、ソースファイルおよび設定ファイルでの追加/変更/削除行数。

• 前処理: 各プロジェクトごとに、スピアマンの順位相関（$|\rho| \ge 0.7$）と冗長性分析（$R^2 > 0.9$）を用いて共線性のある特徴量を除去しました。

2.4 モデリング：ポジティブ・アンラベルド（PU）学習

データセットが不均衡であり、「ネガティブ」インスタンス（プッシュに関連する失敗）は開発者が明示的に失敗が「関連している」と述べていない限り信頼性高くラベル付けできないことを認識し、著者はポジティブ・アンラベルド（PU）学習フレームワークを採用しました。

• ポジティブクラス: 手動で確認された無関係な失敗（371 サンプル、トレーニング用に 700 に拡張）。
• アンラベルドクラス: その他のすべてのビルド失敗（関連する失敗と無関係な失敗の両方を含む可能性あり）。
• アルゴリズム: Elkan & Noto分類器の 2 つの変種を実装しました：
  1. クラシック Elkan & Noto: アンラベルドデータはポジティブとネガティブの混合であると仮定する。
  2. 重み付き Elkan & Noto: ポジティブインスタンスを含む可能性を考慮して、アンラベルド例に重みを割り当てる。
• 仮定: 本研究は、ラベル付けされたポジティブインスタンスがすべてのポジティブインスタンスの代表性サンプルであることを保証する**SCAR（Selected Completely At Random）**仮定を検証します。
• 評価: モデルは 10 分割交差検証と「プロジェクト外留め出し（leave-one-project-out）」のプロジェクト間検証戦略を用いて評価されました。指標には精度（Precision）、再現率（Recall）、F1 スコア、AUC が含まれます。

3. 主要な貢献

3.1 実証的特徴付け

• 時間コスト: 開発者が無関係な失敗を検証するために費やす中央値の時間を4 時間として定量化しました。
• 根本原因: 失敗が無関係と判断される理由を説明する 7 つのトピックを特定しました：
  1. 無関係なテスト（20%）: 現在のプッシュとは無関係なテストクラスでの失敗。
  2. 開発者による未指定（34.86%）: 開発者が文脈なしに「無関係」と述べる。
  3. 外部干渉（19.73%）: 第三者のライブラリや依存関係に関する問題。
  4. 再現不可（17.03%）: 一時的なインフラ問題（ネットワーク、ディスク、タイムアウト）。
  5. 同時コミット、設定問題、および環境への影響。

3.2 予測モデリング

• 無関係なビルド失敗を自動的に予測する初の半教師ありアプローチを開発しました。
• 重み付き Elkan & Notoモデルが、ベースライン（ランダム、定数ポジティブ、ヒューリスティックに基づくエラーメッセージマッチング）を一貫して上回ることを実証しました。
• 性能:
  • AUC: プロジェクト間で0.63 から 0.97の範囲。
  • 精度（Precision）: 0.70 から 0.88の範囲。
  • 再現率（Recall）: 0.30 から 1.00の範囲。
  • F1 スコア: 0.44 から 0.91の範囲。
• 一般化: モデルはプロジェクト間検証において堅牢な性能を維持し、重み付き変種はクラシック変種に対して精度で 13–24% の改善を示しました。

3.3 特徴量の重要度

順列特徴量重要度分析により、無関係な失敗にとって最も影響力のある指標が明らかになりました：

1. CI レイテンシ: パッチ提出からビルドトリガーまでの時間。レイテンシが長いほど、無関係な失敗の発生確率が高まります。
2. 類似エラーメッセージ: 現在の失敗が最近の失敗とエラーメッセージを共有しているか（連鎖的な破壊を示唆）。
3. 以前のコメント数: 失敗に先行する議論の量であり、複雑で多課題的なコンテキストを示唆する可能性があります。

4. 意義と主張

本論文の主な貢献は、開発者がビルド失敗のトリアージを支援するための半教師ありフレームワークを提供することであると主張しています。失敗が現在のプッシュと無関係である確率を予測することで、このツールは以下のことを目指します：

• 開発者の労力の削減: 失敗が無関係である可能性が高い場合、コード変更の調査をスキップし、代わりにインフラの調査やビルドの再実行に集中できるようにする。
• 意思決定の改善: ビルド失敗にもかかわらず、貢献のマージを継続するかどうかをチームが判断するのを支援する。
• システム的問題の特定: 無関係な失敗の予測が繰り返されることは、設定ミス、インフラのネットワーク問題、または依存関係の問題を示唆しており、体系的な監視が必要であることを示す。

著者は明示的に、このアプローチの目的が直ちにすべてのソフトウェアドメインで完全な一般化を達成することではなく、成熟した CI エコシステム内での無関係な失敗の特定におけるこのアプローチの実現可能性を実証することであると述べています。彼らは、同時開発環境において開発者を混乱させる、しばしば見過ごされている特定の失敗クラスを対象とすることで、不安定なテストや一般的なビルド結果予測に関する既存の研究を補完するものであると強調しています。