Multi-stage Dynamic Selection for Cross-Project Defect Prediction

あなたは、新しい街で次に犯罪が起きる場所を予測しようとしている探偵だと想像してください。しかし、あなたは一度も現場を見たことがありません。手元にあるのは、全く異なる都市から集められた、異なるスラングや習慣を持つ異なる警察組織によって書かれた古い事件ファイルの山だけです。あなたの仕事は、次の犯罪がどこで発生するかを予測することです。これは、ソフトウェアエンジニアがプログラムをバグフリーに保とうとする際の日常的な苦闘と同じです。彼らは、ソフトウェアがクラッシュする前に「欠陥」（バグ）を見つけ出したいと考えています。しかし、多くの新しいプロジェクトは、まだ履歴となるミスが蓄積されていない「白紙」のような状態です。そのため、エンジニアは他のプロジェクトから学ぶことで、ビデオゲーム会社の経験が銀行アプリの修正に役立つことを期待します。これは「クロスプロジェクト欠陥予測（Cross-Project Defect Prediction）」と呼ばれます。問題は、すべてのプロジェクトがユニークであることです。あるプロジェクトで完璧に機能したモデルが、別のプロジェクトでは惨めに失敗することがあります。なぜなら、「犯罪現場」（コード）の姿があまりにも異なるからです。

ここで、Multi-DESという名の新しいデジタル探偵チームが登場します。新しい街のあらゆる事件を解決するために単独の探偵を雇ったり、あるいは一つの「スーパー探偵」にすべての近所を一気に理解させようとしたりする代わりに、このチームは巧妙な二段階戦略を用います。まず、大量の異なる探偵たちにオーディションを行い、それぞれが独自のスタイルとツールキットを持っている中で、古い事件ファイルを調査する際にどの専門家グループが最もうまく連携できるかを見極めます。次に、新しい事件が発生したとき、彼らは単に一人の探偵を選ぶのではありません。その新しいケースの具体的な詳細を見て、その状況に最適な専門家を即座に呼び出すのです。それは、交通事故には交通警察、詐欺事件にはフォレンジック会計士、人質立てこもり事件には交渉人を、その場で選ぶようなものです。研究者たちは、この「適切な瞬間に、適切な専門家を」というアプローチが、一つの単一の解決策ですべてを解決しようとする古い手法よりも、未知の新プロジェクトにおけるバグ発見においてはるかに優れていることを発見しました。

探偵事務所：Multi-DESの仕組み

ソフトウェアの世界では、「欠陥」とはバグ、つまりプログラムをクラッシュさせたり異常な動作をさせたりするコードのミスを指します。これらのバグを予測することは、早期発見が時間とコストの節約につながるため、非常に重要です。しかし、ここに落とし穴があります。コンピュータにバグを見つける方法を教えるには、通常、過去の膨大なバグの事例が必要です。新しいプロジェクトには、まだこれらの事例が存在しません。そこで、エンジニアは他の古いプロジェクトから知識を借りようとします。これが「クロスプロジェクト」の部分です。

しかし、大きな障害があります。それが**分布シフト（Distribution Shift）**です。これは、右側通行の国用のマニュアルだけを使って、左側通行の国で運転の仕方を学ぼうとするようなものです。ルールは似ていますが、細部が逆転しています。ソフトウェアにおいても、あるプロジェクトは特定のコーディングスタイルを使用し、別のプロジェクトは全く異なるスタイルを使用することがあります。従来のメソッドは、これらすべての違いを一度に理解しようとする一つの巨大なモデルを構築しようとします。著者らは、これは世界中のあらゆる都市に対して一つの汎用的な地図を使おうとするようなものであり、あまりにも広範すぎて地元の通りを見逃してしまうのだと主張しています。

本論文は、ソフトウェア探偵のためのスマートで適応型の採用エージェンシーのようなものであるMulti-DES（Multi-stage Dynamic Selection）を提案しています。これは主に2つのステージで動作します。

ステージ1：大規模オーディション（プロジェクトレベル）
システムが新しいプロジェクトを見る前に、大規模な「過剰生産」フェーズが行われます。あらゆる組み合わせを試すキャスティング・コールを想像してください。

• ベース分類器（Base Classifiers）: さまざまなアルゴリズムの種類（決定木、ランダムフォレストなど）。これらは、異なるタイプの探偵（観察力の鋭い者、論理的な者、パターンを見抜く者）と考えることができます。
• 動的選択技術（Dynamic Selection Techniques）: どの探偵を信頼すべきかを判断するためのさまざまな方法。
• プールサイズ（Pool Sizes）: 部屋にいる探偵の数。

彼らはこれらの組み合わせ（4つのベースアルゴリズム × 8つの選択技術 × 10のプールサイズ = 320の異なる構成）を、「トレーニング用」プロジェクトに対してテストします。しかし、単一のテストで最も高いスコアを獲得したものを選ぶのではありません。代わりに、**集約ランク最小化（Aggregate Rank Minimization: ARM）**と呼ばれる戦略を使用します。

ARM戦略：「オールラウンダー」の判定員
歌唱、ダンス、演技のすべてに基づいて勝者を選ぶオーディションを想像してください。もし歌唱力だけで選んでしまうと、その人は演技においてはひどいものかもしれません。ARMは、すべての出場者に「歌唱」「ダンス」「演技」のすべてのスキルについてランク付けさせ、そのランクを合算して、最も一貫性のあるオールラウンダーを見つけ出す判定員のようなものです。論文では、複数のパフォーマンス指標（F1スコア、AUC、偽陽性など）を併せて見ることで、新しいプロジェクトがトレーニング時と異なる姿をしていても、堅牢で失敗しない構成を見つけ出せると示唆しています。

ステージ2：即時選択（モジュールレベル）
最適な「オーディション」構成が選ばれたら、システムは新しいプロジェクトへの準備が整います。しかし、ここからが魔法です。システムはプロジェクト全体に一つのモデルを適用するだけではありません。ソフトウェアは多くの「モジュール」（家の中の個々の部屋や、本の各章のようなもの）で構成されています。

システムが新しいプロジェクトの「特定のモジュール」を見る際、次のように問いかけます。「我々の訓練された探偵の中で、この特定の種類のコードのバグを見つけるのが最も得意なのは誰か？」そして、その特定のコードに対して最も有能な分類器を動的に選択します。もしモジュールが銀行アプリのようなものであれば、「金融エキスパート」をプールから選びます。もし別のモジュールがゲームエンジンであれば、「グラフィックスエキスパート」を選びます。これは、すべてのコードに対してリアルタイムで行われます。

彼らが発見したこと

研究者たちは、4つの異なる公開データセット（PROMISE、RELINK、NASA、AEEEM）から集められた82のソフトウェアプロジェクトを用いて、このアイデアをテストしました。彼らは「leave-one-project-out（一つを除いたプロジェクトによる検証）」という厳格なテスト方法を用いました。つまり、81のプロジェクトで学習し、82番目のプロジェクトのバグを予測することを、すべてのプロジェクトに対して繰り返しました。

結果は非常に有望でした。

• 最高を超える性能: Multi-DESは、ほとんどのシナリオにおいて既存のトップメソッドを上回るか、あるいは同等の性能を示しました。具体的には、ほとんどのデータセットにおいて、AUC（バグのあるコードとクリーンなコードをどれだけうまく区別できるかの指標）およびFalse Alarm（誤報、つまり「狼少年」になってしまう頻度）の指標で最高の成績を収めました。
• 数値: AEEEMデータセットにおいて、Multi-DESは0.755のAUCを記録し、次に優れた手法であるEASC-NBの0.692を上回りました。NASAデータセットでは、0.737を記録し、比較対象の0.666を上回りました。
• 堅牢性: このシステムは特に「偽陽性（False Alarms）」を低く抑えることに優れており、実際には問題のないコードをチェックさせるためにエンジニアの時間を無駄にさせませんでした。
• 不正なし: 決定的なことに、このシステムはトレーニングフェーズ中にターゲットプロジェクトのデータを一切参照することなく、これらを実現しました。これは、新しいプロジェクトの秘密を覗き見ることなく、優れた予測器を構築できることを証明しています。

彼らが否定したもの

本論文は、単一の静的なモデル（プロジェクト全体に適用される固定された一連のルール）が最善の解決策であるという考えに対し、明確に反論しています。ソフトウェアプロジェクトの異なる部分は異なる特性を持っているため、「ワンサイズ・フィット・オール（万能型）」のアプローチは、ターゲットプロジェクトがトレーニングデータと異なる場合にうまく汎用化できないことを彼らは示しています。また、優れた予測を行うためにターゲットプロジェクトのデータ分布を事前に知る必要があるという考えも否定しています。彼らの手法は、ターゲットプロジェクトが完全な謎である場合でも機能します。

彼らの確信度

著者らは、収集したデータに基づき、自らの発見に自信を持っています。彼らは単にシミュレーションを行ったのではなく、標準的で広く受け入れられている指標を用いて、82の現実世界のプロジェクトに対して広範な実験を行いました。彼らは、結果が単なる偶然ではないことを確認するために、統計テスト（Wilcoxon Signed-Rank検定）を使用しました。論文では、特にAUCとFalse Alarmにおいて、Multi-DESがほとんどのペア比較で「統計的に優れている」と述べています。ただし、PROMISEデータセットにおいて、彼らの手法が「False Alarm」の指標で絶対的なトップではなかったという小さな例外についても言及しており、この手法は強力ではあるものの、あらゆるシナリオですべてに勝利する魔法の杖ではないことも示しています。

要するに、Multi-DESは、未知の新しいプロジェクトにおけるバグを予測する最善の方法は、適切な専門家を呼び出せる多様な専門家チームを用意しておくことであり、一つの汎用的な解決策を無理に当てはめるのではなく、目の前の仕事に対して適切な専門家を選ぶことである、ということを示唆しています。