Removing Noise or Introducing Bias? The Hidden Cost of MSR Filtering

インターネットを、誰でも自分の本棚を作って「図書館」と呼ぶことができる、巨大で混沌とした図書館だと想像してみてください。これがオープンソースソフトウェア（OSS）の世界です。そこは、新しいコーディングのアイデアを試している学生から、次世代のビッグアプリを構築しているプロの開発者に至るまで、何百万人もの人々が自身のプロジェクトを保管している、巨大なデジタル遊び場です。研究者たちは、ソフトウェアがどのように機能するかという謎を解こうとする探偵のような存在であり、この図書館を訪れることを好みます。彼らは棚を調べ、どれだけの人がプロジェクトに「いいね」をしたか（スター）、どれだけの回数本が書き換えられたか（コミット）、そしてどれだけの人が執筆に協力したかを探ります。これらの手がかりは、ソフトウェア工学の秘密を理解するための助けとなります。しかし、ここに落とし穴があります。図書館があまりにも巨大であるため、空の箱やテスト用のダミー、書きかけの落書きで溢れかえっているのです。そこで研究者は、「本物の」本を見つけるために、人気がないものや活発でないものはすべて捨ててしまいます。彼らは、「もしプロジェクトにスターが10個なければ、それは単なるノイズだから、捨てよう」といったルールを使用します。

しかし、もしそれらのルールが、最も興味深い物語を捨て去っているとしたらどうでしょうか？ 私たちが図書館を整理しようと必死になるあまり、実はほとんどの本が放棄されていることや、結局のところ、数人の有名な著者によって書かれた本ばかりを読んでいるという事実を、誤って隠してしまっているとしたら？ これこそが、モヒット・カウシク（Mohit Kaushik）とジョティ・バワ（Jyoti Bawa）の両研究者が問いかけている大きな疑問です。彼らは、科学者がデータを「クリーン」にするために使うフィルターそのものが、ソフトウェアプロジェクトが実際にどのように生まれ、どのように死んでいくかという、乱雑で真実の現実を隠してしまうことで、結果として知見を「汚して」しまうのではないかと危惧しているのです。

グレート・フィルター：データのクリーニングか、真実の隠蔽か？

この研究において、著者たちは膨大なデータの山を使って「もし〜だったら？」というゲームを行いました。彼らはSEARTと呼ばれるプラップットフォームから、157万件のソフトウェアリポジトリを調査しました。このデータセットは、混ぜこぜになったレゴブロックの巨大なバケツのようなものです。中には、巨大でカラフルなお城のセットもあれば、小さな赤い一個のブロックもあり、そして多くは、誰も完成させなかった壊れた破片です。

通常、研究者はこのバケツを見て、「よし、私たちは大きな完成したお城だけが欲しい。スター（いいね）が10個未満、あるいはコミット（変更）が10回未満のものはすべて捨てよう」と言います。著者たちは、これらの厳格なルールを適用したときに何が起こるかを、フィルターの音量を上げるようにテストしました。

「人気」の隠れた代償
研究者が「人気フィルター」（より多くのスターを持つプロジェクトのみを見る）を適用したとき、彼らは驚くべき発見をしました。スターのしきい値を10から1,000へと上げていくにつれて、サンプル内の「平均的」なプロジェクトは、単に少し良くなっただけでなく、7倍も大きくなりました。プロジェクトはより古くなり、より多くの人々が関わり、正式なライセンス（ルールブックのようなもの）を持つ可能性が非常に高くなりました。

しかし、ここでのひねりは、人気のあるプロジェクトを追い求めることで、彼らは現実を見失ってしまったということです。元の、フィルターをかけていないバケツでは、**73.42%のプロジェクトが実際には活動停止状態、つまり「放棄」されていました。しかし、人気度でフィルターをかけると、この数字は減少しました。超人気プロジェクト（スター1,000以上）のみを見たときには、データ上では放棄されているのはわずか50.65%**であるように見えました。フィルターは単にノイズを取り除いたのではなく、ほとんどのプロジェクトが失敗したり、見捨てられたりしているという事実を隠してしまったのです。これは、もしあなたが街で最も成功した人々にだけ仕事について尋ねて、「失業率は低い」と結論づけるようなものです。なぜなら、あなたは仕事を失った人々とは決して話さなかったからです。

「活動量」の罠
著者たちは、「活動フィルター」（コミット数、つまり変更数が多いプロジェクトのみを残す）についてもテストしました。これはさらに極端な結果となりました。高い活動量でフィルターをかけたとき、平均的なプロジェクトのサイズは18倍に膨れ上がりました！ これらのフィルターは、ソフトウェアの「性格」さえも変えてしまいました。例えば、C++という言語を使用しているプロジェクトは、しきい値が低いグループでは一般的でしたが、フィルターが厳しくなるとトップ5から姿を消しました。一方で、TypeScriptやGoが、フィルター後のリストでより一般的になりました。

この研究は、これらのフィルターが中立ではないことを示唆しています。それらは、特定の種類のプロジェクトだけを通す「ふるい」として機能します。つまり、より古く、巨大で、資金提供を受けたインフラプロジェクトです。これらは、より小さく、新しく、あるいは実験的なプロジェクトを押し出してしまいます。たとえそれらの小さなプロジェクトが、実際に存在し、活動的であったとしてもです。

関係性のデタラメ
おそらく最も遊び心があり（そして危険な）発見は、異なる要素間の関係性がどのように狂わされるかについてです。想像してみてください。あなたが「懸命に働くこと（コミット）」が「人気を得ること（スター）」につながるかどうかを突き止めようとしているとします。現実の、混沌とした世界（ベースラインのデータ）では、これら二つの要素は弱くしかつながっていません。しかし、研究者がフィルターを適用すると、そのつながりは突然、非常に強力に見えるようになりました。

例えば、「コミット」と「プロジェクトのサイズ」の関連性は、活動フィルターをかけたグループでは、中程度の0.466から、非常に強力な0.808へと跳ね上がりました。著者たちは、これはプロジェクト自体が変化したからではなく、フィルターが彼らにそのように「強制」したからだと説明しています。大きく忙しいプロジェクトだけを残すことで、フィルターは「大きなプロジェクトには常に大量のコミットがある」かのように見せました。しかし実際には、その関係性はもっと複雑なのです。これは、もしあなたが最も背の高いバスケットボール選手たちだけを研究して、「身長こそがスポーツにおいて唯一重要なことだ」と結論づけるようなものです。他のすべての人々を無視して。

結論：ノイズをただ捨ててはいけない

著者たちは、データのクリーニングは必要だが、「10個のスター」や「500回のコミット」といった恣意的なルールを、何も考えずに使うことはできないと結論づけています。これらのルールは鈍いハンマーのようなものです。それらは「ノイズ」を叩き潰しますが、同時に「真実」をも叩き潰してしまいます。それらは、ソフトウェアプロジェクトが実際よりも、より成功しており、より古く、より均一であるかのような歪んだ絵を作り出してしまうのです。

盲目的にフィルタリングを行う代わりに、著者たちは**層化抽出法（stratified sampling）**を用いるべきだと提案しています。それは、単に一番大きな城を選び出すのではなく、大きな城、小さな家、そして壊れた破片が公平に混ざったレゴのバケツから、ひと掬いの分を取り出すようなイメージです。彼らはまた、科学者に対して「何がノイズか」を再考するよう促しています。もしかしたら、スターがゼロのプロジェクトは単なる失敗した実験ではなく、まだ発見されていない「隠れた宝石」である可能性もあるのです。

要するに、この論文は、完璧なデータを見つけようと急ぐあまり、外側は完璧に見えても、現実の混沌とした世界を理解しようとした瞬間に崩れ去ってしまうような「砂上の楼閣」を築いてしまうのではないかと警告しています。著者たちは、フィルタリングを完全に止めるべきだと言っているのではなく、こうした「画一的なルール」を使うのをやめ、何を捨て去ろうとしているのかについて、もっと慎重になるべきだと強く示唆しているのです。