Reproducibility and Transparency Audit of Parallel Runtime Performance Reporting in Open-Source Benchmarks: A Case Study of the Rust, Julia, Haskell, and Python Ecosystems

コンピュータサイエンスの世界では、研究者たちはどのプログラミング言語がより重い負荷を扱うのに適しているかを見るために、常に異なる言語を比較しています。想像してみてください。あるチームの作業員たちが、大量の箱の山を動かそうとしているところを。あるチームは一人の力強い人物を使いますが、他のチームは多くの人々が協力して働きます。デジタル領域において、この「協力して働くこと」は並列性能と呼ばれ、コンピュータが難しいタスクを複数のプロセッサに分割して、より速く完了させる仕組みのことです。科学者たちは、気象予測からウェブサービスに至るまで、あらゆるものにどの言語を使用するかを決めるために、これらの比較を用います。しかし、これらの比較が信頼に足るものであるためには、研究者はどのようにテストを実行したかという正確なレシピを完全に提供しなければなりません。彼らは、使用した特定のコンピュータ、ソフトウェアの正確なバージョン、その作業に何人のワーカーを割り当てたか、そして時間をどのように測定したかをリストアップする必要があります。これらの詳細がなければ、ある言語が別の言語よりも速いという主張は、単なる物語であって、科学的な事実ではありません。

ロンドン大学ユニバーシティ・カレッジ・ロンドンの研究者、マグナス・ブライトは、科学者が実際にこれらの必要な詳細を提供しているかどうかを調査することに決めました。新しいコンピュータでテストを実行する代わりに、ブライトはRust、Julia、Haskell、Pythonという4つの人気のあるプログラミング言語を含む、160の出版された研究の系統的な監査を実施しました。目的は、どの言語が勝ったかを見ることではなく、勝者が公正に宣言されているかどうかを確認することでした。この研究は、2015年から2025年までに発表された論文を対象とし、著者が実験を再現して同じ結果を得るために必要な特定の情報を含めているかどうかを調査しました。調査結果は、一部の詳細は自由に共有されている一方で、他の詳細は欠落していることが多く、科学的記録を不完全なものにしている現状を明らかにしています。

監査の結果、研究者は概して基本的な事項については報告ができていることが分かりました。ほとんどの論文は、処理しているデータのサイズと、それを処理するために何人のワーカーやスレッドを使用したかを明確に述べていました。これらは実験の中で最も明白な部分であり、これらを省略すると結果を理解することが不可能になります。しかし、この研究は、より微妙でありながら極めて重要な詳細における重大な欠落を明らかにしました。例えば、初期の「ウォームアップ」期間の扱いについて報告していた研究は、わずか約3分の1でした。これは、フルスピードで動作する前に準備を行う必要がある特定の言語にとって極めて重要なステップです。この準備にどれくらいの時間がかかったかを知らなければ、報告された速度が本物なのか、それともセットアップによる産物なのかを知ることは不可能です。同様に、ワーカーをコンピュータのプロセッサ上にどのように配置したかを説明していた研究は、4件に1件未満でした。この配置はタスクの実行速度を劇的に変える可能性がありますが、ほとんどの著者はこの情報を記載していませんでした。

統計的な厳密さに関しては、状況はさらに不均衡でした。多くの科学分野において、研究者は単なる平均値だけでなく、その結果がどの程度変動するかについても報告します。この変動は、2つの言語間の差が本物なのか、それとも単なるランダムなノイズなのかを読者に伝えます。この監査では、約40パーセントの研究にしか、この変動の尺度が含まれていませんでした。これがないと、報告された速度差が意味のあるものなのか、それとも偶然起こり得ることなのかを読者は判断できません。また、研究は実際のコードやデータが他者による確認のために利用可能であるかについても調査しました。約70パーセントの論文がソースコードを提供していましたが、それを実行するために必要な完全な環境、例えば、異なるマシン上でもソフトウェアが全く同じように動作することを保証する事前パッケージ化されたデジタルコンテナを提供していた研究は、極めて少数でした。そのようなコンテナを提供していたのはわずか9パーセントであり、たとえコードが利用可能であっても、その結果を検証するために使用することはしばしば困難であることを意味しています。

研究者たちは、報告の質が、どこに研究が発表されたか、およびどの言語コミュニティによって作成されたかに大きく依存していることにも気づきました。ハイパフォーマンス・コンピューティング・システムに特化した場に掲載された研究は最も徹底しており、詳細なハードウェア仕様や構成設定を含んでいることが多かったです。対照的に、一般的なコンピューティングの場での研究は、これらの詳細を含める可能性がはるかに低くなっていました。さらに、言語コミュニティ自体も異なる習慣を示していました。RustとJuliaの周囲のコミュニティは、それらのツールがそのような詳細を追跡しやすく設計されているためか、ソフトウェアのバージョンやコンパイラの設定に関する報告においてより注意深い傾向がありました。Haskellのコミュニティは全体として最も低い報告スコアを示し、Pythonの研究はテストを何回実行したかの報告を怠ることがよくありました。この研究は、これらの違いが個人の勤勉さだけでなく、関与している特定のグループやジャーナルの規範や期待によるものであることを示唆しています。

研究者たちが、なぜ著者がこれらの詳細を省いたのかを調べたところ、その理由は悪意によるものというよりは、実務的なものであることが多いことが分かりました。多くの著者は、カンファレンスの論文における厳格なページ制限を、長い技術仕様のリストを省略する理由として挙げていました。他の人々は、特定の詳細は同業者にとってあまりに明白であるため、書く必要はないと考えていました。また、一部の著者は、発見の物語が技術的なレシピよりも重要であると信じ、最終的な結果を優先していました。研究はまた、法的および倫理的な盲点についても浮き彫りにしました。半分以上のケースにおいて、ベンチマークに使用されたデータやコードが、将来の研究者によって法的に再利用可能であるかどうかが不明確でした。この透明性の欠如は、将来の研究者が法的トラブルのリスクを負うことなく、過去の成果の上に新たな研究を築くことを困難にします。

これらの問題に対処するため、本研究は、プログラミング言語の比較を出版するあらゆる人のための、シンプルな最小限のチェックリストを提案しています。このチェックリストは、著者に対し、特定のコンピュータハードウェア、正確なソフトウェアバージョン、並列ワーカーの構成方法、データのサイズとソース、テストを何回実行したか、および結果を分析するために使用した統計的尺度をリストアップすることを求めています。また、他者が簡単に実行できるように、コードとデータを共有することも求めています。研究は、パフォーマンスの主張の信頼性は、それを裏付けるドキュメンテーションに完全に依存していると結論付けています。文脈のないスピードアップの数値は単なる数字に過ぎませんが、適切な詳細があれば、それは信頼できる科学的知識となります。より明確な基準を採用することで、コミュニックは、パフォーマンス研究に注がれた多大な努力が、誰もが信頼し、理解し、構築できる結果を生むことを確実にできるのです。