The State of Open Science in Software Engineering Research: A Case Study of ICSE Artifacts
ICSE 会議で過去 10 年間に発表された 100 の研究アーティファクトを評価したこの研究は、その多くが実行不可能または修正を要し、実行可能なものでも結果の再現性が低いという実態を明らかにし、オープンサイエンスの強化に向けた具体的なガイドラインを提唱しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、ソフトウェア工学の研究における「オープンサイエンス（科学の公開）」の現状を、ある大きな「料理のレシピ集」に例えて調査したものです。
簡単に言うと、**「研究者が『私の料理（研究）は公開しました！』と言っても、実際にそのレシピを使って同じ味（結果）を出せる人は、実はそんなにいないよ」**という、少し残念だが重要な発見を伝えています。
以下に、難しい専門用語を使わず、身近な例え話で解説します。
🍳 物語の舞台：「ICSE」という料理コンテスト
この研究は、ソフトウェア工学のトップクラスの料理コンテスト「ICSE（国際ソフトウェア工学会議）」に焦点を当てています。
ここ数年、参加者（研究者）たちは「自分の使った食材やレシピ（コードやデータ）」を公開することがルールになり、多くの人が「レシピ集（複製パッケージ）」を提出するようになりました。
しかし、「レシピが手元にあること」と「実際にそのレシピで料理が作れること」は、全くの別物なのです。
🔍 調査の内容：100 人の料理人を試す
研究者たちは、過去 10 年間の ICSE で公開された100 個の「レシピ集」を買い取り、自分たちで実際に料理を作ってみる実験を行いました。
彼らは、合計で650 時間以上（約 1 年分以上の労働時間！）を費やして、以下のことを調べました。
- 作れるか？（実行可能か？）
- 作るのにどれだけ苦労したか？（努力と修正）
- なぜ作れなかったのか？（失敗の原因）
- 作れたら、元の料理と同じ味になったか？（再現性）
📊 調査結果：意外な「悲しい真実」
結果は、オープンサイエンスの理想とは程遠いものでした。
- 40% しか作れなかった
100 個のレシピ集のうち、実際に料理が完成したのは40 個だけでした。残りの 60 個は、食材が欠けていたり、手順が読めなかったりして、最初から作れませんでした。 - 作れても、簡単ではない
作れた 40 個のうち、「そのままのレシピでサクッと作れた」のは 3 割強（32.5%）だけでした。
残りの多くは、レシピの書き換えや、道具の買い足しなど、**「かなり大変な努力」**をしないと作れませんでした。 - 同じ味にはならなかった
なんと、作れた 40 個のうち、「元の研究と同じ結果（味）だったのは35%（14 個）だけでした。
残りは、「見た目は似ているけど味が違う」「全く違う料理ができあがった」という状態でした。
🚧 なぜ失敗するのか？5 つの「料理の壁」
なぜ、公開されたレシピがうまくいかないのでしょうか？調査で明らかになった主な壁は以下の通りです。
- 環境の壁（台所の違い）
「この料理は、2015 年の古いガスコンロでないと作れません」と書かれていない場合、最新のコンロでは火がつかないことがあります。OS やツールのバージョンが合っていないのが最大の理由です。 - レシピの壁（説明不足）
「塩を少々」としか書かれておらず、「どのくらいの塩？」がわからない。あるいは、重要な手順（「卵を割る」）が抜けている。 - 食材の壁（欠落）
必要な野菜（データ）や調味料（ライブラリ）が袋に入っていなかったり、リンクが切れていたりします。 - 古びた壁（陳腐化）
公開されたレシピは古すぎて、現在のスーパーでは手に入らない食材を使っている。 - 隠れた壁（設定漏れ）
作者の家の冷蔵庫（作者のパソコン）に入っていた特別な調味料が、レシピには書かれていないのに、料理には必須だった。
💡 解決策：3 つの「魔法のレシピ」
この問題を解決するために、論文の著者たちは 3 つの提案（ガイドライン）を提唱しています。
- 📝 完璧なレシピ本を作る
単にコードを置くだけでなく、「必要な道具（OS やハードウェア）」「手順」「失敗した時の対処法」まで、誰にでもわかるように詳しく書くこと。 - 🧼 清潔なキッチンでテストする
料理をする前に、自分の家のキッチン（開発環境）ではなく、「何もない新しいキッチン（クリーンな環境）で試作すること。これで、「作者の家の冷蔵庫にしかない調味料」に依存していないかチェックできます。 - 📦 箱入りと、中身を見せる
- 箱入り（コンテナ）：必要な道具をすべて箱（Docker など）に入れて渡す。これなら誰でも同じ環境で料理ができる。
- 中身を見せる（ソースコード）：箱を開けて、中身（コード）も確認できるようにする。これなら、後から改良もできる。
🌟 まとめ：科学の「信頼」を取り戻すために
この研究は、「公開すればいい」という時代は終わったと告げています。
「公開した」からといって、それがすぐに使えるものとは限りません。
これからは、**「誰が読んでも、誰が作っても、同じ結果が得られる」**ように、レシピ（研究）をより丁寧に、より堅牢に作る必要があります。
もし、すべての研究者がこの「3 つの魔法」を実践すれば、ソフトウェア工学の研究はもっと透明で、信頼できるものになり、世界中の誰にとっても役立つ「美味しい料理」が次々と生まれるようになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。