Research Artifacts in Secondary Studies: A Systematic Mapping in Software Engineering
この論文は、2013 年から 2023 年のソフトウェア工学における 537 件の二次研究を体系的に分析し、研究アーティファクトの報告率が 31.5% にとどまっているものの時間とともに改善傾向にあることを明らかにし、透明性と再現性の向上のために二次研究における研究アーティファクトの公開を義務付けるよう提言しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、ソフトウェア工学（SE）の世界で行われている「研究のまとめ（システマティックレビュー）」が、「証拠（データやコード）」をどこまで公開しているかを調査したものです。
これをわかりやすく説明するために、**「料理のレシピ本」**に例えてみましょう。
🍳 料理のレシピ本と「材料の公開」
想像してください。世界中の料理研究家が、「最高のパスタの作り方」をまとめた本（システマティックレビュー）を出したとします。
- 理想の姿： その本には、単に「美味しいパスタができました」と書かれているだけでなく、**「使ったソースのレシピ、使った野菜の産地、調理に使った鍋の型番」**まですべて付録として公開されているべきです。これがないと、他の人が「本当に美味しいのか？」「自分も同じ味を作れるか？」を確認できません。
- この論文の調査： 著者たちは、2013 年から 2023 年までの 537 冊の「パスタ研究の本（システマティックレビュー）」を調べ、「付録（研究アーティファクト）」がどれだけ付いているかをチェックしました。
🔍 調査結果：3 つの重要な発見
1. 「材料」を公開している本は、まだ 3 割程度
調査した 537 冊の本のうち、「材料（研究データやコード）」を公開しているのは 31.5%（約 3 割）だけでした。
残りの 7 割は、「美味しいですよ」と言っているだけで、「どうやって作ったのか」の証拠を隠したままの状態です。これでは、他の人がその味を再現したり、信頼したりすることが難しいのです。
2. 状況は「少しずつ良くなっている」
しかし、良いニュースもあります。
- 2013 年： 公開率はわずか 3.7%（100 冊に 4 冊程度）。
- 2023 年： 公開率は 62.0%（100 冊に 62 冊）にまで上がりました。
これは、**「料理研究家たちが、少しずつ『材料を公開しよう』という意識を持ち始めている」**ことを示しています。時間とともに、透明性は高まっています。
3. 「保存場所」の問題：冷蔵庫か、倉庫か？
材料を公開していても、**「どこに保存されているか」**が重要です。
- 良い例（永久倉庫）： 信頼できる公共の倉庫（Zenodo や Figshare など）に保管され、**「DOI（デジタルの住所）」**という番号が付けられているもの。これは何十年経っても見つかります。
- 悪い例（個人の冷蔵庫）： 研究者の個人のホームページや大学のサーバーに置かれているもの。これは**「リンク切れ」**という病気で、数年後には消えてしまうことが多いです。
調査によると、2023 年の本でさえ、「永久倉庫」に保存されているのは 30.4% だけでした。残りは、いつリンク切れになるかわからない「個人の冷蔵庫」に置かれている状態です。
🚨 なぜこれが重要なのか？（4 つの理由）
著者たちは、なぜ「材料（アーティファクト）」を公開すべきだと強く主張しているのでしょうか？
- 再現性（「私も作れるか？」）
科学のルールは「誰かが同じ手順でやれば、同じ結果が出るはず」です。材料がなければ、その結果が嘘か本当か、誰も検証できません。 - 信頼（「信用できるか？」）
材料を隠すと、「こっそり手を抜いたのではないか？」「都合のいいデータだけ選んでいないか？」と疑われます。すべて見せることで、読者の信頼が得られます。 - アップデート（「最新の状態か？」）
料理の流行は変わります。古いレシピを最新のものに修正するには、元の材料（データ）が必要です。材料がないと、古い情報で誤った結論を導いてしまう危険があります。 - 自動化（「AI に任せる」）
最近では AI（大規模言語モデル）が研究を助けています。しかし、AI が正しく働くためには、**「人間が作った正解の材料」**が必要です。材料がないと、AI は何も学べません。
💡 結論と今後の願い
この論文の結論はシンプルです。
「これからは、研究をまとめる本（システマティックレビュー）を出す際、必ず『材料（研究アーティファクト）』を、リンク切れしない『永久倉庫』に保管して公開することを義務化するべきだ！」
現在の状況は「3 割しか公開されていない」から「6 割に増えた」という良い変化ですが、まだ 100% には遠い状態です。
「料理の本」を買う人が、その味を信じて再現できるよう、そして未来の AI がその知識を正しく引き継げるよう、研究者たちは「材料」を隠さず、安全な場所に保管して公開するべきです。
これが、科学（ソフトウェア工学）をより透明で、信頼できるものにするための次のステップです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。