On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"
ソフトウェア工学研究における新規性の悪循環と再現性の危機に対処するため、本論文は、コミュニティの調査結果に裏付けられた破壊的な改革として、従来のICSE論文形式を廃止し、査読済みの「登録プロポーザル（Registered Proposals）」とそれに続く「結果報告（Results Reports）」からなる二層構造のシステムを採用することを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ソフトウェア工学研究の世界を、まるで『マスターシェフ』のような、ハイステークスな料理コンテストだと想像してみてください。現在、このコンテストのルールは壊れており、この論文の著者であるファビオとウィニーは、**「偽の結果」と「派閥（クリック）化」**という2つの大きな問題を解決するために、ショーの運営方法を根本的に変える過激な提案を行っています。
彼らの提案の要点を、分かりやすく説明します。
現在の問題：「一人一人のシェフ」モデル
現在、もし研究者（仮にシェフAとしましょう）が論文を発表したいと思ったら、自分一人ですべてをこなさなければなりません：
- 新しいレシピを考案する（新しいアイデア）。
- 料理を作る（実験を実行する）。
- 味見をして、「これは美味しい！」と言う（結果を検証する）。
発生している問題：
- 「新規性の罠」： 審査員（査読者）は、最も「新しい」レシピを見つけることに執着しています。彼らは、その料理が実際に美味しいか、あるいは実際のレストランで通用するかどうかには関心がありません。彼らが欲しいのは、単に「新しい」何かです。これにより、見た目は豪華でも、食べようとすると崩れてしまうような「おもちゃ」のような料理が多く生まれています。
- 「派閥（クリック）」の問題： もしシェフAが有名な受賞歴のあるセレブリティ・シェフであれば、審査員はその料理を疑うことはめったにありません。もし、無名の若いシェフが「実は、シェフAのレシピは焦げています」と言ったとしても、そのシェフが十分に有名ではないという理由で、その意見は却下されてしまいます。
- 「失われた冷蔵庫」の危機： 時として、シェフAは自分の料理が素晴らしいと主張しますが、あなたが自分で試すために材料を求めたとき、彼らは「ああ、冷蔵庫が壊れて、レシピを失くしてしまいました」と言います。このようなことが頻繁に起こり、それが結果を信頼することを不可能にしています。
提案されている解決策：「二段階」システム
著者たちは、現在の「一報の論文で完結する」形式を廃止し、建築プロジェクトが2段階で承認されるのと同様の、「設計図」と「建設」という2層構造のシステムへの置き換えを提案しています。
ステップ1：「登録されたプロポーザル」（設計図）
- 内容： 研究者は、作業を行う前に詳細な計画を提出します。「ここに私の新しいアイデアがあり、そしてどのようにそれをテストするか、正確な手順は以下の通りです」と宣言します。
- ルール： 審査員は「計画」をレビューします。もし計画が堅実で、論理的で、興味深いものであれば、それは承認されます。
- 変化： この段階では、まだ誰も料理を作っていません。彼らは単に、指示通りに従えばそのレシピが「機能するはずである」ということに合意しているだけです。これにより、結果を見てからルールを書き換えるといった行為を防ぎます。
ステップ2：「結果レポート」（建設）
- 内容： これが大きな変更点です。誰でも、承認された設計図に基づいて、その構築を試みることができます。
- 元の著者（シェフA）であっても。
- シェフAが間違っていることを証明しようとするライバルのシェフ（シェフB）であっても。
- あるいは、学生のチームであっても。
- ルール： 彼らは、「私たちは設計図に従いました。結果はこうなりました」という短いレポートを提出します。
- もし成功すれば： 素晴らしい！検証され、信頼できる結果が得られました。
- もし失敗すれば： これも素晴らしいことです！そのアイデアが機能しないことが分かったので、全員の時間を節約できたのです。
- 「誰でも」ルール： 現在のシステムでは、元の著者だけが最終的な結果を発表できますが、ここでは誰でもその研究を再現（リプリケーション）することができます。もし3つの異なるチームが同じものを構築して成功すれば、それは本物であると分かります。もし全員が失敗すれば、そのアイデアに欠陥があったことが分かります。
なぜこれが問題を解決するのか
- 「失われた冷蔵庫」を撲滅する： 元の著者がデータを失ったとしても、問題ありません。なぜなら、他のチームも同じ設計図に基づいて構築を行っているからです。複数の人が同じものを作っている状態であれば、もし一人が崩壊しても、他の人々がその設計が機能したか（あるいはしなかったか）を証明できます。
- 「派閥（クリック）」を打破する： 有名な教授は、「私を信じろ、私のアイデアは機能する」とただ言い放つことはできません。もし若い研究者が同じものを構築しようとして失敗した場合、その論文は（失敗の結果として）それでも出版されます。システムは名声よりも真実を重視します。
- 「新しい」と「良い」を分離する：
- プロポーザルの段階は、新規性（そのアイデアは面白いか？）に報酬を与えます。
- 結果の段階は、厳密さ（それは本当に機能するか？）に報酬を与えます。
- 現在は、これら両方を同時に判断しようとしているため、混乱が生じています。これを切り離すのです。
結論
著者たちは、研究論文を単一の「完成品」として扱うのではなく、**「公開建設プロジェクト」**として扱い始めるべきだと提案しています。
- まず、計画を承認します（プロポーザル）。
- 次に、全員にそれを構築させてみます（結果レポート）。
もし建物が立ち上がれば、それを使います。もし崩れ落ちれば、なぜそうなったのかを学びます。これにより、私たちが現実世界で使用するソフトウェアツールや手法が、単に「新しくてキラキラしたもの」ではなく、実際に信頼できるものであることを保証するのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。