科学を、巨大でグローバルな「伝言ゲーム」のようなものだと想像してみてください。ただし、列に沿ってささやきを伝えるのではなく、科学者たちは複雑なアイデアや実験を世界中に伝えています。ソフトウェア工学の分野では、研究者がツールを構築し、理論をテストし、問題を解決するためにコードを書いています。しかし、ここに落とし穴があります。あるチームが「おい、このコードは完璧に動くぞ！」と言ったとしても、それが他の全員にとっても機能するとは限りません。そこで「再現性（レプリケーション）」が登場します。再現性とは、異なるグループの友人たちに、同じルールで同じゲームをプレイしてもらい、同じスコアが出るかどうかを確認することに似ています。それは究極の真実確認です。最初のチームが勝ち、二番目のチームも勝ったなら、そのゲームが仕組まれたものではないとかなり確信できます。しかし、もし二番目のチームが負けたり、妙に異なるスコアを出したりした場合は、「彼らのプレイが悪かったのか？」「最初のチームが運が良かっただけなのか？」「それとも、ゲームが複雑すぎて同じようにプレイするのが難しいのか？」と問い直さなければなりません。

科学者たちを悩ませている大きな疑問は、**「どうすれば、二番目のチームが実際に『勝った』のか『負けた』のかを判断できるのか？」**ということです。かつては、レフェリーが直感に基づいて「ゴール！」あるいは「ノーゴール！」と叫んだり、あるいは単にスコアボードを見て「まあ、だいたい合ってるだろう」と言ったりするようなものでした。しかし、明確なルールブックがなければ、たとえスコアが同一であっても、あるレフェリーは成功と呼び、別のレフェリーは失敗と呼ぶことがあり得ます。これでは、どのゲームを再びプレイする価値があるのかが分からないため、信頼できる知識の積み重ねを築くことは不可能です。

スコアカードの大きな謎

この論文の中で、ジュゼッペ・デステファニス、マーティン・シェパード、レイラ・ユセフィは、ソフトウェアエンジニアがこれらの再現性ゲームをどのように判定しているのかという謎を解くために、探偵のように行動しました。彼らは新しいゲームを発明したのではなく、直近数年間（具体的には2021年から2025年に出版された研究）のスコアカードを読み解き、レフェリーたちがどのように仕事をしていたのかを調査しました。

彼らは、過去のソフトウェア実験を再現しようとした合計10件の最近の研究を見つけ出しました。スコアカードを読み進めるうちに、彼らはレフェリーたちが混沌としたルールの混在物を使用していることに気づきました。それはまるで、あるレフェリーは定規を使い、ある者はマジック8ボール（占い機）を使い、またある者はプレイヤーの見た目から推測しているような状態でした。

スコアボードの混沌
著者らは、これらの研究における判定方法がバラバラであることを発見しました。

• 「直感」の問題： いくつかのケースでは、研究者が単に「専門家の判断（エキスパート・ジャッジメント）」を使用していました。これは、レフェリーが数字を示したり理由を説明したりすることなく、「試合を見た感じ、勝利のように思えた」と言うようなものです。10件の研究のうち3件では、最終的な判定の理由さえ明確に述べられていませんでした。それはミステリーボックスでした！
• 「混ぜ合わせ」の罠： 3つの研究では、「この特定の再現はうまくいったのか？」という問いをスキップし、代わりに元のゲームと新しいゲームのすべてのデータを一つの大きな鍋に放り込んで平均を取るという決定を下していました。著者らはこれを「プーリング（集約）」と呼んでいます。データの混合は後で役立つこともありますが、論文では、新しいゲームが実際に古いゲームと一致したかどうかを確認するステップをスキップしてはいけないと主張しています。それは、「この新しいプレイヤーが良いかどうかは分からないけれど、彼らの統計を古いチームと混ぜれば、平均はまともに見える！」と言っているようなものです。
• 欠落したツール： 論文は、レフェリーたちが利用可能な最善のツールを使用していなかったことを指摘しています。彼らは「予測区間」（新しいスコアが期待される範囲内に収まっているかを確認するための、スコアボード上に安全地帯を描くようなもの）や、「ベイズ法」（新しい証拠が入ってくるたびに信念を更新していく洗練された方法）を使用していませんでした。代わりに、状況のニュアンスを見逃す可能性のある単純な「イエス／ノー」のチェックに頼ることが多くありました。

判定はバラバラだった
これら10件の研究の最終結果を見たとき、答えは混乱していました。

• 5件の研究は、再現は「部分的」または「混合的」であると判定しました。
• 2件は「成功」としました。
• 1件は「失敗」としました。
• 1件は「結論が出ず」としました。
• 1件は、11件の新しい実験を行ったにもかかわらず、最終的な判定すら出していませんでした！

著者らが発見した最大の懸念は、ゲームが始まる前に明確なルールが書き記されていない限り、「成功」が本物なのか、それとも単なる幸運な推測なのかを知ることは不可能だということです。例えば、ある研究では、どのような数字があれば失敗であったかを明示することなく、専門家がそう感じたという理由だけで、再現は成功したと主張しました。また別の研究では、2つの数値を比較しましたが、それらが一致したとみなすためにどれほど近くある必要があるのかを述べていませんでした。

新しいルールブック

この混乱を受けて、著者らはスコアカードを修正するための4つの原則を提案しています。彼らは問題のすべてを解決したと言っているのではなく、物事をより公平にするための出発点を提示しています。

1. ルールを先に書くこと： 結果を見る前に、何が勝ちで何が負けかを正確に書き留めなければなりません。スコアが気に入ったからといって、ゲームが終わった後にルールを決めることはできません。
2. 「勝ち」だけでなく「適合性」をチェックすること： 単に「高いスコアが出たか？」と問うのではなく、「新しいスコアが古いスコアの安全地帯の中に収まっているか？」と問いましょう。これは、結果が統計的に有意であるかどうかではなく、結果が互いに適合しているかどうかを確認することです。
3. チェックをスキップしないこと： 新しい実験が実際に機能したかどうかを確認するという大変な作業を避けるために、すべてのデータを混ぜ合わせる（プーリングする）ことはできません。まず個別のゲームをチェックしなければなりません。
4. 「分からない」と言ってもよい： データがあまりに曖昧であったり、数値の幅が広すぎたりする場合は、無理に「成功」や「失敗」の判定を下すよりも、「結論が出ない」とする方が賢明です。不確実性を認めることは、知らないことを知っているふりをするよりも誠実なことです。

これがどのように機能するかを示すために、著者らは混乱した研究の一つ（専門家が単に「うまくいった！」と言ったもの）を取り上げ、彼らの新しいルールを用いて再評価しました。新しいシステムの下では、元の研究がルールや数値を記述していなかったため、判定は「成功」から「結論が出ず」へと変わることになります。これは実験が失敗したことを意味するのではなく、まだそれがうまくいったと言えるだけの十分な情報がないことを意味しています。

まとめ

論文は、現在のソフトウェア工学における再現性は、レフェリーがその場でルールを作っているゲームのような状態であると結論づけています。ルールを事前に書き、適合性を確認し、不確実性に対して誠実であるというこれらの新原則を採用することで、私たちは誰もが信頼できる知識の積み重ねを築き始めることができます。著者らは、自分たちが調べたのはわずか10件の研究であることを認めており、これは会話の始まりであり、最終的な答えではないとしています。しかし、もし私たちがどのソフトウェアツールや理論が本当に信頼できるのかを知りたいのであれば、推測をやめて、明確で共有されたルールブックに従ってプレイを開始する必要があります。