Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

あなたは、たった一つの犯罪現場ではなく、何百万もの手がかりが詰まった、きらびやかで巨大な倉庫の中にいる、謎を解こうとしている探偵だと想像してください。これは、「ビッグデータ」科学の世界で起こっていることです。そこでは、研究者たちは、世界中の何千人もの教師のような膨大なグループを研究することで、物事がどのように機能しているのかを理解しようとします。しかし、ここには厄介な問題があります。手がかりがあまりに多いため、それらを並べ替える方法は無数にあり、それによって語られる物語も千差万別になってしまうのです。赤い手がかりだけに注目することに決めたり、部屋の左側にあるものは無視したり、あるいは色ではなくサイズごとにグループ分けしたりすることもできます。こうした選択は、それぞれが庭の中を進む異なる道を選ぶようなものです。ある道を選べば隠された宝物が見つかるかもしれませんが、別の道を選べば行き止まりに突き当たるかもしれません。この考え方は「分岐する道の庭（garden of forking paths）」と呼ばれ、時として、私たちが語る物語は、実際に発見された手がかりよりも、探偵がどの道を選んで歩いたかに左右されるということを示唆しています。

オスロ大学のマーク・ホワイトによるこの論文は、TALIS 2018という、多くの国の教師を調査した大規模なデータセットを用いて、この問題に深く切り込んでいます。著者は、教師のトレーニング（インダクション）に関する有名な、非常に引用数の多い研究（「インダクション」と呼ばれるもの）が語っていた「物語」が、本当に真実だったのか、それとも単に庭の中の特定の道を通った結果に過ぎなかったのかを知りたいと考えました。この論文は、単にデータを分析する方法を一つ提示するのではなく、データの計算方法として、およそ50万通り近い異なる方法を試しています。これは、同じ事件を解決するために、ルールを少しずつ変えた50万人の異なる探偵に依頼し、全員が同じ犯人を見つけ出すかどうかを確認するようなものです。目的は、元の研究が「間違っていた」と言うことではなく、プロセスの中で行われる選択次第で結果が劇的に変わり得ることを示し、何が「本当の」答えであるかを確信することを難しくしている点を示すことにあります。

百万の道の庭

著者が調査している元の研究を、宝箱への地図だと考えてみてください。その地図は、特定の教師トレーニング活動（チームティーチングや日記をつけることなど）が、教師をより幸福にし、より優れた仕事へと導く鍵であると主張していました。地図を描いた研究者たちは、宝を見つけるために特定のルールを使用しました。彼らはアメリカの教師に焦点を当て、フルタイムの労働者のみを含め、トレーニングと結果を結びつけるための特定の数学的公式を使用しました。彼らは輝かしい宝箱を見つけ、「見て！トレーニングは効果がある！」と言ったのです。

しかし、マーク・ホワイトはこう疑問に思いました。「もしルールをほんの少し変えたらどうなるだろうか？」もしアメリカではなく、オーストラリアやニュージーランドの教師を見たらどうなるか？ もし、教師の最初の1年目だけに限定したらどうなるか？ もし、数学的公式をわずかに変えたらどうなるか？ これに答えるために、ホワイトは単に推測したのではなく、「マルチバース（多重宇宙）」を構築しました。科学におけるマルチバース分析とは、あらゆる合理的なルールの組み合わせを一度にテストするシミュレーションを実行することのようなものです。

この場合、ホワイトは研究者が調整できる13種類の異なる「つまみ（選択肢）」を特定しました。これらには、以下のような決定が含まれます：

• 誰を対象とするか？（新しい教師のみを含めるべきか、それともすべての教師を含めるべきか？ アメリカだけを見るべきか、他の英語圏の国々も見るべきか？）
• どのような数値を使用するか？（調査人数を考慮して数学的な調整を行うべきか、それとも全員を平等にカウントすべきか？）
• トレーニングをどのように測定するか？（トレーニングプログラム全体を見るべきか、それとも細かく分解すべきか？）

これらの選択肢をすべて掛け合わせると、驚くべき数字になります。497,664 通りの異なる分析方法です。これは、庭の中を通る、およそ50万通りの異なる経路です。ホワイトは、これらすべての経路に対して分析を実行しました。

変わりゆく宝物

結果は衝撃的なものでした。ホワイトが「マルチバース」の結果を見たとき、宝箱はすべての経路において同じ場所に存在しているわけではないことが分かりました。

497,664通りの分析の中には、トレーニング活動が教師を信じられないほど幸福にし、効果的にする魔法の杖のように見えるものもありました。一方で、全く同じトレーニング活動が、実は教師に害を与え、効果を下げているように見える分析もありました。また、多くの経路では、トレーニングは何の影響も与えないように見えました。

論文はこのことを巨大なグラフ（原文の図1）で示しています。点の列が左端から右端まで伸びている様子を想像してください。左端の点は、トレーニングが災難であったとする分析を表しています。右端の点は、トレーニングが奇跡であったとする分析を表しています。中央の点は、それが重要ではないとする分析を表しています。恐ろしいのは、両側に「緑色の点（統計的に有意、つまり「現実」であること）」が存在することです。これは、特定のトレーニング活動や特定の教師の成果に対して、ある研究者が「それは大成功である」と証明するための「合理的な」方法を見つけられる一方で、別の「合理的な」方法を使えば「それは大失敗である」と証明できてしまうことを意味しています。

元の研究は、この庭の中の特定の1つの道を選び、肯定的な結果を見つけ出しました。しかし、ホワイトのマルチバース分析は、この結果が必ずしも「真実の真実」ではなかったことを示唆しています。それは何十万もの可能な真実のうちの一つに過ぎず、どの道を進むかという選択はある程度恣意的であったのです。

なぜこれが重要なのか

この論文は、教師トレーニングが無意味だと言っているのではありません。元の著者たちが間違っていたと言っているわけでもありません。むしろ、科学の行われ方における、微妙だが極めて大きな問題を浮き彫りにしています。研究の問いが（例えば「トレーニングは教師を助けるか？」のように）少し曖昧である場合、答え方はあまりに多岐にわたるため、答えは、研究者がデータを調べ始める前に下す選択に依存してしまうことが多いのです。

著者はこれを「分岐する道の庭」と呼んでいます。自分がどの道の上にいるのか分からなければ、見つけた宝物が本物なのか、それとも単に選んだ特定の道の結果なのかを確信することはできません。論文は、単一の明確な結果を伴う研究を目にしたとき、私たちはもう少し好奇心を持つべきだと示唆しています。「もし彼らが異なる道を選んでいたらどうなっていただろうか？」と問うべきなのです。

およそ50万回の分析を実行することで、この論文は、教師トレーニングに関する「真実」が、単一の見出しが示唆するものよりも、はるかに複雑で不確実であることを私たちに示しています。これは新しい、より優れた答えを与えてくれるのではなく、私たちがどれほど確信を持てていないのかという、より明確な全体像を与えてくれるのです。科学という庭においては、多くの道があり、そして時には、どの道を選んで歩くかによって景色が完全に変わってしまうことがあるのだということを、この論文は思い出させてくれます。