Meta-Analysis with JASP, Part I: Classical Approaches

科学の世界を、研究者がそれぞれ特定の実験についての本を書いている、巨大で賑やかな図書館だと想像してみてください。時には、ある本は新しい薬が素晴らしい効果をもたらすと述べ、別の本は全く効果がないと述べることもあります。ここで「メタ分析」が登場します。これは、単に一冊の本を読むだけでなく、何百冊もの本を集め、それらを積み上げ、ノイズの中に隠された真実の物語を解き明かす「スーパー司書」のようなものです。それは、満員のスタジアムの中で一つのささやきを聞き取ろうとするようなものです。一人の声だけを聞いても意味はなく、全員の声を組み合わせることで初めて、真のシグナルを見つけ出すことができるのです。

この作業を行うために、スーパー司書はいくつかの重要なツールを使用します。まず、彼らは「効果量（effect size）」を計算します。これは結果が「どの程度大きいか」を測定する方法であり、異なる種類の測定値を共通の言語へと変換するものです。次に、「フォレストプロット（forest plot）」を確認します。これは、それぞれの木が研究を表す「木の森」のようなチャートであり、木の配置によってその研究の結果を示します。最後に、「異質性（heterogeneity）」をチェックします。これは、「すべての研究が同じ物語を語っているのか、それともバラバラなのか？」と問いかけるための、少し凝った言い回しです。もし研究があまりに異なっている場合、司書はなぜそうなっているのかを解明するために特別な数学を用いる必要があります。科学者がこれを重視するのは、単一の研究だけに頼ることは、映画のたった一つのシーンだけで作品全体を判断するようなものだからです。それでは、物語の展開や結末を見逃してしまうかもしれません。

この論文は、ユーザーフレンドリーな新しいツールである「JASP」（具体的にはその「メタ分析モジュール」）を紹介しています。これは、強力で複雑なツールをコンピュータ・コーディングの世界から、シンプルな「ポイント・アンド・クリック（マウス操作）」のインターフェースへと連れ出してくれるものです。著者である統計学者とソフトウェア開発者のチームは、プログラミングができない科学者でも、コードを一行も書くことなく高度なメタ分析を行えるように、これを構築しました。彼らは、JASPが基本的な要約から、データが共有されていたり、複数の層の情報を持っていたりする非常に複雑なシナリオまで扱えることを示しています。この論文は、宇宙の新しい法則を発見したと主張しているわけではありません。むしろ、無料のオープンソース・ソフトウェアが高度な統計処理という重労働を引き受けられるようになり、これまでより単純で強力さに欠けるツールしか使えなかった学生や研究者にとって、それが身近なものになったことを示しているのです。

スーパー司書の新しい道具箱の物語

あなたが探偵としてミステリーを解決しようとしている場面を想像してください。ただし、目撃者は一人ではなく、五十人もいます。ある目撃者は遠くから事件を見ており、ある人はすぐそばにいて、またある人は少し異なる話をしています。かつて、これらすべての話を一つの明確な真実にまとめるには、カスタムマシンを構築するためにコンピュータの秘密の言語（Rプログラミング言語など）を操るマスター・コーダーである必要がありました。もしコードが書けなければ、微妙な手がかりを見逃してしまう基本的な虫眼鏡を使わざるを得ませんでした。

この論文の著者たちは、「誰でも使えるマシンを作ろう」と言いました。彼らは、この探偵作業のためのハイテクなダッシュボードとして機能する、JASPという無料ソフトウェア内のモジュールを作成しました。コードを入力する代わりに、ボタンをクリックし、データをドラッグ・アンド・ドロップするだけで、ソフトウェアが計算を行ってくれます。論文では、このダッシュボードがどのように機能するかを示すために、3つの異なる「ケース」を辿ります。これにより、コーダーでなくても最高レベルの探偵業務ができることが証明されます。

ケース1：ワクチンの謎（基本編）
最初のケースは、結核ワクチンに関する有名なデータセットを用いたものです。著者たちは、JASPを使用して「効果量」（ワクチンがどれほど効果的であったか）を計算し、「ファンネルプロット（funnel plot）」を描画する方法を示しています。ファンネルプロットとは、すべての研究結果を投入する漏斗型のグラフだと想像してください。もしすべてが公正で正当であれば、点は整った対称的なピラミッドを形成するはずです。もしピラミッドが歪んでいれば、それは一部の研究が欠落しているか、バイアスがかかっている可能性を示唆します。その後、ソフトウェアは「フォレストプロット」を作成します。これは、各研究がどこに位置し、結果に対してどの程度の確信度があるかを示す、木の森のようなものです。さらに、著者たちはJASPがこれらの木をグループ（サブグループ）に分割し、研究の実施方法によってワクチンの効果が異なったかどうかを確認できることさえ示しています。結果はどうでしょうか？ ソフトウェアは、かつてコーディングを必要とした複雑な数学を再現することに成功し、「ランダム効果モデル」（研究間の差異を扱う手法）を実行することを容易にしました。

ケース2：ライティング・インターベンション（パターンの探索）
二番目のケースでは、探偵たちは「学習のためのライティング（writing-to-learn）」介入に関する研究を調査します。ここでは、介入の長さや、学生がフィードバックを受けたかどう観点が結果にどう影響するかを知りたいと考えています。これは「メタ回帰（meta-regression）」と呼ばれます。これは、散布図の中に線を引いてトレンドが存在するかどうかを確認することに似ています。JASPはこの線を自動で描き、さらに、大きなバブルほど精度が高い研究であることを示す「バブルプロット（bubble plot）」を作成します。また、ソフトウェアは「推定周辺平均（Estimated Marginal Means）」を算出します。これは、「他の条件を一定に保った場合、結果はどうなるか？」という問いに対する、少し凝った答え方です。例えば、「もし全ての学生が全く同じ時間とフィードバックを与えられたとしたら、スコアはどうなるか？」と問うようなものです。論文は、JASPがこれらの複雑な比較を処理でき、さらにデータの「広がり（異質性）」が研究の長さに応じて変化するかどうかをテストできること（これは「ロケーション・スケール・モデル」と呼ばれる手法です）を示しています。

ケース3：再犯のパズル（絡み合った網）
三番目のケースは最もトリッキーです。これは、少年犯罪とメンタルヘルスに関する研究を扱っています。ここでの問題は、多くの研究が同じ子供のグループに対して複数の結果（例：攻撃性、いじめ、窃盗など）を報告していることです。これは、データが独立していない「絡み合った網」を生み出します。もしこれを無視すれば、実際よりも多くの証拠を持っていると誤認してしまう可能性があります。著者たちは、JASPが「マルチレベル・モデル」（データの入れ子構造を扱うもの）、「多変量モデル」（異なる種類の犯罪間の相関を考慮するもの）、そして「クラスター頑健標準誤差（cluster-robust standard errors）」（計算がデータの繋がりによって欺かれないためのセーフティネット）を用いて、どのようにこの網を解きほぐせるかを示しています。この特定のケースにおいて、網を解きほぐした後でも、ソフトウェアは統計的に有意な差を見つけ出しました（統合された効果量 $d=0.36$, 95% CI [0.16, 0.56]）。

なぜこれが重要なのか

この論文は、単に見た目がきれいなインターフェースを見せているのではありません。高度な統計手法は、コンピュータ・コードという壁の向後に閉じ込められるべきではない、と主張しています。JASPにこれらのツールを統合することで、著者らは、研究者、教師、学生が、コードのデバッグではなく、科学の「解釈」に集中できるようになったと示唆しています。ソフトウェアはバックグラウンドでコードを生成するため、学びたい場合はその仕組みを見ることができますし、単に答えが欲しい場合は、ただクリックするだけで済みます。

著者たちは、このモジュールが基本的なプロットから複雑なマルチレベル・モデルに至るまで、非常に広範な領域をカバーしている一方で、これが「進行中の作業（work in progress）」であることにも注意深く言及しています。ネットワーク・メタ分析のような機能は、将来の計画であると述べています。しかし現時点において、彼らは、無料のオープンソース・ツールが、科学的エビデンスを統合するために必要な厳格かつ最先端の手法を扱えることを、見事に実証しました。彼らは科学のあらゆる問題を解決したと主張しているのではなく、スーパー司書に対して、より優れた道具箱を手渡し、誰もがそれを手に取って、ノイズの中から真実を見つけ出せるようにしたのです。