Z-Curve Plot: A Visual Diagnostic for Publication Bias in Meta-Analysis

技術的要約：出版バイアスの視覚的診断としてのZ曲線プロット

問題提起
出版バイアス（統計的に有意ではない、あるいは非適合な知見の抑制）は、効果量の過大評価や帰無仮説に対する証拠の膨張を招き、メタ分析による推論の妥当性を損なう。出版バイアスを調整するための数多くの統計的手法（選択モデル、回帰ベースのアプローチ、ベイズモデル平均化など）が存在するものの、出版バイアスに特化した視覚的診断ツールは著しく不足している。ファンネルプロットやその拡張版（コンタープロットやパワー増強プロット）といった既存のツールは、バイアスを検出する信頼性の低さ、「小規模研究効果（small-study effects）」への脆弱性、および既に推定されたモデルの視覚的評価を容易にする能力の欠如が批判されている。その結果、研究者は、特定のメタ分析モデルが観測データによく適合しているのか、あるいは選択プロセスによって生じる系統的な不連続性を説明できていないのかを、直感的に判断する簡便な手法を欠いている。

手法
著者らは、モデルが示唆する$z$統計量の分布を、観測された$z$統計量の分布に重ね合わせる視覚的診断ツールとして**zプロット（z-plot）**を提案している。その手法は以下の通りである：

1. データの投影: 2次元のファンネルプロットを用いる代わりに、本手法ではデータを$z$統計量（効果量をその標準誤差で除したもの）の1次元ヒストグラムに投影する。これにより、小さな$p$値が密集する領域での高解像度を維持し、$p$値へと直接的にマッピングすることが可能となる。
2. 不連続性の検出: 出版バイアスが存在しない場合、$z$統計量の標本分布は、近似的に正規分布に従う混合分布として滑らかになる。出版バイアスは、特定の閾値における観測ヒストグラムの鋭い不連続性として現れる：
   • 統計的有意性の閾値（$\alpha=0.05$の場合の$|z|=1.96$、$\alpha=0.10$の場合の$|z|=1.64$）。
   • 効果の方向（$z=0$）。
3. モデル示唆分布: ベイズ・メタ分析モデルにおいて、著者らは$z$統計量の事後予測分布（$z_{pred}$）を算出する。これには、$z_{pred} = y_{pred}/se$という変数変換を行うことで、効果量の事後予測分布（$y_{pred}$）を得るプロセスが含まれる。
4. 視覚的比較: zプロットは、これらのモデル示唆曲線を観測ヒストグラム上に重ね合わせる。
   • 適合が良い場合（Good Fit）: モデル示唆分布が、不連続性を含めて観測ヒストグラムを密接に追跡している。
   • 適合が悪い場合（Poor Fit）: 非有意な結果を過大評価している、あるいは有意性の閾値における「崖（cliff）」を捉えきれていないなど、系統的な不一致が現れる。

この手法はRoBMA Rパッケージに実装されており、ベイズ変量効果モデル、ベイズ・PET（精度効果テスト）モデル、ベイズ3パラメータ選択モデル（3PSM）、およびモデル平均化を用いるRobust Bayesian Meta-Analysis（RoBMA）を含む、競合する複数のモデルを同時に可視化できる。

主な貢献

• 視覚的な絶対適合診断: zプロットは、相対的なモデル比較テスト（ベイズ因子やAICなど）とは異なり、モデルがデータをどの程度よく記述しているかという「絶対的な」適合性の視覚的評価を提供する。
• 同時モデル比較: 研究者は、単一の図の中で競合する複数のメタ分析モデルを比較でき、どのモデルが選択メカニズムを適切に説明できているかを明らかにできる。
• 小規模研究効果との差別化: ファンネルプロットの非対称性は異質性や小規模研究効果によっても引き起こされるが、zプロットにおける有意性閾値での不連続性は、出版バイアスの直接的な証拠として提示される。
• 実装: 本手法はRoBMAパッケージに統合されており、標準的なベイズ・メタ分析のワークフローにおいて利用可能である。

結果
論文では、シミュレーションデータおよび実世界のメタ分析を通じてzプロットの有用性を実証している：

1. バイアスのないシミュレーションデータ: 出版バイアスなしで生成されたデータセットでは、すべてのモデル（変量効果、PET、3PSM、RoBMA）が観測された$z$分布を密接に近似している。zプロットは、どのモデルも系統的な不適合を示さないことを確認しており、バイアスが存在しない場合には単純なモデルの使用が妥当であることを検証している。
   2.らバイアスのあるシミュレーションデータ: 出版バイアス（非有意または負の結果を50%保持）をシミュレートしたデータセットでは、変量効果モデルおよびPETモデルは$z=1.96$における不連続性を捉えられず、非有意な結果を過大評価している。対照的に、3PSMおよびRoBMAモデルは不連続性を正確に追跡している。zプロットは、バイアス調整済みモデルの方が適合度が高く、より正確な効果量推定を行うという統計的知見を視覚的に裏付けている。
2. 実世界の例（社会的比較）: 行動変容テクニックとしての社会的比較に関するメタ分析において、従来のファンネルプロットやEggerの検定は有意なバイアスを示唆しなかった。しかし、zプロットは$z=0$における明確な不連続性（ポジティブな結果への選択）を明らかにした。単純なモデル（変量効果、PET、3PSM）はこれを説明できず、負の効果量を系統的に過大評価していた。ポジティブな方向への選択モデルを含むRoBMAは、より良い適合を示し、結果として効果量 $g \approx -0.008$ という、元のポジティブな知見とは対照的な、「効果の不在」を示す中程度の証拠が得られた。

意義と主張
著者らは、zプロットを標準的な統計テストを補完するツールとして位置づけている。その主な意義は以下の点にある：

• 統計テストの検証: 統計的指標が定量化する「不適合」を「見る」ことによって、モデル比較テスト（ベイズ因子など）の結果を視覚的に検証することを可能にする。
• モデル選択の指針: 実務者が、単純な未調整モデルが不適切な場合と、複雑なバイアス調整済みモデルが必要な場合を識別するのを助ける。
• モデルの限界の特定: 検討されているモデルがいずれも観測分布にうまく適合しない場合（例：周辺的な有意領域におけるp-hackingをモデルが捉えられていない場合）、zプロットはより複雑なモデリングの必要性を示唆するか、あるいは解釈を控えるべきであることを示す。

論文では、本手法が最も情報量が多くなるのは中規模または大規模なメタ分析であること、また可視化は$z$統計量に依存しているため、元の研究が非正規の検定統計量（例：$F$検定）を使用している場合にわずかな歪みが生じる可能性があることが控えめに述べられている。さらに、zプロットは疑わしい研究行為（QRPs）を示すパターンを検出できるものの、標準的な出版バイアスと常に区別できるわけではない。本手法は現在ベイズの枠組み内で実装されているが、著者らは同様の可視化が古典的な枠組みでも開発可能であると示唆している。