Cohen's f or Mean Standardized Differences? Assessing Covariate Balance with Multivalued Treatments

あなたは、ある謎を解こうとしている探偵だと想像してください。「新しい薬が本当に患者を回復させたのか、それとも単に元々健康な状態だっただけなのか？」という謎です。医学研究の世界では、科学者たちは異なるグループ（例えば、薬Aを服用している人、薬Bを服用している人、あるいはプラセボを服用している人など）を比較して、真実を見つけ出そうとします。しかし、そこには落とし穴があります。結果を比較する前に、グループが公平であることを確認しなければならないのです。もし「薬A」のグループが若くて健康なアスリートばかりで、「プラセボ」のグループが高齢で風邪を引いている人々ばかりだったら、比較は台無しになります。これを**共変量のバランス（covariate balance）**と呼びます。

長い間、科学者が2つのグループを比較する際、公平性をチェックするための完璧なツールとして**標準化平均差（SMD）がありました。これは、グループ間の年齢や健康スコアの平均的な隔たりを測る「公平性の定規」のようなものです。数値が小さければ（例えば0.1）、グループはバランスが取れています。数値が大きければ、バランスが崩れています。しかし、3つ以上のグループがある場合はどうなるでしょうか？ 単にグループAとB、BとC、AとCの距離を測って、それを足し合わせるだけでは不十分です。全体を一括して判断できる、一つの「総括的（omnibus）」なスコア、つまりマスターゲージが必要になります。これまで、研究者たちはこれらのペアごとの測定値をどのように組み合わせるかについて推測したり、もともと別の数学的問題のために設計されたコーエンのf（Cohen's f）**という統計ツールを使用したりしてきました。この論文は、シンプルかつ極めて重要な問いを投げかけています。「3つ以上の治療法を比較する場合、どのツールが最高の『公平性の定規』となるのか？」

---

公平性の定規・頂上決戦

この研究において、アリエル・リンデン博士は、どちらが「最高のマルチグループ用公平性の定規」の称号にふさわしいかをテストするために、大規模なデジタル・シミュレーション・ラボを設置しました。一方の陣営は、いわゆる「現状維持（Status Quo）」、つまり「全差の平均」法です。例えば、赤、青、緑の3つのチームがあるとします。現状維持法は、赤と青、青と緑、赤と緑の間のギャップを測定し、それらのギャップを平均するか、あるいは最大値を報告します。これは、先生が生徒の身長差を見て、「クラス全体の平均的な身長差は小さい」と言ったり、「一番背が高い子と低い子の差が激しいので、クラスのバランスは悪い」と言ったりするようなものです。

もう一方の陣営は、数十年前から存在し、通常は実験における分散の分析に使用される古典的な統計ツール、コーエンのfです。リンデン博士はこのツールを、複数のグループに対する「公平性の定規」として転用できることに気づきました。単にギャップを平均するのではなく、コーエンのfは差の「平方平均平方根（root-mean-square）」を計算します。遊び心のある比喩を使うなら、現状維持法がランナーの平均速度を測るものだとしたら、コーコーのfはグループの「総エネルギー」を計算するようなものです。それは、大きく突き抜けているランナーや大きく遅れているランナーに特別な注意を払いますが、その際、各グループの人数に基づいて重み付けを行います。

シミュレーション・レース

どちらの定規が実際に機能するかを見るために、リンデン博士は単に実データを見るのではなく、仮想世界を作り上げました。彼は異なる特性を持つ何千もの架空の患者（正常なもの、歪んだもの、あるいは「はい/いいえ」の特性を持つもの）を生成し、彼らを3、4、6つの異なる治療グループに割り当てました。そして、「コンファウンディング（交絡）」、つまり「不公平」という名の仕掛けを導入しました。特定のグループが意図的に病弱であったり、逆に健康であったりするように設定したのです。彼はこれらのグループを、完全にバランスが取れた状態（ランダムな抽選のような状態）と、偏りがある状態（仕組まれたゲームのような状態）の2つの条件下でテストしました。

その後、彼はグループを「傾向スコアによる重み付け（propensity score weighting）」プロセスに通しました。これは、過小評価されている人に重みを置き、過剰に代表されている人の重みを減らすことで、グループを再び公平に見せるデジタル天秤のようなものです。目的は、**「どの定規（コーエンのfか、あるいは平均/最大SMDか）が、最終的な治療結果が実際にバイアス（偏り）を含んでいるかどうかを予測するのに優れているか？」**を見極めることでした。

結果：引き分け、しかし驚きの展開

シミュレーションの結果は非常に興味深いものでした。リンデン博士がそれぞれの定規が実際の「バイアス（結論の誤り）」をどれほど正確に予測できたかを調べたところ、コーエンのfと平均SMDは同率1位となりました。

• 相関関係： 両方のツールとも、バイアスを追跡する能力が非常に高いことがわかりました。グループが不均衡であれば、両方の数値は上昇しました。グループが均衡していれば、両方の数値は低下しました。すべてのデータをまとめて見たとき、定理のスコアと実際の誤差との相関関係は、両者とも約0.93でした。正しく重み付けされたグループのみを見た場合でも、両者とも約0.79付近を維持しました。
• 敗者： 「最大SMD」（最も悪いペアの1つだけを選び出し、残りを無視する方法）は、最も弱いものでした。これは、実際のバイアスを予測する能力が最も低かったのです。これは、クラスで一度テストに落ちた生徒のことだけを気にして、クラスの他の生徒が素晴らしい成績を収めたことを無視する教師のようなものです。一つの悪いペアに敏感すぎて、全体像を見失っています。

では、これはコーコーのfがすべてに取って代わる魔法の弾丸であることを意味するのでしょうか？ 必ずしもそうではありません。 この論文は、コーコーのfが精度において「より優れている」という考えを明確に否定しています。それは、従来の方法と同等の性能を持っています。しかし、この論文は**「スケール（尺度）」**に関する非常に重要な発見を提示しています。

「リンゴとオレンジ」問題

ここが最も重要な発見です。コーコーのfの数値と、SMDの数値を直接比較することはできません。

二つの温度計を想像してください。一つは摂氏（Celsius）で温度を測り、もう一つは華氏（Fahrenheit）で測ります。摂氏の温度計で「20」と表示されていれば、暖かい日だとわかります。しかし、華氏の温度計で「20」と表示されていたら、それは凍えるような寒さです！ 「20はどちらも同じだ」と言うことはできません。

この論文は、数学的に、コーコーのfと平均SMDはそれらの異なる温度計のようなものであることを証明しています。

• グループが3つの場合、コーコーのfは平均SMDの約0.63倍の大きさになります。
• グループが6つの場合、コーコーのfは平均SMDの約0.77倍の大きさになります。

つまり、もし研究者がSMDの0.10を見て、「よし、これは許容範囲内の小さな不均衡だ」と考えて慣れているとしても、コーコーのfの0.10を見て同じ判断を下すことはできません。実際、グループ数によっては、コーコーのfの0.10は、SMDの0.10よりも大きな不均衡を表している可能性があるのです。論文は、コーコーのfに対して古い「0.10ルール」を直接適用することに対して明確に警告しています。

「グループサイズ」の罠

さらにもう一つの仕掛けがあります。コーコーのfには、従来の方法にはない、組み込まれた機能があります。それは、グループのサイズによって重み付けを行うことです。

• 大きなグループ： もし最大のグループ（例えば患者の80%を占めるグループ）がわずかに不均衡であれば、コーコーのfはそれを大きく叫びます。
• 小さなグループ： もし極めて小さなグループ（例えば5%の人々）が激しく不均衡であっても、コーコーのfは、その人数が少ないために「重み」が小さくなり、その問題をささやく程度に留まることがあります。

論文は、心不全の研究という実例を用いてこれを説明しています。重み付けを行う前、最大の不均衡は、巨大な「コントロール群」と小さな「遠隔モニタリング群」の間にありました。従来の方法（平均SMD）はこの問題を大きな問題（0.134）として捉えました。コーコーのfもそれを捉えましたが、コントロール群があまりに巨大であったため、数値は小さく（0.065）見えました。両者ともグループが不均衡であることには同意しましたが、数値の見え方は異なっていました。

著者は、この重み付けは「実質的な選択（substantive choice）」であると主張しています。もしあなたが「集団全体」を重視するのであれば、主要なグループに焦点を当てるコーコーのfは素晴らしいツールです。しかし、もしあなたが「ごく少数の人が受ける希少な治療」を重視するのでが、コーコーのfはその少数の人々が不当な扱いを受けている事実を隠してしまう可能性があります。

結論

では、研究者は何をすべきでしょうか？

1. パニックにならないこと： コーコーのfは、複数のグループを含む研究において、バランスを確認するための妥当で理論的に裏付けられたツールです。それは従来のメソッドと同様に、バイアスを正確に追跡します。
2. 定規を混同しないこと： コーコーのfに対して、古い「0.10」という基準値を適用してはいけません。数値のスケールが異なるからです。
3. 中身を確認すること： 論文は、もしコーコーのfを使用するのであれば、その**内訳（ブレークダウン）**も報告することを推奨しています。各レベルのスコア（個々のグループがどうなっているか）と、ペアごとのスコア（各ペアがどうなっているか）を確認する必要があります。単一の「コーコーのf」の数値だけを見ていると、特定のグループが問題を抱えていることを見逃してしまうかもしれません。

結局のところ、この論文は、コーコーのfが複数のグループを一度に俯瞰するための、数学的にエレガントな方法を提供する、探偵の道具箱への強力な新兵器であることを示唆しています。しかし、あらゆる優れた道具と同様に、それには取扱説明書が付いています。スケールの読み方を知り、結論を出す前に必ず詳細を確認してください。