Testing Monotonicity in a Finite Population

隠されたスイッチの謎

あなたは、唯一の手がかりが混沌とした場面を写した一枚のスナップショットである事件を解決しようとしている探偵だと想像してください。あなたにはあるグループの人々がいて、あなたは彼ら一人ひとりに対してランダムにコイン投げを行いました。表が出れば特別な薬を与え、裏が出れば砂糖の粒（偽薬）を与えます。その後、あなたは誰が良くなり、誰が良くならなかったかを目にします。あなたの目的は、非常に具体的な秘密を突き止めることです。すなわち、「その薬は常にすべての人を助けたのか」、それとも「ある人には助けとなった一方で、密かに別の人を傷つけたのか」ということです。科学の世界では、これを「単調性（monotonicity）」と呼びます。これは、治療が全員を同じ方向に導くという考え方です。例えば、決して南へは吹かず、北へのみ吹く風のようなものです。

科学者たちは、この隠された風の正体を見つける方法について、長年議論してきました。これには主に2つの視点があります。第一の方法は、無限の海のような人々を想像することです。小さなサンプルを取り出し、「この海の中に、この薬によって害を受けた人は一人でもいるのか？」と問いかけます。第二の方法（本論文が焦点を当てているもの）は、特定の100人が座っている決まった部屋を見ることです。あなたは部屋に誰がいるかを正確に知っていますが、コイン投げの実験結果はたった一度しか見ることができません。大きな疑問はこうです。もし部屋を一度見るだけで済むとしたら、その薬が「普遍的な英雄」なのか、それとも「善と悪が混ざり合ったもの」なのかを、本当に判断できるのでしょうか？

論文の大きな発見： 「識別された」幽霊

『Testing Monotonicity in a Finite Population（有限集団における単調性の検証）』と題された新しい論文の中で、研究者の Jiafeng Chen、Jonathan Roth、Jann Spiess は、この謎を深く掘り下げています。彼らはまず、「識別（identification）」と呼ばれるテクニカルなルールから検討を始めます。統計学の世界において、あるパラメータが「識別されている」とは、理論上、全く同じ人々に対して異なるコイン投げを行いながら実験を何度も繰り返すことができれば、完璧にそれを特定できる状態を指します。

著者たちは驚くべきことを証明しました。この固定された100人の部屋において、秘密の数字は技術的には「識別されている」のです。もし魔法のように時間を巻き戻し、同じ100人のためにコインを100万回投げることができたなら、最終的に「常に受ける人（どんな状況でも改善する人）」、「決して受けない人（どんな状況でも病状が変わらない人）」、「従う人（薬によって改善する人）」、そして「反抗する人（薬によって悪化する人）」がそれぞれ何人いるのかを正確に数えることができるでしょう。数学的には、データの中に答えが「含まれて」いるのです。

しかし、この論文の真のパンチラインは、この理論的な「イエス」は実用面では役に立たないということです。データの中に答えが隠されているからといって、たった一つのスナップショットからそれを見つけ出せるとは限りません。著者たちは、一度きりの実験では、学習の範囲が極めて限定的であることを示しています。それは、答えが入った鍵付きの箱を持っているようなものですが、その鍵があまりに小さく、錠前があまりに複雑なため、手持ちの道具では決して開けることができない状態なのです。

頻度主義の探偵： 弱い懐中電灯

まず、著者たちは「頻度主義（frequentist）」の探偵として振る舞います。彼らは、「反抗する人（治療によって害を受ける人）」が存在する場合、いつでもそれを検知できる懐中電灯（統計的検定）を構築しようとする科学者たちです。あなたはこう思うかもしれません。「もし十分な人数がいれば、私の懐中電灯は明るくなり、悪党を見つけ出せるはずだ」と。

論文は、これが罠であることを示しています。集団が大きくても、懐中電灯は信じられないほど暗いのです。著者たちは、どのような検定を構築したとしても、特定のシナリオにおいては、その検定がコイン投げ（勘）と同程度にしかならないことを証明しました。もし検定の信頼性を「5%」に設定したとしても（これは科学界の標準的なルールです）、違反を捉えるための検定力は、しばしばその5%レベルに留まるか、あるいはそれをわずかに上回る程度であることを著者たちは示しています。

これを鮮明にするために、あなたが庭にいる特定の珍しい虫を探している場面を想像してください。あなたは、ある種類の虫が18匹、別の種類の虫が12匹いる状況を想定して罠を作りました。もし庭がまさにその割合であったなら、あなたの罠はうまく機能します。しかし、もし庭に17匹と13匹という、たった一匹の違いしかなかったとしたら、あなたの罠は全く何も捕らえられません。論文は、この「全か無か」の感度が一般的な特徴であることを明らかにしています。あらゆる違反に対して明るく照らす懐中電灯を作ることはできません。それは非常に特定の、狭いターゲットにしか光を当てられず、その場合でさえ、非常に弱いのです。標準的な5%の検定において、違反を捉える能力（加重平均検出力）は、わずか12.6%に制限されます。言い換えれば、あなたの検定は、真実を見つける確率と同じくらい、真実を見逃す確率が高いのです。

ベイズの探偵： 頑固な信奉者

次に、著者たちは「ベイズ（Bayesian）」の探偵へと切り替えます。これらの科学者は、薬が安全かどうかについての「事前知識（事前分布）」を持ち、データを見た後にその知識を更新します。あなたはこう思うかもしれません。「もし新しい証拠が見られたなら、私は考えを変えるべきだ！」と。

論文は、不気GBな展開を明らかにします。データをどう見せられたとしても、決して考えを変えない探偵が存在するのです。著者たちは、特定の初期の信念を設定すれば、実験結果を見た後でも、薬が安全である確率が実験前と全く変わらないようにできることを証明しました。まるでデータが彼らにとって透明であるかのように。

これは、すべての探偵が頑固であるという意味ではありません。考えを更新する人もいます。しかし、こうした「頑固な」探偵が存在するということは、合意形成が不可能であることを意味します。もし、ある部屋に集まった科学者たちにデータを見せたとしても、ある者は「なるほど！この薬は人を傷つけるのだ！」と言い、他の者は「いや、私の計算ではまだ50/50だ」と言うでしょう。データは、全員を納得させるほど説得力のあるものではないのです。実際、薬が安全か不安全かを予測しようとするいかなる試みも、特定のシナリオにおいてはランダムな推測と同等であることを著者たちは示しています。それは、影を見てコイン投げの結果を当てようとするようなものです。時には、その影は何の新しい情報も与えてくれません。

推定量： 壊れたコンパス

最後に、著者たちは、薬が「もし」人を傷つけるかだけでなく、「どの程度」傷つけるかを推定する能力について考察します。彼らは、科学者が真実を推測するために用いる最も一般的なツールである「最尤推定量（MLE）」をテストします。彼らは、このツールがこの特定の状況においては壊れていることを見出しました。

MLEは、たとえ宝物が地図の中央にあっても、常に地図の端を指し示すコンパスのようなものです。論文は、集団のサイズが巨大になっても、MLEは（「反抗する人」のような）4つのタイプの一人が存在しないと推測してしまう傾向があることを示しています。たとえ実際にその人々が存在していたとしても、MLEは答えを可能な範囲の端へと押しやってしまうのです。

さらに悪いことに、違反の規模を推測する際の誤差は膨大です。著者たちは、可能な限り最善の推測（ミニマックス誤差）であっても、1/4というランダムな数字を推測することとほとんど変わらないほど低いことを示しました。そして、普及しているMLEツールはさらに劣っており、その誤差は最善の推測よりも4倍も大きいのです。それは、まるで折れやすい定規を使って山の高さを測ろうとしているようなものです。

結論

論文は、冷静な現実認識を突きつけて締めくくります。数学的には答えがデータの中に「存在する（識別されている）」としても、それを発見する実用的な能力はほぼゼロです。懐中電灯（頻度主義的検定）を使おうと、直感（ベイズ的更新）に基づこうと、あるいはコンパス（推定量）を用おうと、あなたはほとんどの場合、推測をしているに過ぎません。

著者たちは、固定された集団と一度きりの実験の世界においては、治療がすべての人を助けるのか、それとも一部の人を傷つけるのかを、信頼を持って判断することはできないと結論づけています。教科書に見られる「識別」は、理論上の幽霊に過ぎません。現実世界の単一の実験において、データは、誰が傷つき、誰が助けられたのかという隠された真実を明らかにするには、あまりにも曖昧すぎるのです。教訓はこうです。ある治療がすべての人に対して安全であると証明したつもりであっても、非常に注意してください。なぜなら、数学によれば、あなたは単に「影」を見ているだけかもしれないからです。