科学研究の世界において、データはしばしば、研究者が異なるカテゴリーに何人の人が該当するかを数える単純なグリッド（格子）の形で提供されます。例えば、新薬による治療を受けた患者と標準的な治療を受けた患者の2つのグループを比較し、回復したか、あるいはしなかったかを確認する表を想像してみてください。治療が実際に効果があったかどうかを判断するために、科学者は、目の前のパターンが真実なのか、それとも単なる偶然の産物なのかを判断するための数値を算出する数学的ツールを使用します。数十年にわたり、この役割を担うために、特定の2つのツールに頼るのが標準的な慣行となってきました。一方のツールは「厳密（exact）」であることで有名であり、広範な推測を行うことなく確率を計算します。もう一方は、データが豊富で均等に広がっている場合にうまく機能する古典的な手法です。しかし、現在のソフトウェアがこれらのツールをどのように使い分けるかという手法には欠陥があり、それが大多数の実世界の研究において誤解を招く結論を導いていることが、新たな分析によって示唆されています。問題はツール自体が壊れていることではなく、それらを使用するためのルールが硬直的すぎることにあり、その結果、研究者が真の効果を見逃したり、存在しないパターンを見てしまったりしているのです。

マサチューセッツ大学ローウェル校の研究者、ウィリアム・J・ドワイアーは、この報告エラーを修正するための新しい基準を提案しています。彼は、表の数値が小さい場合に自動的に「厳密」なツールへと切り替える現在の習慣は間違いであると主張しています。そのツールは計算においては精密ですが、過度に慎重であり、証拠を実際よりも弱く見せてしまうことで、真の発見をしばしば隠してしまいます。逆に、もう一つの一般的なツールは、データが偏っている場合に過剰に反応し、何もないところで「発見」を叫んでしまうことがあります。著者は、これら2つの伝統的な手法は、データが均衡している場合には真の効果を見つける能力において実は同等であるものの、データが乱雑であったり希薄であったりする場合、どちらも正しい確信度を報告することに失敗すると指摘しました。研究者は、あまりに臆病なツールか、あるいはあまりに大胆なツールのどちらかを選ぶことを強制される代わりに、$T_{root}$ と呼ばれる単一の新しい統計量を導入しています。これは、付随する手法論文の中で開発・検証されたものです。この統計量は、あらゆる種類のデータに対して信頼性を持って機能します。

この研究は、数千のシミュレーションされた表を用いて、旧来の手法が異なる条件下でどのように機能するかをテストすることから始まりました。その結果、「厳密」なツールは、その名の通りではあるものの、約束された通りの誤差制御を行っていないことが判明しました。それは特定の離散的な確率ステップしか生成できないため、意図したよりもはるかに厳格になりすぎてしまい、事実上の発見の閾値を誰にも告げずに下げてしまうことがよくあります。これらのシミュレーションにおいて、そのツールは、データが明らかに相関を示している場合であっても、頻繁に真のつながりを見逃していました。同時に、代替となるツールは、特に比較されるグループのサイズが大きく異なる場合、ランダムなノイズに対して、あたかも発見であるかのようにフラグを立てることがよくありました。研究は、これら2つの手法の選択は、どちらがより真実を見つける力が強いかという問題ではなく、両者が同じ割合で真実を見つけていることを実証しました。真の問題はキャリブレーション（較正）にありました。どちらのツールも、あらゆるタイプの表に対して正しい信頼レベルを報告することには信頼を置けなかったのです。

この問題を解決するために、著者は新しい統計量 $T_{root}$ を活用しています。これは、解析対象となるデータ表の特定の形状とサイズに基づいて自律的に調整される、単一の自己完結型の公式です。複雑な決定木を用いてどのツールを使うべきかを判断する必要がある従来のメソッドとは異なり、$T_{root}$ はあらゆる表に対して同様に機能します。小規模で空のグリッドから、大規模で密集したものまで、あらゆる表に対して機能するのです。広範なテストにおいて、この新手法は完璧に踏みとどまり、最も困難で不均衡、あるいは希薄なシナリオにおいても、意図した目標に極めて近い誤差率を報告しました。また、従来の「厳密」なツールが見逃していた真の関連性を検出する能力も回復させ、最も問題のあるデータ領域において、真の信号を見つける力を実質的に倍増させました。この新手法は高速で、複雑な調整を必要とせず、何千回ものコンピュータ・シミュレーションを実行することなく、単一の明確な答えを返します。

また、本論文では、公開データセットから得られた数千の現実世界の表を用いて、現在のシステムがどの程度の頻度で失敗しているかを調査しました。その結果は衝撃的なものでした。分析された表の約94パーセントが、デフォルトのソフトウェア設定では信頼できない結果を生み出すカテゴリーに該当していたのです。これらのケースでは、標準的なツールが保守的すぎるか、あるいは過度に寛容であり、関係が存在するかどうかについて誤った結論を導いていました。具体的な例として、火傷の傷に関する研究があります。標準的なソフトウェアは、洗浄処理と手術の必要性の間に有意な関連はないと判定しました。しかし、新しい手法は明確な関連を検出し、「効果なし」という結論を「有意な効果あり」へと変え、その効果がどの程度強いのかについても、より正確な範囲を提示しました。このような判定の逆転は、稀な異常事態ではなく、データサイエンティストが日々使用しているデータにおいてよく起こる現象なのです。

提案される解決策は、統計ソフトウェアのデフォルト設定を変更することです。ユーザーに異なるテストの選択を求めたり、小さな数値に関する時代遅れのルールに頼ったりするのではなく、ソフトウェアはほぼすべての表に対して新しい $T_{root}$ 統計量を自動的に報告すべきです。唯一の例外は、表があまりに小さく空であるために、解析するには単純すぎる形状に崩れてしまう場合であり、その場合にのみ、ソフトウェアは伝統的な「厳密」な手法にフォールバックすべきです。これにより、シンプルで誠実な基準が生まれます。すなわち、新しいツールをあらゆる場面で使用し、他の手法が機能しない極端な隅の部分においてのみ、古いツールを使用するというルールです。著者はまた、レポートには単一の数値だけでなく、その特定の状況下でテストがどの程度適切に機能したかを示す尺度も含めるべきであると推奨しており、読者がその結果に対してどの程度の信頼を置くべきかを正確に把握できるようにしています。

この研究は、統計学における長年の問題を、どのツールを選ぶかというパズルとしてではなく、報告基準の失敗として再定義しています。研究は、「厳密な計算」と「厳密な誤差制御」の間の混乱が、数十年にわたる誤解を招く結果をもたらしてきたことを示しています。あらゆる場面で機能する、較正された単一の統計量を採用することで、科学コミュニックは、データから導き出される結論が強力かつ誠実であることを保証できます。論文は、複雑な決定木や矛盾するデフォルト設定の時代は終わり、データがいかに乱雑であろうとも真実を報告する、明快なルールに取って代わられるべきであると結論づけています。