How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

水は、実験室においてはしばしば空白のキャンバス、つまり他の物質を単に保持するだけの中立的な媒体として扱われる。しかし、数十年にわたり、研究者たちは、水が物理的または化学的な処理によって根本的に変化し、その処理が終わった後も持続する新しい特性を獲得できると主張してきた。これらの変化の根拠として通常引用されるのは、水の電気伝導性のわずかな変化である。処理されたサンプルが、未処理のものよりもわずかに電気をよく通したり、あるいは通さなくなったりしたとき、科学者たちはこれを水の構造が変化した証拠として捉えてきた。報告される差異は極めて小さく、通常は1パーセントから5パーセントの範囲に収まる。科学界では、既知の物理学がそのような変化を生み出し得るのかどうかについて長年議論されてきたが、より基本的な問い、すなわち「測定ツール自体がそのような微細な差を識別できるのか、それとも信号は単なるノイズなのか」という問いは、ほとんど無視されてきた。

この問いが重要である理由は、もし測定が現実の変化とランダムな変動を確実に区別できないのであれば、どれほど注意深く記録されたとしても、その結果は水について何も教えてくれないからである。ヴァディム・コヴァレフによる論文は、水の性質について論じるのではなく、測定そのものの算術を行うことでこの問題に取り組んでいる。著者は、電気伝導性の実験に紛れ込み得るあらゆる誤差の源泉について、詳細な会計を作成している。これには、塩を計量するために使用した天秤の精度、水を計量するために使用したガラス器具の正確さ、装置の時間的な安定性、そして最も決定的な要素である温度が含まれる。水の電気伝導性が、温度が1度上昇するごとに約2パーセント変化するという事実は、確立された事実である。これは、2つのサンプルの間にわずか0.5度の差があるだけで、1パーセントの変化を模倣しうることを意味しており、その変化は研究者が発見したと主張する効果と全く同じように見えるのである。

これらの実験の限界を理解するために、著者は包括的なエラー予算（誤差の総計）を構築した。これは、単一の測定に含まれるすべての不確実性を体系的に集計したものである。分析によれば、理想的で制御された条件下では、単一の水サンプルの不確実性は約1.3パーセントである。これは、完璧な装置を用いたとしても、プロセスの自然な限界によって、単一の読み値がその程度ずれる可能性があることを意味している。しかし、真の課題は、2つの水サンプルのグループを比較するときに生じる。異なるバッチ間の変動、すなわち、どのように計量され、混合され、準備されたかの違いは、装置自体の不確実性よりもはるかに大きいことが多い。多くの研究において、このバッチ間の自然な変動は約2パーセントである。著者が、この背景ノイズに対して1パーセントの差を確実に捉えるために、どれほど多くの独立したサンプルが必要かを計算したところ、その数は驚くほど高かった。各グループにつき64個の独立した準備が必要であったのである。この分野の出版された研究の多くは、わずか3個から5個のサンプルしか使用しておらず、これは実験の自然な揺らぎから現実の効果を区別するにはあまりにも少ない数である。

次に、この論文は、研究者がしば然と気づかぬうちに犯してしまう、存在しない効果を実在するように見せてしまう4つの一般的な間違いについて検証している。第一は、同一のサンプルからの複数の読み取りを、あたかも別々のサンプルであるかのように扱うことである。もし研究者が一つのコップの水を用いて3回測定を行い、その3つの数値を3つの独立したデータポイントとしてカウントした場合、彼らは見かけ上のノイズを人工的に縮小させ、実際には差がないにもかかわらず、差があるように見せかけることになる。第二の過ちは、有望な結果が出た途端に実験を止めてしまうことである。もし研究者がサンプルを一つずつ追加してテストし続け、何らかの「有意な」結果が見えた瞬間に停止する場合、彼らは勝利するまでギャンブルをしているようなものであり、それは誤報を保証することになる。第三の誤差は、すべての対照サンプルを先に測定し、すべての処理サンプルを最後に測定することである。もし装置が時間の経過とともにわずかにドリフト（偏り）を生じる場合、この固定された順序によって、そのドリフトがグループ間の差として現れてしまう。最後にして最も危険な過ちは、温度を制御し損ねることである。2つのグループ間の室温に、気づかないほどの小さな差があるだけで、それが現実の化学変化と区別がつかない偽の信号を作り出す可能性がある。

著者がこれら4つの共通の欠陥を含む研究をシミュレーションしたところ、結果は劇的であった。現実の効果が存在しないシナリオにおいて、欠陥のある設計を用いた場合、78パーセントの試行において「有意な差」が見出された。これは、これらの隠れたエラーを持つ研究は、何も起こらなかったことを正しく報告するよりも、発見があったと報告する可能性の方が高いことを意味している。著者は、自身の以前の著作に対しても、これらの厳格な基準を適用した。その著作では、文献で議論されているような種類の伝導性の差が報告されていた。分析の結果、それらの以前の結果はテストを通過できなかった。つまり、それらは実験設計のノイズと区別できなかったのである。その結果、それらの特定の数値は、著者の研究プログラムから撤回された。この論文は、水が変化できないと主張しているわけでも、その効果が不可能であると言っているわけでもない。単に、現在の検出手法は、それらを捉えるにはあまりに無骨であることを確立しているのである。

本研究は、将来の実験が有効であるとみなされるための6つの要件を提示して締めくくられている。これらには、すべての読み取りに対して正確な温度を記録すること、繰り返しの読み取りではなく独立した準備のみをカウントすること、装置のドリフトを相殺するために測定順序をランダム化すること、そして事前にどれだけのサンプルを使用するかを明記することが含まれる。最も重要なことは、研究者が、自身の設計が捉えることが可能な最小の差異を計算し、報告しなければならないということである。もしある研究が2パーセントの変化を見出したと主張しながら、その設計が6パーセント以上の差異しか解像できないのであれば、その主張は無意味である。論文は、これらの記録がなければ、結果は弱い証拠ではなく、全くの証拠ではないと論じている。解決策は、その発見を信じるか否定するかではなく、数字を公正に判断することを可能にする欠落したデータを要求することである。これらの厳格な基準を適用することで、科学界は、どの研究が問いに答える能力を持っているのか、そしてどの研究が単に自分たちの道具の限界を測定しているだけなのかを、ようやく判断できるようになるのである。