How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

물은 실험실에서 흔히 다른 물질을 담는 중립적인 매체이자, 아무것도 없는 백지 상태로 취급되곤 한다. 그러나 수십 년 동안 연구자들은 물이 물리적 또는 화학적 처리에 의해 근본적으로 변화될 수 있으며, 처리가 끝난 후에도 오랫동안 지속되는 새로운 성질을 획득할 수 있다고 주장해 왔다. 이러한 변화의 증거로 주로 인용되는 것은 물의 전기 전도도가 어떻게 변하는지에 대한 아주 미세한 변화이다. 처리된 시료가 처리되지 않은 시료보다 전기를 조금 더 잘 전도하거나 덜 전도할 때, 과학자들은 이를 물의 구조가 변했다는 증거로 간주해 왔다. 보고된 차이는 대개 1~5% 정도로 매우 작다. 과학계는 알려진 물리학이 과연 그러한 변화를 만들어낼 수 있는지에 대해 수년간 논쟁해 왔으나, 더 근본적인 질문은 대체로 무시되어 왔다. 즉, 측정 도구 자체가 그 미세한 차이를 포착할 능력이 있는가, 아니면 그 신호가 그저 잡음(noise)에 불과한가 하는 문제이다.

이 질문이 중요한 이유는, 만약 어떤 측정이 실제 변화와 무작위적인 변동을 신뢰성 있게 구별해내지 못한다면, 그 결과가 아무리 정교하게 기록되었다 하더라도 그것이 물에 대해 알려주는 바는 아무것도 없기 때문이다. 바딤 코발레프(Vadim Kovalev)의 논문은 물의 본질에 대해 논쟁하는 대신, 측정의 산술 자체를 다룸으로써 이 문제를 파고든다. 저자는 전기 전도도 실험에 침투할 수 있는 모든 가능한 오차의 원인을 상세히 회계한다. 여기에는 소금을 무게를 재는 저울의 정밀도, 물의 양을 측정하는 유리 기구의 정확도, 장비의 시간적 안정성, 그리고 가장 결정적으로 온도가 포함된다. 물의 전기 전도 능력이 섭씨 1도 상승할 때마다 약 2%씩 변한다는 것은 잘 알려진 사실이다. 이는 두 시료 사이의 온도가 단 0.5도만 차이 나더라도 1%의 전도도 변화를 흉내 낼 수 있음을 의미하며, 이러한 변화는 연구자들이 발견했다고 주장하는 효과와 똑같이 보인다.

이러한 실험의 한계를 이해하기 위해, 저자는 종합적인 오차 예산(error budget)을 구축하였다. 이는 단일 측정에 포함된 모든 불확실성을 체계적으로 집계한 것이다. 분석 결과, 이상적이고 통제된 조건 하에서 단일 물 시료의 불확실성은 약 1.3%이다. 이는 완벽한 장비를 갖추더라도, 자연적인 공정의 한계 때문에 단일 측정값이 그만큼 차이가 날 수 있음을 의미한다. 그러나 진짜 문제는 두 그룹의 물 시료를 비교할 때 발생한다. 서로 다른 배치(batch)의 물 사이의 가변성, 즉 물을 무게 재고, 섞고, 준비하는 과정에서의 차이는 종종 실험 장비 자체의 불확실성보다 훨씬 크다. 많은 연구에서 이러한 배치 간의 자연적인 변동은 약 2%에 달한다. 저자가 이 배경 잡음을 뚫고 1%의 차이를 신뢰성 있게 포착하기 위해 필요한 독립적인 샘플의 수를 계산했을 때, 그 숫자는 놀라울 정도로 높았다. 각 그룹당 64개의 별도 준비물이 필요했다. 이 분야의 대부분의 발표된 연구들은 단 3~5개의 샘플만을 사용하는데, 이는 실험의 자연스러운 떨림으로부터 실제 효과를 구별해내기에는 너무 적은 숫자이다.

그다음으로 이 논문은 연구자들이 자신도 모르게 범하는 네 가지 흔한 실수, 즉 존재하지 않는 효과를 실제처럼 보이게 만드는 실수들을 조사한다. 첫 번째는 동일한 시료에 대한 여러 번의 측정을 마치 별개의 샘 samples인 것처럼 취급하는 것이다. 만약 연구자가 한 컵의 물을 세 번 측정하고 그 세 개의 수치를 세 개의 독립적인 데이터 포인트로 계산한다면, 그들은 겉보기 잡음을 인위적으로 줄여서 실제로는 유의미하지 않은 차이를 유의미한 것처럼 보이게 만든다. 두 번째 과오는 결과가 유망해 보이는 즉시 실험을 중단하는 것이다. 만약 연구자가 샘플을 계속 추가하며 하나씩 테스트하다가, "유의미한" 결과가 나타나는 순간 멈춘다면, 그들은 본 게임에서 이길 때까지 도박을 하는 것이며, 이는 반드시 거짓 경보를 보장하게 된다. 세 번째 오류는 모든 대조군 샘플을 먼저 측정하고 모든 처리군 샘플을 마지막에 측정하는 것이다. 만약 장비가 시간에 따라 약간씩 변한다면(drift), 이러한 고정된 순서는 그 변화를 두 그룹 간의 차이처럼 보이게 만든다. 마지막이자 가장 위험한 결점은 온도를 제어하지 못하는 것이다. 두 그룹 사이의 미세하고 눈에 띄지 않는 실온 차이는 실제 화학적 변화와 구별할 수 없는 가짜 신호를 만들어낼 수 있다.

저자가 이러한 네 가지 흔한 결함을 모두 포함한 연구를 시뮬레이션했을 때, 결과는 극적이었다. 실제 효과가 전혀 없는 시나리오에서도, 결함이 있는 설계는 78%의 실행에서 "유의미한 차이"를 찾아냈다. 이는 이러한 숨겨진 오류가 있는 연구가 아무 일도 일어나지 않았음을 올바르게 보고하기보다 발견을 보고할 가능성이 더 높다는 것을 의미한다. 저자는 자신의 이전 연구에도 이 엄격한 기준을 적용하였는데, 그 연구는 문헌에서 논의되는 종류의 전도도 차이를 보고한 바 있었다. 분석 결과, 그 이전의 결과들은 이 테스트를 통과하지 못했다. 즉, 실험 설계의 잡음으로부터 구별될 수 없었다. 결과적으로, 그 특정 값들은 저자의 연구 프로그램에서 철회되었다. 이 논문은 물이 변할 수 없다고 주장하거나, 그러한 효과가 불가능하다고 말하는 것이 아니다. 단지 현재 사용되는 탐지 방법들이 그것을 보기에는 너무 둔탁하다는 점을 확립하는 것이다.

연구는 향end 미래의 실험이 유효하다고 간주되기 위한 여섯 가지 요구 사항을 제시하며 결론을 맺는다. 여기에는 매 측정 시 정확한 온도를 기록하는 것, 반복 측정이 아닌 독립적인 준비물을 계산하는 것, 장비의 드리프트를 상쇄하기 위해 측정 순서를 무작위화하는 것, 그리고 사전에 얼마나 많은 샘플을 사용할지 명시하는 것이 포함된다. 가장 중요한 것은, 연구자들이 자신의 특정 설계가 포착할 수 있는 가장 작은 차이를 계산하여 보고해야 한다는 점이다. 만약 어떤 연구가 2%의 변화를 발견했다고 주장하면서 정작 그 설계는 6%보다 큰 차이만을 분해할 수 있다면, 그 주장은 무의미하다. 이 논문은 이러한 기록이 없다면, 그 결과는 약한 증거가 아니라 아무런 증거도 아니라고 주장한다. 해결책은 그 발견을 믿거나 부정하는 것이 아니라, 숫자가 공정하게 판단될 수 있도록 누락된 데이터를 요구하는 것이다. 이러한 엄격한 기준을 적용함으로써, 과학계는 마침내 어떤 연구가 질문에 답할 능력이 있는지, 그리고 어떤 연구가 단순히 자기 도구의 한계를 측정하고 있는지를 판별할 수 있을 것이다.