How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

El agua se trata a menudo como un lienzo en blanco en el laboratorio, un medio neutro que simplemente contiene otras sustancias. Sin embargo, durante décadas, diversos investigadores han afirmado que el agua puede ser alterada fundamentalmente mediante tratamientos físicos o químicos, adquiriendo nuevas propiedades que persisten mucho después de que el tratamiento termina. La evidencia que suele citarse para estos cambios es un diminuto cambio en la capacidad del agua para conducir la electricidad. Cuando una muestra tratada conduce la electricidad un poco mejor o peor que una muestra no tratada, los científicos a menudo han tomado esto como prueba de que la estructura del agua ha cambiado. Las diferencias reportadas son pequeñas, oscilando típicamente entre un uno y un cinco por ciento. La comunidad científica ha pasado años debatiendo si la física conocida podría crear tales cambios, pero una pregunta más básica ha sido ignorada en gran medida: ¿es la herramienta de medición misma capaz de ver una diferencia tan pequeña, o es la señal simplemente ruido?

Esta pregunta es importante porque si una medición no puede distinguir de manera fiable un cambio real de las fluctuaciones aleatorias, el resultado no nos dice nada sobre el agua, independientemente de qué tan cuidadosamente haya sido registrado. El artículo de Vadim Kovalev aborda este problema no argumentando sobre la naturaleza del agua, sino realizando la aritmética de la medición misma. El autor construye una contabilidad detallada de cada posible fuente de error que podría filtrarse en un experimento de conductividad. Esto incluye la precisión de la balanza utilizada para pesar la sal, la exactitud del material de vidrio utilizado para medir el agua, la estabilidad del instrumento a lo largo del tiempo y, lo más crítico, la temperatura. Es un hecho bien establecido que la capacidad del agua para conducir la electricidad cambia aproximadamente un dos por ciento por cada grado Celsius que aumenta la temperatura. Esto significa que una diferencia de apenas medio grado entre dos muestras puede imitar un cambio del uno por ciento en la conductividad, un cambio que se ve exactamente igual a los efectos que los investigadores afirman encontrar.

Para comprender los límites de estos experimentos, el autor construyó un presupuesto de error exhaustivo. Se trata de un recuento metódico de todas las incertidumbres involucradas en una sola medición. El análisis muestra que, bajo condiciones ideales y controladas, la incertidumbre de una sola muestra de agua es de aproximadamente el 1,3 por ciento. Esto significa que, incluso con equipo perfecto, una sola lectura podría desviarse en esa cantidad simplemente debido a los límites naturales del proceso. Sin embargo, el verdadero desafío surge al comparar dos grupos de muestras de agua. La variabilidad entre diferentes lotes de agua —las diferencias en cómo fueron pesados, mezclados y preparados— es a menudo mucho mayor que la incertidumbre del propio instrumento. En muchos estudios, esta variación natural entre lotes es de alrededor del dos por ciento. Cuando el autor calculó cuántas muestras independientes serían necesarias para detectar de manera fiable una diferencia del uno por ciento frente a este ruido de fondo, el número fue sorprendentemente alto: sesenta y cuatro preparaciones separadas para cada grupo. La mayoría de los estudios publicados en este campo utilizan solo de tres a cinco muestras, un número demasiado pequeño para distinguir un efecto real del temblor natural del experimento.

El artículo examina entonces cuatro errores comunes que los investigadores cometen, a menudo sin darse cuenta, que pueden hacer que un efecto inexistente parezca real. El primero es tratar múltiples lecturas de la misma muestra como si fueran muestras separadas. Si un investigador mide una taza de agua tres veces y cuenta esos tres números como tres puntos de datos independientes, reduce artificialmente el ruido aparente, haciendo que una diferencia parezca significativa cuando no lo es. El segundo fallo es detener el experimento tan pronto como un resultado parece prometedor. Si un investigador sigue añadiendo muestras y probándolas una por una, deteniéndose en el momento en que ve un resultado "significativo", está esencialmente apostando hasta ganar, lo que garantiza una falsa alarma. El tercer error es medir todas las muestras de control primero y todas las muestras tratadas al final. Si el instrumento presenta una deriva ligeramente a lo largo del tiempo, este orden fijo asegura que la deriva parezca una diferencia entre los grupos. El fallo final y más peligroso es no controlar la temperatura. Incluso una diferencia mínima y no detectada en la temperatura ambiente entre los dos grupos puede crear una señal falsa que es indistinguible de un cambio químico real.

Cuando el autor simuló un estudio que contenía los cuatro fallos comunes descritos, los resultados fueron dramáticos. En un escenario donde no existía ningún efecto real, el diseño defectuoso encontró una "diferencia significativa" en el 78 por ciento de las ejecuciones. Esto significa que un estudio con estos errores ocultos tiene más probabilidades de reportar un descubrimiento que de reportar correctamente que nada sucedió. El autor aplicó estos criterios estrictos a su propio trabajo publicado anteriormente, el cual había reportado diferencias de conductividad del tipo discutido en la literatura. El análisis mostró que esos resultados anteriores no sobrevivieron a la prueba; no podían distinguirse del ruido del diseño experimental. Por consiguiente, esos valores específicos fueron retirados de su programa de investigación. El artículo no afirma que el agua no pueda ser cambiada, ni dice que los efectos sean imposibles. Simplemente establece que los métodos actuales utilizados para detectarlos son demasiado toscos para verlos.

El estudio concluye con un conjunto de seis requisitos para que cualquier experimento futuro sea considerado válido. Estos incluyen registrar la temperatura exacta para cada una de las lecturas, contar solo preparaciones independientes en lugar de lectas repetidas, aleatorizar el orden de las mediciones para cancelar la deriva del instrumento y declarar de antemano cuántas muestras se utilizarán. Lo más importante es que los investigadores deben calcular y reportar la diferencia más pequeña que su diseño específico podría detectar. Si un estudio afirma encontrar un cambio del dos por ciento pero su diseño solo puede resolver diferencias mayores al seis por ciento, la afirmación carece de sentido. El artículo sostiene que sin estos registros, un resultado no es evidencia débil; no es evidencia en absoluto. El remedio no es creer o descartar los hallazgos, sino exigir los datos faltantes que permitirían juzgar los números con justicia. Al aplicar estos estándares rigurosos, la comunidad científica puede finalmente determinar qué estudios son capaces de responder a la pregunta y cuáles están simplemente midiendo los límites de sus propias herramientas.