How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

A água é frequentemente tratada como uma tela em branco no laboratório, um meio neutro que simplesmente contém outras substâncias. No entanto, por décadas, pesquisadores têm afirmado que a água pode ser fundamentalmente alterada por tratamentos físicos ou químicos, adquirindo novas propriedades que persistem muito depois de o tratamento terminar. A evidência geralmente citada para essas mudanças é um pequeno desvio na forma como a água conduz eletricidade. Quando uma amostra tratada conduz eletricidade um pouco melhor ou pior do que uma não tratada, cientistas frequentemente tomaram isso como prova de que a estrutura da água mudou. As diferenças relatadas são pequenas, variando tipicamente de um a cinco por cento. A comunidade científica passou anos debatindo se a física conhecida poderia possivelmente criar tais mudanças, mas uma questão mais básica tem sido amplamente ignorada: o próprio instrumento de medição é capaz de ver uma diferença tão pequena, ou o sinal é apenas ruído?

Esta questão é importante porque, se uma medição não consegue distinguir de forma confiável uma mudança real de flutuações aleatórias, o resultado não nos diz nada sobre a água, independentemente de quão cuidadosamente foi registrado. O artigo de Vadim Kovalev aborda este problema não argumentando sobre a natureza da água, mas realizando a aritmética da própria medição. O autor constrói um detalhado levantamento de cada possível fonte de erro que poderia infiltrar-se em um experimento de condutividade. Isso inclui a precisão da balança usada para pesar o sal, a precisão da vidraria usada para medir a água, a estabilidade do instrumento ao longo do tempo e, mais criticamente, a temperatura. É um fato bem estabelecido que a capacidade da água de conduzir eletricidade muda cerca de dois por cento para cada grau Celsius que a temperatura sobe. Isso significa que uma diferença de apenas meio grau entre duas amostras pode mimetizar uma mudança de um por cento na condutividade, um desvio que se parece exatamente com os efeitos que os pesquisadores afirmam encontrar.

Para entender os limites desses experimentos, o autor construiu um orçamento de erro abrangente. Este é um levantamento metódico de todas as incertezas envolvidas em uma única medição. A análise mostra que, sob condições ideais e controladas, a incerteza de uma única amostra de água é de cerca de 1,3 por cento. Isso significa que, mesmo com equipamentos perfeitos, uma única leitura poderia estar errada nessa proporção simplesmente devido aos limites naturais do processo. No entanto, o verdadeiro desafio surge ao comparar dois grupos de amostras de água. A variabilidade entre diferentes lotes de água — diferenças em como foram pesados, misturados e preparados — é frequentemente muito maior do que a incerteza do próprio instrumento. Em muitos estudos, essa variação natural entre lotes é de cerca de dois por cento. Quando o autor calculou quantas amostras independentes seriam necessárias para detectar confiavelmente uma diferença de um por cento contra esse ruído de fundo, o número foi surpreendentemente alto: sessenta e quatro preparações separadas para cada grupo. A maioria dos estudos publicados neste campo utiliza apenas três a cinco amostras, um número excessivamente pequeno para distinguir um efeito real do tremor natural do experimento.

O artigo examina então quatro erros comuns que os pesquisadores cometem, muitas vezes sem perceber, que podem fazer um efeito inexistente parecer real. O primeiro é tratar múltiplas leituras da mesma amostra como se fossem amostras separadas. Se um pesquisador mede um copo de água três vezes e conta esses três números como três pontos de dados independentes, ele reduz artificialmente o ruído aparente, fazendo uma diferença parecer significativa quando não é. A segunda falha é interromper o experimento assim que um resultado parece promissor. Se um pesquisador continua adicionando amostras e testando-as uma a uma, parando no momento em que vê um resultado "significativo", ele está essencialmente apostando até ganhar, o que garante um alarme falso. O terceiro erro é medir todas as amostras de controle primeiro e todas as amostras tratadas por último. Se o instrumento sofrer um desvio ao longo do tempo, essa ordem fixa garante que o desvio pareça uma diferença entre os grupos. A última e mais perigosa falha é não controlar a temperatura. Uma pequena e não percebida diferença na temperatura ambiente entre os dois grupos pode criar um sinal falso que é indistinguível de uma mudança química real.

Quando o autor simulou um estudo que continha todos os quatro erros comuns, os resultados foram dramáticos. Em um cenário onde nenhum efeito real existia, o design falho encontrou uma "diferença significativa" em 7 de cada 10 execuções (78 por cento). Isso significa que um estudo com esses erros ocultos tem mais probabilidade de relatar uma descoberta do que de relatar corretamente que nada aconteceu. O autor aplicou esses critérios rigorosos ao seu próprio trabalho publicado anteriormente, que havia relatado diferenças de condutividade do tipo discutido na literatura. A análise mostrou que aqueles resultados anteriores não sobreviveram ao teste; eles não puderam ser distinguidos do ruído do design experimental. Consequentemente, esses valores específicos foram retirados de seu programa de pesquisa. O artigo não afirma que a água não pode ser alterada, nem diz que os efeitos são impossíveis. Ele simplesmente estabelece que os métodos atuais usados para detectá-los são muito rudimentares para vê-los.

O estudo conclui com um conjunto de seis requisitos para que qualquer experimento futuro seja considerado válido. Estes incluem registrar a temperatura exata para cada leitura individual, contar apenas preparações independentes em vez de leituras repetidas, randomizar a ordem das medições para cancelar o desvio do instrumento e declarar antecipadamente quantas amostras serão utilizadas. Mais importante ainda, os pesquisadores devem calcular e relatar a menor diferença que seu design específico poderia possivelmente detectar. Se um estudo afirma encontrar uma mudança de dois por cento, mas seu design só consegue resolver diferenças maiores que seis por cento, a afirmação é sem sentido. O artigo argumenta que, sem esses registros, um resultado não é uma evidência fraca; é nenhuma evidência. O remédio não é acreditar ou descartar os achados, mas sim exigir os dados ausentes que permitiriam que os números fossem julgados de forma justa. Ao aplicar esses padrões rigorosos, a comunidade científica poderá finalmente determinar quais estudos são capazes de responder à pergunta e quais estão simplesmente medindo os limites de suas próprias ferramentas.