How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

L'acqua viene spesso trattata come una tabula rasa in laboratorio, un mezzo neutro che si limita a contenere altre sostanze. Eppure, per decenni, i ricercatori hanno sostenuto che l'acqua possa essere fondamentalmente alterata da trattamenti fisici o chimici, acquisendo nuove proprietà che persistono molto tempo dopo la fine del trattamento. L'evidenza solitamente citata per questi cambiamenti è un minuscolo spostamento nella capacità dell'acqua di condurre elettricità. Quando un campione trattato conduce elettricità leggermente meglio o peggio di uno non trattato, gli scienziati hanno spesso interpretato questo come la prova che la struttura dell'acqua sia cambiata. Le differenze riportate sono piccole, tipicamente comprese tra l'uno e il cinque per cento. La comunità scientifica ha trascorso anni a dibattere se la fisica nota potesse possibilmente creare tali cambiamenti, ma una domanda più basilare è stata ampiamente ignorata: lo strumento di misura stesso è capace di vedere una differenza così piccola, o il segnale è solo rumore?

Questa domanda è importante perché se una misurazione non può distinguere in modo affidabile un cambiamento reale dalle fluttuazioni casuali, il risultato non dice nulla sull'acqua, indipendentemente da quanto sia stata registrata con cura. Il lavoro di Vadim Kovalev affronta questo problema non argomentando sulla natura dell'acqua, ma facendo l'aritmetica della misurazione stessa. L'autore costruisce un resoconto dettagliato di ogni possibile fonte di errore che potrebbe insinuarsi in un esperimento di conducibilità. Questo include la precisione della bilancia utilizzata per pesare il sale, l'accuratezza della vetreria usata per misurare l'acqua, la stabilità dello strumento nel tempo e, cosa più critica, la temperatura. È un fatto ben stabilito che la capacità dell'acqua di condurre elettricità cambi di circa il due per cento per ogni singolo grado Celsius di aumento della temperatura. Ciò significa che una differenza di appena mezzo grado tra due campioni può simulare un cambiamento dell'uno per cento nella conducibilità, uno spostamento che appare identico agli effetti che i ricercatori sostengono di trovare.

Per comprendere i limiti di questi esperimenti, l'autore ha costruito un budget degli errori completo. Si tratta di un conteggio metodico di tutte le incertezze coinvolte in una singola misurazione. L'analisi mostra che in condizioni ideali e controllate, l'incertezza di un singolo campione d'acqua è di circa l'1,3 per cento. Ciò significa che anche con attrezzature perfette, una singola lettura potrebbe sbagliare di tanto semplicemente a causa dei limiti naturali del processo. Tuttavia, la vera sfida sorge quando si confrontano due gruppi di campioni d'acqua. La variabilità tra diversi lotti d'acqua — differenze nel modo in cui sono stati pesati, mescolati e preparati — è spesso molto più grande dell'incertezza dello strumento stesso. In molti studi, questa variazione naturale tra i lotti è di circa il due per cento. Quando l'autore ha calcolato quanti campioni indipendenti sarebbero stati necessari per individuare in modo affidabile una differenza dell'uno per cento contro questo rumore di fondo, il numero è stato sorprendentemente alto: sessantaquattro preparazioni separate per ogni gruppo. La maggior parte degli studi pubblicati in questo campo utilizza solo da tre a cinque campioni, un numero troppo piccolo per distinguere un effetto reale dal naturale tremolio dell'esperimento.

Il saggio esamina poi quattro errori comuni che i ricercatori commettono, spesso senza rendersene conto, che possono far apparire reale un effetto inesistente. Il primo è trattare più letture dello stesso campione come se fossero campioni separati. Se un ricercatore misura una tazza d'acqua tre volte e conta quei tre numeri come tre punti dati indipendenti, riduce artificialmente il rumore apparente, facendo apparire una differenza significativa quando non lo è. Il secondo errore è interrompere l'esperimento non appena un risultato sembra promettente. Se un ricercatore continua ad aggiungere campioni e a testarli uno alla volta, fermandosi nel momento in cui vede un risultato "significativo", sta essenzialmente giocando d'azzardo finché non vince, il che garantisce un falso allarme. Il terzo errore è misurare prima tutti i campioni di controllo e per ultimi tutti i campoli trattati. Se lo strumento subisce una deriva nel tempo, questo ordine fisso assicura che la deriva appaia come una differenza tra i gruppi. Il quarto errore, e il più pericoloso, è non controllare la temperatura. Una minima, inosservata differenza di temperatura ambiente tra i due gruppi può creare un segolo falso che è indistinguibile da un reale cambiamento chimico.

Quando l'autore ha simulato uno studio che conteneva tutti e quattro questi errori comuni, i risultati sono stati drammatici. In uno scenario in cui non esisteva alcun effetto reale, il design difettoso ha trovato una "differenza significativa" nel 78 per cento delle prove. Ciò significa che uno studio con questi errori nascosti ha più probabilità di riportare una scoperta che di riportare correttamente che nulla è accaduto. L'autore ha applicato questi criteri rigorosi al proprio lavoro precedentemente pubblicato, che aveva riportato differenze di conducibilità del tipo discusso nella letteratura. L'analisi ha mostrato che quei risultati precedenti non superavano il test; non potevano essere distinti dal rumore del design sperimentale. Di conseguenza, quei valori specifici sono stati ritirati dal programma di ricerca dell'autore. Il saggio non afferma che l'acqua non possa essere cambiata, né dice che gli effetti siano impossibili. Stabilisce semplicemente che i metodi attuali utilizzati per rilevarli sono troppo grossolani per vederli.

Lo studio si conclude con un insieme di sei requisiti affinché qualsiasi esperimento futuro sia considerato valido. Questi includono la registrazione della temperatura esatta per ogni singola lettura, il conteggio solo di preparazioni indipendenti piuttosto che di letture ripetute, la randomizzazione dell'ordine delle misurazioni per cancellare la deriva dello strumento e la dichiarazione preventiva di quanti campioni verranno utilizzati. Cosa più importante, i ricercatori devono calcolare e riportare la minima differenza che il loro specifico design potrebbe potenzialmente rilevare. Se uno studio afferma di aver trovato un cambiamento del due per cento ma il suo design può risolvere solo differenze superiori al sei per cento, l'affermazione è priva di significato. Il saggio sostiene che senza questi record, un risultato non è una prova debole; è una prova assente. Il rimedio non è credere o scartare i risultati, ma pretendere i dati mancanti che permetterebbero ai numeri di essere giudicati equamente. Applicando questi standard rigorosi, la comunità scientifica può finalmente determinare quali studi sono capaci di rispondere alla domanda e quali stanno semplicemente misurando i limiti dei propri strumenti.