How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

Water wordt in het laboratorium vaak behandeld als een onbeschreven blad, een neutraal medium dat simpelweg andere stoffen vasthoudt. Toch beweren onderzoekers al decennia dat water fundamenteel kan worden veranderd door fysieke of chemische behandelingen, waarbij het nieuwe eigenschappen verkrijgt die lang aanhouden nadat de behandeling is voltooid. Het bewijs dat hiervoor meestal wordt aangehaald, is een minuscule verschuiving in de mate waarin het water elektriciteit geleidt. Wanneer een behandelde monster de elektriciteit iets beter of slechter geleidt dan een onbehandeld monster, hebben wetenschappers dit vaak beschouwd als bewijs dat de structuur van het water is veranderd. De gerapporteerde verschillen zijn klein, doorgaans variërend van één tot vijf procent. De wetenschappelijke gemeenschap heeft jarenlang gedebatteerd over de vraag of bekende natuurkunde dergelijke veranderingen mogelijk zou kunnen maken, maar een meer fundamentele vraag is grotendeels genegeerd: is het meetinstrument zelf wel in staat om zo'n minuscuul verschil te zien, of is het signaal slechts ruis?

Deze vraag is van belang omdat als een meting niet betrouwbaar een echt verschil kan onderscheiden van willekeurige fluctuaties, de resultaten ons niets vertellen over het water, ongeacht hoe zorgvuldig het is geregistreerd. Het artikel van Vadim Kovalev pakt dit probleem aan, niet door te discussiëren over de aard van water, maar door de rekenkunde van de meting zelf uit te voeren. De auteur bouwt een gedetailleerde boekhouding op van elke mogelijke bron van fouten die in een geleidingsexperiment zou kunnen sluipen. Dit omvat de precisie van de balans die gebruikt wordt om het zout te wegen, de nauwkeurigheid van het glaswerk dat gebruikt wordt om het water te meten, de stabiliteit van het instrument over de tijd, en het meest cruciaal: de temperatuur. Het is een algemeen aanvaarde wetenschappelijke feit dat het vermogen van water om elektriciteit te geleiden met ongeveer twee procent verandert voor elke graad Celsius dat de temperatuur stijgt. Dit betekent dat een verschil van slechts een halve graad Celsius tussen twee monsters een verandering van één procent in geleidbaarheid kan nabootsen, een verschuiving die exact lijkt op de effecten die onderzoekers beweren te vinden.

Om de grenzen van deze experimenten te begrijpen, heeft de auteur een uitgebreide foutenbudget opgesteld. Dit is een methodische optelling van alle onzekerheden die betrokken zijn bij een enkele meting. De analyse laat zien dat onder ideale, gecontroleerde omstandigheden de onzekerheid van een enkele waterwaarneming ongeveer 1,3 procent is. Dit betekent dat zelfs met perfecte apparatuur, een enkele meting er met die hoeveelheid naast kan zitten, simpelweg door de natuurlijke grenzen van het proces. De echte uitdaging ontstaat echter bij het vergelijken van twee groepen watermonsters. De variabiliteit tussen verschillende batches water — verschillen in hoe ze werden afgewogen, gemengd en voorbereid — is vaak veel groter dan de onzekerheid van het instrument zelf. In veel studies is deze natuurlijke variatie tussen batches rond de twee procent. Wanneer de auteur berekende hoeveel onafhankelijke monsters nodig zouden zijn om een verschil van één procent betrouwbaar te kunnen onderscheiden tegen deze achtergrondruis, was het aantal verbijsterend hoog: zesentwintig aparte bereidingen voor elke groep. De meeste gepubliceerde studies in dit veld gebruiken slechts drie tot vijf monsters, een aantal dat veel te klein is om een echt effect te onderscheiden van de natuurlijke trilling van het experiment.

Het artikel onderzoekt vervolgens vier veelvoorkomende fouten die onderzoekers maken, vaak zonder het te beseffen, waardoor een niet-bestaand effect echt lijkt te zijn. De eerste is het behandelen van meerdere metingen van hetzelfde monster alsof het aparte monsters zijn. Als een onderzoeker een kopje water drie keer meet en die drie getallen telt als drie onafhankelijke datapunten, dan verkleint hij de schijnbare ruis kunstmatig, waardoor een verschil significant lijkt terwijl dat niet zo is. De tweede fout is het stoppen van het experiment zodra een resultaat veelbelovend lijkt. Als een onderzoeker monsters blijft toevoegen en ze één voor één test, en stopt op het moment dat hij een "significant" resultaat ziet, dan is hij in feite aan het gokken tot hij wint, wat een vals alarm garandeert. De derde fout is het eerst meten van alle controlemengsels en daarna alle behandelde mengsels. Als het instrument over de tijd lichtjes drift, zorgt deze vaste volgorde ervoor dat de drift eruitziet als een verschil tussen de groepen. De laatste en meest gevaarlijke fout is het niet controleren van de temperatuur. Zelfs een klein, onopgemerkt verschil in de kamertemperatuur tussen de twee groepen kan een vals signaal creëren dat niet te onderscheiden is van een echte chemische verandering.

Toen de auteur een studie simuleerde die alle vier deze veelvoorkomende fouten bevatte, waren de resultaten spectaculair. In een scenario waarin geen echt effect bestond, vond het gebrekkige ontwerp in 78 procent van de gevallen een "significant verschil". Dit betekent dat een studie met deze verborgen fouten eerder een ontdekking rapporteert dan correct rapporteert dat er niets gebeurde. De auteur paste deze strikte criteria toe op zijn eigen eerder gepubliceerde werk, dat geleidingsverschillen had gerapporteerd van de soort die in de literatuur wordt besproken. De analyse toonde aan dat die eerdere resultaten de test niet doorstonden; ze konden niet worden onderscheiden van de ruis van het experimentele ontwerp. Bijgevolg werden die specifieke waarden ingetrokken uit het onderzoeksprogramma van de auteur. Het artikel beweert niet dat water niet veranderd kan worden, noch zegt het dat de effecten onmogelijk zijn. Het stelt simpelweg vast dat de huidige methoden die worden gebruikt om ze te detecteren, te bot zijn om ze te zien.

De studie sluit af met een reeks van zes vereisten voor elk toekomstig experiment om als geldig te worden beschouwd. Deze omvatten het registreren van de exacte temperatuur voor elke enkele meting, het tellen van alleen onafhankelijke bereidingen in plaats van herhaalde metingen, het randomiseren van de volgorde van metingen om instrumentdrift te elimineren, en het vooraf vermelden hoeveel monsters er gebruikt zullen worden. Het belangrijkste is dat onderzoekers moeten berekenen en rapporteren wat het kleinste verschil is dat hun specifieke ontwerp mogelijk kan detecteren. Als een studie beweert een tweeperscent verandering te hebben gevonden, maar het ontwerp kan alleen verschillen groter dan zes procent oplossen, dan is de claim betekenisloos. Het artikel betoogt dat zonder deze gegevens een resultaat geen zwak bewijs is; het is helemaal geen bewijs. De oplossing is niet om de bevindingen te geloven of te verwerpen, maar om de ontbrekende gegevens op te eisen die nodig zijn om de cijfers eerlijk te kunnen beoordelen. Door deze rigoureuze standaarden toe te passen, kan de wetenschappelijke gemeenschap eindelijk bepalen welke studies in staat zijn om de vraag te beantwoorden en welke simpelweg de grenzen van hun eigen instrumenten meten.