How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

Wasser wird im Labor oft als unbeschriebenes Blatt behandelt, als ein neutrales Medium, das lediglich andere Substanzen hält. Doch seit Jahrzehnten behaupten Forscher, dass Wasser durch physikalische oder chemische Behandlungen grundlegend verändert werden kann, indem es neue Eigenschaften erwirbt, die lange nach der Behandlung bestehen bleiben. Der meist angeführte Beweis für diese Veränderungen ist eine winzige Verschiebung in der Leitfähigkeit des Wassers. Wenn eine behandelte Probe den Strom etwas besser oder schlechter leitet als eine unbehandelte, haben Wissenschaftler dies oft als Beweis dafür gewertet, dass sich die Struktur des Wassers verändert hat. Die berichteten Unterschiede sind gering und liegen typischerweise zwischen einem und fünf Prozent. Die wissenschaftliche Gemeinschaft hat Jahre damit verbracht, darüber zu debattieren, ob die bekannte Physik solche Veränderungen tatsächlich hervorrufen könnte, aber eine grundlegendere Frage wurde weitgehend ignoriert: Ist das Messwerkzeug selbst in der Lage, einen so winzigen Unterschied zu erkennen, oder ist das Signal lediglich Rauschen?

Diese Frage ist wichtig, denn wenn eine Messung nicht zuverlässig zwischen einer realen Veränderung und zufälligen Schwankungen unterscheiden kann, sagt das Ergebnis nichts über das Wasser aus, ungeachtet dessen, wie sorgfältig es aufgezeichnet wurde. Die Arbeit von Vadim Kovalev geht dieses Problem nicht dadurch an, dass sie über die Natur des Wassers argumentiert, sondern indem sie die Arithmetik der Messung selbst betreibt. Der Autor erstellt eine detaillierte Abrechnung jeder möglichen Fehlerquelle, die in ein Leitfähigkeitsexperiment einfließen könnte. Dies umfasst die Präzision der verwendeten Waage zum Abwiegen des Salzes, die Genauigkeit des zur Messung des Wassers verwendeten Glaswaren, die Stabilität des Instruments über die Zeit und – am kritischsten – die Temperatur. Es ist eine gut etablierte Tatsache, dass die Fähigkeit von Wasser, Strom zu leiten, pro Grad Celsius Temperaturanstieg um etwa zwei Prozent variiert. Das bedeutet, dass ein Unterschied von nur einem halben Grad zwischen zwei Proben eine einprozentige Änderung der Leitfähigkeit imitieren kann – eine Verschiebung, die exakt wie die Effekte aussieht, die Forscher zu finden behaupten.

Um die Grenzen dieser Experimente zu verstehen, konstruierte der Autor ein umfassendes Fehlerbudget. Dies ist eine methodische Aufstellung aller Unsicherheiten, die mit einer einzelnen Messung verbunden sind. Die Analyse zeigt, dass unter idealen, kontrollierten Bedingungen die Unsicherheit einer einzelnen Wasserprobe etwa 1,3 Prozent beträgt. Das bedeutet, dass selbst mit perfekter Ausrüstung eine einzelne Messung aufgrund der natürlichen Grenzen des Prozesses um diesen Betrag abweichen könnte. Die eigentliche Herausforderung entsteht jedoch beim Vergleich zweier Gruppen von Wasserproben. Die Variabilität zwischen verschiedenen Chargen von Wasser – Unterschiede darin, wie sie abgewogen, gemischt und vorbereitet wurden – ist oft wesentlich größer als die Unsicherheit des Instruments selbst. In vielen Studien liegt diese natürliche Variation zwischen den Chargen bei etwa zwei Prozent. Als der Autor berechnete, wie viele unabhängige Proben nötig wären, um einen einprozentigen Unterschied zuverlässig gegen dieses Hintergrundrauschen zu detektieren, war die Zahl erschreckend hoch: vierundsechzig separate Vorbereitungen für jede Gruppe. Die meisten veröffentlichten Studien auf diesem Gebiet verwenden nur drei bis fünf Proben, eine Zahl, die viel zu klein ist, um einen realen Effekt vom natürlichen Zittern des Experiments zu unterscheiden.

Die Arbeit untersucht dann vier häufige Fehler, die Forscher oft unbewusst begehen und die einen nicht existenten Effekt real erscheinen lassen können. Der erste ist die Behandlung mehrerer Messungen derselben Probe als ob es sich um separate Proben handelte. Wenn ein Forscher ein Glas Wasser dreimal misst und diese drei Zahlen als drei unabhängige Datenpunkte zählt, schrumpft er das scheinbare Rauschen künstlich zusammen und lässt einen Unterschied signifikant erscheinen, obwohl er es nicht ist. Der zweite Fehler ist das Abbruch des Experiments, sobald ein Ergebnis vielversprechend aussieht. Wenn ein Forscher immer mehr Proben hinzufügt und sie nacheinander testet und das Experiment in dem Moment stoppt, in dem er ein „signifikantes“ Ergebnis sieht, spielt er im Grunde Glücksspiel, bis er gewinnt, was einen Fehlalarm garantiert. Der dritte Fehler ist das Messen aller Kontrollproben zuerst und aller behandelten Proben zuletzt. Wenn das Instrument über die Zeit leicht driftet, stellt diese feste Reihenfolge sicher, dass der Drift wie ein Unterschied zwischen den Gruppen aussieht. Der vierte und gefährlichste Fehler ist das Versäumnis, die Temperatur zu kontrollieren. Selbst ein winziger, unbemerkter Unterschied in der Raumtemperatur zwischen den beiden Gruppen kann ein falsches Signal erzeugen, das von einer realen chemischen Veränderung nicht zu unterscheiden ist.

Als der Autor eine Studie simulierte, die alle vier dieser häufigen Fehler enthielt, waren die Ergebnisse dramatisch. In einem Szenario, in dem kein realer Effekt existierte, fand das fehlerhafte Design in 78 Prozent der Durchläufe einen „signifikanten Unterschied“. Das bedeutet, dass eine Studie mit diesen verborgenen Fehlern wahrscheinlicher eine Entdeckung meldet, als korrekt zu berichten, dass nichts passiert ist. Der Autor wandte diese strengen Kriterien auf seine eigene, zuvor veröffentlichte Arbeit an, die die Art von Leitfähigkeitsunterschieden berichtet hatte, die in der Literatur diskutiert werden. Die Analyse zeigte, dass jene früheren Ergebnisse dem Test nicht standhielten; sie konnten nicht vom Rauschen des experimentellen Designs unterschieden werden. Folglich wurden diese spezifischen Werte aus dem Forschungsprogramm des Autors zurückgezogen. Die Arbeit behauptet nicht, dass Wasser nicht verändert werden kann, noch sagt sie, dass die Effekte unmöglich sind. Sie stellt lediglich fest, dass die derzeit verwendeten Methoden zu stumpf sind, um sie zu sehen.

Die Studie schließt mit einem Satz von sechs Anforderungen ab, die für jedes zukünftige Experiment gelten müssen, um als valide zu gelten. Dazu gehören die Aufzeichnung der exakten Temperatur für jede einzelne Messung, die Zählung nur unabhängiger Vorbereitungen statt wiederholter Messungen, die Randomisierung der Messreihenfolge, um Instrumentendrift zu kompensieren, und die Angabe im Voraus, wie viele Proben verwendet werden. Am wichtigsten ist, dass Forscher berechnen und berichten müssen, welchen kleinsten Unterschied ihr spezifisches Design überhaupt detektieren kann. Wenn eine Studie behauptet, eine zweiprozentige Änderung gefunden zu haben, ihr Design aber nur Unterschiede von mehr als sechs Prozent auflösen kann, ist die Behauptung bedeutungslos. Die Arbeit argumenttiert, dass ein Ergebnis ohne diese Aufzeichnungen nicht schwaches Evidenz ist, sondern gar keine Evidenz. Das Heilmittel besteht nicht darin, den Befunden zu glauben oder sie abzulehnen, sondern die fehlenden Daten einzufordern, die es ermöglichen würden, die Zahlen fair zu beurteilen. Durch die Anwendung dieser strengen Standards kann die wissenschaftliche Gemeinschaft endlich bestimmen, welche Studien in der Lage sind, die Frage zu beantworten, und welche lediglich die Grenzen ihrer eigenen Werkzeuge messen.