How small a difference can conductometry establish? An uncertainty budget, resolution curves and the arithmetic cost of four design faults

L'eau est souvent traitée comme une page blanche en laboratoire, un milieu neutre qui se contente de contenir d'autres substances. Pourtant, depuis des décennies, des chercheurs affirment que l'eau peut être fondamentalement modifiée par des traitements physiques ou chimiques, acquérant de nouvelles propriétés qui persistent longtemps après la fin du traitement. La preuve généralement citée pour ces changements est un infime décalage dans la capacité de l'eau à conduire l'électricité. Lorsqu'un échantillon traité conduit l'électricité légèrement mieux ou moins bien qu'un échantillon non traité, les scientifiques ont souvent considéré cela comme la preuve que la structure de l'eau a changé. Les différences rapportées sont minimes, variant généralement de un à cinq pour cent. La communauté scientifique a passé des années à débattre de la question de savoir si la physique connue pouvait produire de tels changements, mais une question plus fondamentale a été largement ignorée : l'outil de mesure lui-même est-il capable de percevoir une différence aussi infime, ou s'agit-il simplement de bruit ?

Cette question est importante car si une mesure ne peut pas distinguer de manière fiable un changement réel des fluctuations aléatoires, le résultat ne nous apprend rien sur l'eau, peu importe la précision avec laquelle il a été enregistré. L'article de Vadim Kovalev s'attaque à ce problème non pas en argumentant sur la nature de l'eau, mais en faisant l'arithmétique de la mesure elle-même. L'auteur construit un compte détaillé de chaque source d'erreur possible qui pourrait s'immiscer dans une expérience de conductivité. Cela inclut la précision de la balance utilisée pour peser le sel, l'exactitude de la verrerie utilisée pour mesurer l'eau, la stabilité de l'instrument au fil du temps et, plus crucial encore, la température. C'est un fait bien établi que la capacité de l'eau à conduire l'électricité change d'environ deux pour cent pour chaque degré Celsius supplémentaire. Cela signifie qu'une différence de seulement un demi-degré entre deux échantillons peut simuler un changement de un pour cent de la conductivité, un décalage qui ressemble exactement aux effets que les chercheurs prétendent trouver.

Pour comprendre les limites de ces expériences, l'auteur a construit un budget d'erreur complet. Il s'agit d'un décompte méthodique de toutes les incertitudes impliquées dans une seule mesure. L'analyse montre que dans des conditions idéales et contrôlées, l'incertitude d'un seul échantillon d'eau est d'environ 1,3 pour cent. Cela signifie que même avec un équipement parfait, une lecture unique pourrait être erronée de ce montant, simplement en raison des limites naturelles du processus. Cependant, le véritable défi surgit lors de la comparaison de deux groupes d'échantillons d'eau. La variabilité entre différents lots d'eau — les différences dans la façon dont ils ont été pesés, mélangés et préparés — est souvent bien plus grande que l'incertitude de l'instrument lui-même. Dans de nombreuses études, cette variation naturelle entre les lots est d'environ deux pour cent. Lorsque l'auteur a calculé combien d'échantillons indépendants seraient nécessaires pour détecter de manière fiable une différence de un pour cent par rapport à ce bruit de fond, le chiffre était étonnamment élevé : soixante-quatre préparations distinctes pour chaque groupe. La plupart des études publiées dans ce domaine n'utilisent que trois à cinq échantillons, un nombre bien trop faible pour distinguer un effet réel du tremblement naturel de l'expérience.

L'article examine ensuite quatre erreurs courantes que font les chercheurs, souvent sans s'en rendre compte, qui peuvent faire paraître réel un effet inexistant. Le premier est de traiter plusieurs lectures d'un même échantillon comme s'il s'agissait d'échantillons distincts. Si un chercheur mesure une tasse d'eau trois fois et compte ces trois nombres comme trois points de données indépendants, il réduit artificiellement le bruit apparent, rendant une différence significative alors qu'elle ne l'est pas. Le deuxième défaut est d'arrêter l'expérience dès qu'un résultat semble prometteur. Si un chercheur continue d'ajouter des échantillons et de les tester un par un, en s'arrêtant au moment où il voit un résultat « significatif », il joue essentiellement au jeu du pari jusqu'à ce qu'il gagne, ce qui garantit une fausse alerte. La troisième erreur est de mesurer tous les échantillons de contrôle en premier et tous les échantillons traités en dernier. Si l'instrument dérive légèrement au fil du temps, cet ordre fixe garantit que la dérive apparaîtra comme une différence entre les groupes. Le dernier défaut, et le plus dangereux, est de ne pas contrôler la température. Une infime différence de température ambiante non remarquée entre les deux groupes peut créer un faux signal indiscernable d'un changement chimique réel.

Lorsque l'auteur a simulé une étude contenant l'ensemble de ces quatre fautes courantes, les résultats ont été spectaculaires. Dans un scénario où aucun effet réel n'existait, le modèle défectueux a trouvé une « différence significative » dans 78 pour cent des cas. Cela signifie qu'une étude comportant ces erreurs cachées est plus susceptible de rapporter une découverte que de rapporter correctement que rien ne s'est passé. L'auteur a appliqué ces critères stricts à ses propres travaux précédemment publiés, qui avaient rapporté des différences de conductivité du type discuté dans la littérature. L'analyse a montré que ces résultats antérieurs n'ont pas survécu au test ; ils ne pouvaient pas être distingués du bruit de la conception expérimentale. Par conséquent, ces valeurs spécifiques ont été retirées du programme de recherche de l'auteur. L'article ne prétend pas que l'eau ne peut pas être modifiée, ni qu'il est impossible de changer ses propriétés. Il établit simplement que les méthodes actuelles utilisées pour les détecter sont trop rudimentaires pour les percevoir.

L'étude conclut par un ensemble de six exigences pour que toute expérience future soit considérée comme valide. Celles-ci incluent l'enregistrement de la température exacte pour chaque lecture, le comptage de seules préparations indépendantes plutôt que de lectures répétées, la randomisation de l'ordre des mesures pour annuler la dérive de l'instrument, et l'annonce préalable du nombre de l'échantillons qui seront utilisés. Plus important encore, les chercheurs doivent calculer et rapporter la plus petite différence que leur conception spécifique pourrait potentiellement détecter. Si une étude prétend trouver un changement de deux pour cent alors que sa conception ne peut résoudre que des différences supérieures à six pour cent, la prétention est dénuée de sens. L'article soutient que sans ces registres, un résultat n'est pas une preuve faible ; c'est une absence de preuve. Le remède n'est pas de croire ou de rejeter les découvertes, mais d'exiger les données manquantes qui permettraient de juger les chiffres équitablement. En appliant ces normes rigoureuses, la communauté scientifique pourra enfin déterminer quelles études sont capables de répondre à la question et lesquelles ne font que mesurer les limites de leurs propres outils.