Do not log(x+1) transform: the bias and alternatives

Dans le monde naturel, les mesures se comportent souvent de manière à défier les simples lignes droites. Lorsque les scientifiques comptent le nombre de poissons dans un étang, mesurent la hauteur d'une canopée forestière ou suivent la température de l'océan, les données ne se répartissent que rarement de manière uniforme. Au lieu de cela, les petites valeurs sont fréquentes, tandis que les grandes valeurs sont rares, créant une forme asymétrique qui rend les outils mathématiques standards incapables de trouver des modèles. Pour remédier à cela, les chercheurs s'appuient depuis longtemps sur une astuce mathématique appelée transformation logarithmique. Ce processus remodèle les données, compressant les nombres énormes et étirant les plus petits, transformant un paysage accidenté et irrégulier en une plaine lisse et plate où les relations deviennent claires et faciles à étudier. Cependant, cette astuce se heurte à un mur difficile lorsque les données contiennent des zéros. Puisque l'opération mathématique ne peut pas traiter un zéro, les scientifiques ont traditionnellement ajouté un petit nombre arbitraire à chaque mesure avant d'appliquer la transformation. Pendant des décennies, le choix le plus courant a été d'ajouter simplement un à chaque valeur, une méthode connue sous le nom de transformation log(x+1). Cela semblait être un contournement inoffensif et pratique, permettant aux chercheurs d'inclure les comptages de zéro dans leurs études sans écarter d'informations précieuses.

Une équipe de chercheurs du Portugal et de l'Université de l'Algarve a maintenant démontré que cette habitude de longue date est fondamentalement erronée. En testant la méthode avec des nombres générés par ordinateur et des données écologiques réelles, ils ont démontré que l'ajout d'une constante ne fait pas que résoudre le problème du zéro ; il déforme activement la vérité. L'étude révèle que cet ajout simple introduit un biais massif, déformant les relations entre les variables et amenant les scientifiques à tirer des conclusions incorrectes sur le fonctionnement de la nature. Les chercheurs ont découvert que cette distorsion n'est pas un simple incident mineur, mais une erreur grave qui modifie la pente des relations, masque la véritable dispersion des données et peut même inverser la direction d'une tendance. Leurs travaux suggèrent que la communauté scientifique doit cesser immédiatement d'utiliser ce correctif spécifique et chercher des méthodes plus robustes qui ne reposent pas sur l'ajout de nombres arbitraires aux données.

Pour prouver leur point, les chercheurs ont d'abord créé un ensemble de données artificielles parfaites où la relation entre deux variables était connue exactement. Ils ont conçu un scénario où une variable croissait exponentiellement en fonction de l'autre, un schéma courant dans la nature, mais ils y ont inclus quelques valeurs zéro pour imiter les conditions du monde réel. Lorsqu'ils ont appliqué la transformation standard log(x+1) à ces données parfaites, le modèle résultant était radicalement inexact. La courbe qui aurait dû être lisse et prévisible est devenue tordue et brisée. Les chercheurs ont trouvé que le choix du chiffre un était le coupable. Comme un est un nombre important par rapport aux valeurs minuscules souvent trouvées dans la nature, l'ajouter a complètement submergé les données réelles. Pour les mesures très petites, le un ajouté est devenu le facteur dominant, faisant disparaître les infimes différences entre elles. Pour les mesures plus grandes, l'ajout a eu un effet différent, créant un décalage que le modèle mathématique ne pouvait pas corriger. Même lorsque les chercheurs ont essayé d'utiliser des nombres beaucoup plus petits au lieu de un, le problème persistait. S'ils choisissaient un nombre trop petit, les zéros dans les données étaient transformés en valeurs si éloignées du reste des données qu'ils créaient un nouveau type de distorsion, faisant dévier l'analyse de sa trajectoire.

L'équipe est ensuite passée des chiffres artificiels à l'examen d'études écologiques réelles, incluant une étude sur la floraison des herbiers marins et une autre sur la qualité de l'eau dans les estuaires portugais. Dans l'étude sur les herbiers, les chercheurs tentaient de comprendre comment l'augmentation des températures océaniques déclenchait une floraison massive. La relation entre la chaleur et la floraison était clairement non linéaire, croissant plus rapidement à mesure que la chaleur augmentait. Lorsque les chercheurs originaux ont utilisé la méthode log(x+1) pour analyser cela, la courbe résultante n'a pas réussi à capturer l'intensité réelle de la réponse. Elle a aplati le pic et a manqué l'accélération rapide de la floraison. En revanche, lorsque la nouvelle équipe a réanalysé les mêmes données en utilisant différentes méthodes qui n'impliquaient pas l'ajout d'une constante, la véritable relation abrupte entre la chaleur et la floraison est apparue clairement. De même, dans l'étude de l'estuaire, les scientifiques examinaient le rapport entre la biomasse aérienne et la biomasse souterraine pour déterminer la santé de l'herbier. Comme certaines plantes croissaient tandis que d'autres rétrécissaient, les données contenaient des valeurs à la fois supérieures et inférieures à un. La méthode log(x+1) traitait ces valeurs de manière inégale, compressant les plantes saines et en croissance, et exagérant celles qui luttaient, ce qui menait à une vision déformée de la santé de l'écosystème. Les chercheurs ont montré que cette distorsion n'était pas seulement une curiosité statistique ; elle changeait l'interprétation de savoir si l'herbier était en pleine croissance ou en train de mourir.

L'étude a également testé si d'autres astuces mathématiques courantes pouvaient résoudre le problème. Ils ont essayé d'utiliser des racines carrées, des racines cubiques et d'autres ajustements complexes souvent utilisés pour lisser des données irrégulières. Bien que certaines de ces alternatives aient mieux fonctionné que la méthode log(x+1) dans des situations spécifiques, aucune n'a pu pleinement résoudre le problème lorsque les données contenaient des zéros et suivaient un schéma exponentiel. Les chercheurs ont constaté que lorsque les données se comportent de manière exponentielle, aucun remodelage des nombres par une formule simple ne peut les faire correspondre aux modèles linéaires standards sans introduire d'erreur. Cependant, ils ont précisé que cela ne signifie pas que toute transformation est condamnée à l'échec ; pour les ensembles de données qui ne suivent pas strictement un modèle exponentiel, d'autres méthodes comme la transformation de Box-Cox peuvent être fructueuses. Dans ces cas exponentiels spécifiques, l'article conclut que la meilleure solution consiste à ne pas forcer les données à entrer dans une ligne droite du tout. Au lieu de cela, les scientifiques devraient utiliser des modèles statistiques conçus spécifiquement pour les données non linéaires, tels que les modèles linéaires généralisés, qui peuvent gérer les zéros et la croissance exponentielle directement sans avoir besoin d'ajouter des nombres arbitraires.

Les implications de cette découverte sont significatives pour les sciences de l'environnement, où les données incluent souvent des zéros parce qu'une espèce peut être absente d'un site ou qu'un polluant peut être indétectable. Pendant des années, la transformation log(x+1) a été l'outil par défaut pour gérer ces zéros, utilisée dans d'innombrables études sur la biodiversité, le changement climatique et la pollution. Les chercheurs soutiennent que cette utilisation généralisée a probablement conduit à un grand nombre d'études produisant des résultats biaisés, où la force d'une relation est sous-estimée ou surestimée, ou bien où la direction d'une tendance est mal comprise. Le biais n'est pas subtil ; il est assez important pour changer l'issue d'une étude. Les auteurs soulignent que, bien que la méthode log(x+1) soit facile à utiliser, elle n'est pas une solution scientifique valide. Ils exhortent la communauté scientifique à abandonner cette pratique et à adopter des méthodes plus rigoureuses qui respectent la véritable nature des données. Ce faisant, les chercheurs peuvent s'assurer que leurs conclusions sur le monde naturel sont basées sur la réalité, et non sur les artefacts mathématiques d'un raccourci pratique mais défectueux.