Do not log(x+1) transform: the bias and alternatives

In der natürlichen Welt verhalten sich Messungen oft auf eine Weise, die einfachen geraden Linien trotzt. Wenn Wissenschaftler die Anzahl der Fische in einem Teich zählen, die Höhe eines Waldkronendachs messen oder die Temperatur des Ozeans verfolgen, verteilen sich die Daten selten gleichmäßig. Stattdessen sind kleine Werte häufig, während große Werte selten sind, was eine einseitige Form erzeugt, die es Standard-Mathematikwerkzeugen erschwert, Muster zu finden. Um dies zu beheben, greifen Forscher seit langem auf einen mathematischen Trick namens Logarithmierung zurück. Dieser Prozess formt die Daten um, indem er die riesigen Zahlen komprimiert und die winzigen Zahlen streckt, wodurch eine zackige, unebene Landschaft in eine glatte, flache Ebene verwandelt wird, in der Beziehungen klar und leicht zu untersuchen sind. Dieser Trick stößt jedoch gegen eine harte Wand, wenn die Daten Nullwerte enthalten. Da die mathematische Operation eine Null nicht verarbeiten kann, haben Wissenschaftler traditionell eine kleine, willkürliche Zahl zu jeder einzelnen Messung addiert, bevor sie den Trick anwenden. Seit Jahrzehnten ist die gängigste Wahl schlichtweg, zu jedem Wert eins zu addieren – eine Methode, die als $\log(x+1)$-Transformation bekannt ist. Es schien wie ein harmloser, praktischer Umweg, der es Forschern ermöglichte, Nullwerte in ihren Studien einzubeziehen, ohne wertvolle Informationen wegzuwerfen.

Ein Team von Forschern aus Portugal und der Universität der Algarve hat nun gezeigt, dass diese langjährige Gewohnheit fundamental fehlerhaft ist. Durch das Testen der Methode mit sowohl computergenerierten Zahlen als auch realen ökologischen Daten haben sie nachgewiesen, dass das Addieren einer konstanten Zahl zu den Daten das Nullproblem nicht nur löst, sondern die Wahrheit aktiv verzerrt. Die Studie zeigt, dass diese einfache Addition eine massive Verzerrung einführt, welche die Beziehungen zwischen Variablen verformt und Wissenschaftler dazu führt, falsche Schlussfolgerungen darüber zu ziehen, wie die Natur funktioniert. Die Forscher fanden heraus, dass die Verzerrung kein geringfügiger Fehler ist, sondern ein schwerwiegender Irrtum, der die Steigung von Beziehungen verändert, die wahre Streuung der Daten verbirgt und sogar die Richtung eines Trends umkehren kann. Ihre Arbeit legt nahe, dass die wissenschaftliche Gemeinschaft diesen spezifischen Fix sofort aufgeben und nach robusteren Methoden suchen sollte, die nicht auf dem Addieren willkürlicher Zahlen basieren.

Um ihren Punkt zu beweisen, erstellten die Forscher zuerst einen perfekten, künstlichen Datensatz, bei dem die Beziehung zwischen zwei Variablen exakt bekannt war. Sie entwarfen ein Szenario, in dem eine Variable exponentiell basierend auf der anderen wuchs – ein in der Natur häufiges Muster –, fügten jedoch einige Nullwerte hinzu, um reale Bedingungen nachzuahmen. Als sie die Standard-$\log(x+1)$-Transformation auf diese perfekten Daten anwandten, war das resultierende Modell völlig ungenau. Die Kurve, die eigentlich glatt und vorhersehbar hätte sein sollen, wurde verbogen und gebrochen. Die Forscher fanden heraus, dass die Wahl der Zahl Eins der Übeltäter war. Da die Eins im Vergleich zu den oft in der Natur vorkommenden winzigen Werten eine große Zahl ist, überwältigte die Addition der Eins die eigentlichen Daten vollständig. Für sehr kleine Messungen wurde die hinzugefügte Eins zum dominierenden Faktor, wodurch die winzigen Unterschiede zwischen ihnen verschwanden. Für größere Messungen hatte die Addition einen anderen Effekt und erzeugte eine Diskrepanz, die das mathematische Modell nicht korrigieren konnte. Selbst als die Forscher versuchten, viel kleinere Zahlen anstelle der Eins zu verwenden, blieb das Problem bestehen. Wenn sie eine zu kleine Zahl wählten, wurden die Nullen in den Daten in Werte transformiert, die so weit von den restlichen Daten entfernt waren, dass sie eine neue Art von Verzerrung erzeugten, die die Analyse aus der Bahn warf.

Das Team ging dann über künstliche Zahlen hinaus und untersuchte echte ökologische Studien, darunter eine über die Blüte von Seegras und eine andere über die Wasserqualität in portugiesischen Ästuaren. In der Seegrasstudie versuchten Forscher zu verstehen, wie steigende Meerestemperaturen eine massive Blüte auslösten. Die Beziehung zwischen der Hitze und der Blüte war eindeutig nicht linear und wuchs schneller, wenn die Hitze zunahm. Als die ursprünglichen Forscher die $\log(x+1)$-Methode zur Analyse dieser Daten verwendeten, erwischte die resultierende Kurve die wahre Intensität der Reaktion nicht. Sie flachte die Spitze ab und verpasste die schnelle Beschleunigung der Blüte. Im Gegensatz dazu analysierte das neue Team dieselben Daten unter Verwendung anderer Methoden, die keine Konstante addierten, wobei die wahre, scharfe Beziehung zwischen Hitze und Blüte deutlich hervortrat. Ähnlich verhielt es sich in der Ästuar-Studie, in der Wissenschaftler das Verhältnis von oberirdischer zu unterirdischer Pflanzenbiomasse untersuchten, um die Gesundheit des Seegrases zu bestimmen. Da einige Pflanzen wuchsen, während andere schrumpften, enthielten die Daten Werte sowohl über alscht als auch unter eins. Die $\log(x+1)$-Methode behandelte diese Werte ungleichmäßig, indem sie die gesunden, wachsenden Pflanzen komprimierte und die kämpfenden Pflanzen übertrieb, was zu einer verzerrten Sicht auf die Gesundheit des Ökosystems führte. Die Forscher zeigten, dass diese Verzerrung nicht nur eine statistische Kuriosität war; sie veränderte die Interpretation darüber, ob das Seegras gedieh oder starb.

Die Studie testete auch, ob andere gängige mathematische Tricks das Problem lösen könnten. Sie probierten Quadratwurzeln, Kubikwurzeln und andere komplexe Anpassungen aus, die oft verwendet werden, um unebene Daten zu glätten. Obwohl einige dieser Alternativen in spezifischen Situationen besser funktionierten als die $\log(x+1)$-Methode, konnte keiner von ihnen das Problem vollständig lösen, wenn die Daten Nullwerte enthielten und einem exponentiellen Muster folgten. Die Forscher fanden heraus, dass, wenn Daten auf eine exponentielle Weise verlaufen, keine Menge an Umformung der Zahlen mit einer einfachen Formel das Problem lösen kann, ohne Fehler einzuführen, um sie in Standard-Linearmodelle einzupassen. Sie stellten jedoch klar, dass dies nicht bedeutet, dass jede Transformation zum Scheitern verurteilt ist; für Datensätze, die nicht strikt einem exponentiellen Modell folgen, können andere Methoden wie die Box-Cox-Transformation erfolgreich sein. In diesen spezifischen exponentiellen Fällen kommt das Paper zu dem Schluss, dass die beste Lösung darin besteht, die Daten gar nicht erst in eine gerade Linie zu zwingen. Stattdessen sollten Wissenschaftler statistische Modelle verwenden, die speziell für nicht-lineare Daten entwickelt wurden, wie etwa verallgemeinerte lineare Modelle, die die Nullwerte und das exponentielle Wachstum direkt handhaben können, ohne dass willkürliche Zahlen addiert werden müssen.

Die Auswirkungen dieser Erkenntnis sind bedeutend für die Umweltwissenschaften, in denen Daten oft Nullwerte enthalten, weil eine Art an einem Standort abwesend oder ein Schadstoff nicht nachweisbar ist. Jahrelang war die $\log(x+1)$-Transformation das Standardwerkzeug für den Umgang mit diesen Nullwerten, angewendet in unzähligen Studien zu Biodiversität, Klimawandel und Verschmutzung. Die Forscher argumentieren, dass dieser weit verbreitete Einsatz wahrscheinlich zu einer Vielzahl von Studien geführt hat, die verzerrte Ergebnisse liefern, bei denen die Stärke einer Beziehung entweder unterschätzt oder überschätzt wird oder bei denen die Richtung eines Trends missverstanden wird. Die Verzerrung ist nicht subtil; sie ist groß genug, um das Ergebnis einer Studie zu verändern. Die Autoren betonen, dass die $\log(x+1)$-Methode zwar einfach anzuwenden ist, aber keine gültige wissenschaftliche Lösung darstellt. Sie fordern die wissenschaftliche Gemeinschaft auf, diese Praxis aufzugeben und rigorosere Methoden zu übernehmen, die der wahren Natur der Daten Respekt zollen. Indem sie dies tun, können Forscher sicherstellen, dass ihre Schlussfolgerungen über die natürliche Welt auf der Realität basieren und nicht auf den mathematischen Artefakten eines praktischen, aber fehlerhaften Abkürzungsverfahrens.