Do not log(x+1) transform: the bias and alternatives

In de natuurlijke wereld gedragen metingen zich vaak op manieren die de eenvoud van rechte lijnen tarten. Wanneer wetenschappers het aantal vissen in een vijver tellen, de hoogte van een bladerdak in een bos meten of de temperatuur van de oceaan volgen, verspreiden de gegevens zich zelden gelijkmatig. In plaats daarvan zijn kleine waarden gebruikelijk, terwijl grote waarden zeldzaam zijn, wat een scheve vorm creëert waardoor standaard wiskundige instrumenten moeite hebben om patronen te vinden. Om dit op te lossen, vertrouwen onderzoekers al lang op een wiskundige truc genaamd een logaritmische transformatie. Dit proces hervormt de gegevens door de enorme getallen te comprimeren en de kleine getallen uit te rekken, waardoor een grillig, ongelijkmatig landschap verandert in een glad, vlak veld waar relaties duidelijk en gemakkelijk te bestuderen zijn. Deze truc loopt echter tegen een harde muur aan wanneer de gegevens nullen bevatten. Omdat de wiskundige operatie niet met een nul kan omgaan, voegen wetenschappers traditioneel een klein, arbitrair getal toe aan elke meting voordat ze de truc toepassen. Decennialang is de meest gebruikelijke keuze simpelweg het optellen van één bij elke waarde geweest, een methode die bekend staat als de log(x+1)-transformatie. Het leek een onschadelijke, praktische workaround, waardoor onderzoekers nul-tellingen in hun studies konden opnemen zonder waardevolle informatie weg te gooien.

Een team onderzoekers uit Portugal en de Universiteit van de Algarve heeft nu aangetoond dat deze langdurige gewoonte fundamenteel gebrekkig is. Door de methode te testen met zowel computergegenereerde getallen als echte ecologische gegevens, hebben zij aangetoond dat het toevoegen van een constante waarde aan de gegevens het nulprobleem niet alleen oplost; het vervormt actief de waarheid. De studie onthult dat deze eenvoudige toevoeging een enorme bias introduceert, de relaties tussen variabelen vervormt en leidt tot onjuiste conclusies over hoe de natuur werkt. De onderzoekers ontdekten dat de vervorming geen kleine glitch is, maar een ernstige fout die de helling van relaties verandert, de werkelijke spreiding van gegevens verbergt en zelfs de richting van een trend kan omdraaien. Hun werk suggereert dat de wetenschappelijke gemeenschap deze specifieke oplossing onmiddellijk moet staken en moet zoeken naar robuustere methoden die niet afhankelijk zijn van het toevoegen van arbitraire getallen aan de gegevens.

Om hun punt te bewijzen, creëerden de onderzoekers eerst een perfecte, kunstmatige dataset waarbij de relatie tussen twee variabelen exact bekend was. Ze ontwierpen een scenario waarin één variabele exponentieel groeide op basis van de andere, een patroon dat veel voorkomt in de natuur, maar ze voegden enkele nulwaarden toe om de werkelijke omstandigheden na te bootsen. Wanneer ze de standaard log(x+1)-transformatie op deze perfecte data toepasten, was het resulterende model volkomen onnauwkeurig. De curve die vloeiend en voorspelbaar zou moeten zijn, werd gebogen en gebroken. De onderzoekers ontdekten dat de keuze voor het getal één de schuldige was. Omdat één een groot getal is in vergelijking met de minuscule waarden die vaak in de natuur worden gevonden, overstemde het toevoegen ervan de werkelijke gegevens volledig. Voor zeer kleine metingen werd het toegevoegde één de dominante factor, waardoor de kleine verschillen tussen hen verdwenen. Voor grotere metingen had de toevoeging een ander effect, wat zorgde voor een mismatch die het wiskundige model niet kon corrigeren. Zelfs toen de onderzoekers probeerden veel kleinere getallen in plaats van één te gebruiken, bleef het probleem bestaan. Als ze een getal kozen dat te klein was, werden de nullen in de gegevens getransformeerd naar waarden die zo ver verwijderd waren van de rest van de gegevens dat ze een nieuwe soort vervorming creëerden, waardoor de analyse uit koers werd getrokken.

Het team ging vervolgens verder dan kunstmatige getallen en onderzocht echte ecologische studies, waaronder één over de bloei van zeegras en een andere over de waterkwaliteit in Portugese estuaria. In de zeegrasstudie probeerden onderzoekers te begrijpen hoe stijgende oceantemperaturen een massale bloei van bloemen triggerden. De relatie tussen de hitte en de bloei was duidelijk niet-lineair en groeide sneller naarmate de hitte toenam. Wanneer de oorspronkelijke onderzoekers de log(x+1)-methode gebruikten om dit te analyseren, slaagde de resulterende curve er niet in de werkelijke intensiteit van de respons te vatten. Het vlakt de piek af en mist de snelle acceleratie van de bloei. In contrast hiermee heranalyseerde het nieuwe team dezelfde gegevens met andere methoden die geen constante toevoeging bevatten, waarbij de ware, scherpe relatie tussen hitte en bloei duidelijk naar voren kwam. Vergelijkbaar daarmee keken zij in de estuariumstudie naar de ratio van bovengrondse versus ondergrondse plantbiomassa om de gezondheid van het zeegras te bepalen. Omdat sommige planten groeiden terwijl andere krompen, bevatte de data waarden zowel boven als onder de één. De log(x+1)-methode behandelde deze waarden ongelijkmatig, waardoor de gezonde, groeiende planten werden gecomprimeerd en de stervende planten werden overdreven, wat leidde tot een vertekend beeld van de gezondheid van het ecosysteem. De onderzoekers toonden aan dat deze vervorming niet slechts een statistische curiositeit was; het veranderde de interpretatie van of het zeegras floreerde of stierf.

De studie testte ook of andere veelvoorkomende wiskundige trucs het probleem konden oplossen. Ze probeerden vierkantswortels, derdemachtswortels en andere complexe aanpassingen te gebruiken die vaak worden gebruikt om ongelijkmatige gegevens te verzachten. Hoewel sommige van deze alternatieven in specifieke situaties beter werkten dan de log(x+1)-methode, kon geen van hen het probleem volledig oplossen wanneer de gegevens nullen bevatten en een exponentieel patroon volgden. De onderzoekers ontdekten dat wanneer gegevens op een exponentiële manier gedrag vertonen, geen enkele vorm van het herformuleren van de getallen met een eenvoudige formule het mogelijk maakt om ze in de standaard lineaire modellen te passen zonder fouten te introduceren. Ze verduidelijkten echter dat dit niet betekent dat elke transformatie gedoemd is te mislukken; voor datasets die niet strikt een exponentieel model volgen, kunnen andere methoden zoals de Box-Cox-transformatie succesvol zijn. In deze specifieke exponentiële gevallen concludeert het artikel dat de beste oplossing niet is om de gegevens überhaupt in een rechte lijn te dwingen. In plaats daarvan zouden wetenschappers statistische modellen moeten gebruiken die specifiek zijn ontworpen voor niet-lineaire data, zoals gegeneraliseerde lineaire modellen, die de nullen en de exponentiële groei direct kunnen afhandelen zonder dat er arbitraire getallen hoeven te worden toegevoegd.

De implicaties van deze bevinding zijn aanzienlijk voor de milieuwetenschap, waar gegevens vaak nullen bevatten omdat een soort afwezig kan zijn op een locatie of een verontreinigende stof ondetecteerbaar kan zijn. Jarenlang is de log(x+1)-transformatie de standaardtool geweest voor het afhandelen van deze nullen, gebruikt in talloze studies over biodiversiteit, klimaatverandering en vervuiling. De onderzoekers stellen dat het wijdverbreide gebruik hiervan waarschijnlijk heeft geleid tot een groot aantal studies die bevooroordeelde resultaten produceren, waarbij de sterkte van een relatie wordt onderschat of overschat, of waar de richting van een trend verkeerd wordt begrepen. De bias is niet subtiel; het is groot genoeg om de uitkomst van een studie te veranderen. De auteurs benadrukken dat hoewel de log(x+1)-methode gemakkelijk in gebruik is, het geen geldige wetenschappelijke oplossing is. Ze dringen er bij de wetenschappelijke gemeenschap op aan om deze praktijk te verlaten en meer rigoureuze methoden te adopteren die de ware aard van de gegevens respecteren. Door dit te doen, kunnen onderzoekers ervoor zorgen dat hun conclusies over de natuurlijke wereld gebaseerd zijn op de realiteit, en niet op de wiskundige artefacten van een handige maar gebrekkige shortcut.