Do not log(x+1) transform: the bias and alternatives

Nel mondo naturale, le misurazioni spesso si comportano in modi che sfidano le semplici linee rette. Quando gli scienziati contano il numero di pesci in uno stagno, misurano l'altezza della chioma di una foresta o monitorano la temperatura dell'oceano, i dati raramente si distribuiscono uniformemente. Inveve, i valori piccoli sono comuni, mentre i valori grandi sono rari, creando una forma asimmetrica che rende difficili l'uso degli strumenti matematici standard per trovare schemi. Per risolvere questo problema, i ricercatori si affidano da tempo a un trucco matematico chiamato trasformazione logaritmica. Questo processo rimodella i dati, comprimendo i numeri enormi e dilatando quelli minuscoli, trasformando un paesaggio irregolare e frastagliato in una pianura liscia e piatta dove le relazioni diventano chiare e facili da studiare. Tuttavia, questo trucco si scontra con un muro invalicabile quando i dati contengono zeri. Poiché l'operazione matematica non può gestire uno zero, i ricercatori hanno tradizionalmente aggiunto un piccolo numero arbitrario a ogni singola misurazione prima di applicare il trucco. Per decenni, la scelta più comune è stata semplicemente aggiungere uno a ogni valore, un metodo noto come trasformazione log(x+1). Sembrava un espediente innocuo e pratico, che permetteva ai ricercatori di includere i conteggi pari a zero nei loro studi senza scartare informazioni preziose.

Un team di ricercatori provenienti dal Portogallo e dall'Università dell'Algarve ha ora dimostrato che questa abitudine di lunga data è fondamentalmente errata. Testando il metodo sia con numeri generati al computer che con dati ecologici del mondo reale, hanno dimostrato che aggiungere un numero costante ai dati non serve solo a risolvere il problema dello zero, ma distorce attivamente la verità. Lo studio rivela che questa semplice aggiunta introduce un enorme pregiudizio (bias), deformando le relazioni tra le variabili e portando gli scienziati a trarre conclusioni errate su come funziona la natura. I ricercatori hanno scoperto che la distorsione non è un piccolo glitch, ma un errore grave che cambia la pendenza delle relazioni, nasconde la vera dispersione dei dati e può persino invertire la direzione di un trend. Il loro lavoro suggerisce che la comunità scientifica debba smettere immediatamente di usare questo specifico espediente e cercare metodi più robusti che non si affidino all'aggiunta di numeri arbitrari ai dati.

Per dimostrare il loro punto, i ricercatori hanno prima creato un dataset artificiale perfetto in cui la relazione tra due variabili era nota esattamente. Hanno progettato uno scenario in cui una variabile cresceva esponenzialmente in base all'altra, un modello comune in natura, ma hanno incluso alcuni valori zero per imitare le condizioni del mondo reale. Quando hanno applicato la standard trasformazione log(x+1) a questi dati perfetti, il modello risultante era estremamente inaccurato. La curva che avrebbe dovuto essere fluida e prevedibile divenne piegata e spezzata. I ricercatori hanno scoperto che la scelta del numero uno era il colpevole. Poiché uno è un numero grande rispetto ai valori minuscoli spesso presenti in natura, l'aggiunta di uno ha completamente sopraffatto i dati reali. Per le misurazioni molto piccole, l'uno aggiunto è diventato il fattore dominante, facendo scomparire le piccole differenze tra esse. Per le misurazioni più grandi, l'aggiunta ha avuto un effetto diverso, creando un disallineamento che il modello matematico non riusciva a correggere. Anche quando i ricercatori hanno provato a usare numeri molto più piccoli invece di uno, il problema è persistito. Se sceglievano un numero troppo piccolo, gli zeri nei dati venivano trasformati in valori così lontani dal resto dei dati da creare un nuovo tipo di distorsione, portando l'analisi fuori rotta.

Il team è poi passato dai numeri artificiali all'esame di studi ecologici reali, tra cui uno sulla fioritura delle praterie di fanerogame marine e un altro sulla qualità dell'acqua negli estuari portoghesi. Nello studio sulle praterie di fanerogame, i ricercatori cercavano di capire come l'aumento delle temperature oceaniche innescasse una massiccia fioritura. La relazione tra il calore e la fioritura era chiaramente non lineare, crescendo più velocemente all'aumentare del calore. Quando i ricercatori originali usarono il metodo log(x+1) per analizzare questi dati, la curva risultante non riuscì a catturare la vera intensità della risposta. Appiattì il picco e mancò la rapida accelerazione della fioritura. Al contrario, quando il nuovo team ha rianalizzato gli stessi dati utilizzando metodi diversi che non prevedevano l'aggiunta di una costante, la vera e netta relazione tra calore e fioritura è emersa chiaramente. Allo stesso modo, nello studio sull'estuario, gli scienziati stavano esaminando il rapporto tra la biomassa sopra il suolo e quella sotto il suolo per determinare la salute delle fanerogame. Poiché alcune piante crescevano mentre altre diminuivano, i dati contenevano valori sia superiori che inferiori a uno. Il metodo log(x+1) ha trattato questi valori in modo disomogeneo, comprimendo le piante sane e in crescita ed esagerando quelle in difficoltà, il che ha portato a una visione distorta della salute dell'ecosistema. I ricercatori hanno dimostrato che questa distorsione non era solo una curiosità statistica; essa cambia l'interpretazione del fatto che le fanerogame stiano prosperando o morendo.

Lo studio ha anche testato se altri comuni trucchi matematici potessero risolvere il problema. Hanno provato a usare radici quadrate, radici cubiche e altre regolazioni complesse che vengono spesso usate per regolarizzare i dati irregolari. Sebbene alcuni di questi alternativi funzionassero meglio del metodo log(x+1) in situazioni specifiche, nessuno di essi riusciva a risolvere completamente il problema quando i dati contenevano zeri e seguivano un modello esponenziale. I ricercatori hanno scoperto che quando i dati si comportano in modo esponenziale, nessun numero di rimodellamenti dei dati con una semplice formula può farli adattare ai modelli lineari standard senza introdurre errori. Tuttavia, hanno chiarito che questo non significa che ogni trasformazione sia destinata a fallire; per i dataset che non seguono strettamente un modello esponenziale, altri metodi come la trasformazione di Box-Cox possono avere successo. In questi casi esponenziali specifici, il documento conclude che la soluzione migliore non è forzare i dati in una linea retta affatto. Invece, gli scienziati dovrebbero utilizzare modelli statistici progettati specificamente per dati non lineari, come i modelli lineari generalizzati, che possono gestire gli zeri e la crescita esponenziale direttamente senza la necessità di aggiungere numeri arbitrari.

Le implicazioni di questa scoperta sono significative per le scienze ambientali, dove i dati includono spesso zeri perché una specie potrebbe essere assente da un sito o un inquinante potrebbe essere non rilevabile. Per anni, la trasformazione log(x+1) è stata lo strumento predefinito per gestire questi zeri, utilizzato in innumerevoli studi sulla biodiversità, il cambiamento climatico e l'inquinamento. I ricercatori sostengono che l'uso diffuso di questo metodo abbia probabilmente portato a un gran numero di studi a produrre risultati distorti, in cui la forza di una relazione è sottostimata o sovrastimata, o dove la direzione di un trend è fraintesa. Il pregiudizio non è sottile; è abbastanza grande da cambiare l'esito di uno studio. Gli autori sottolineano che, sebbene il metodo log(x+1) sia facile da usare, non è una soluzione scientifica valida. Esortano la comunità scientifica ad abbandonare questa pratica e ad adottare metodi più rigorosi che rispettino la vera natura dei dati. Facendo ciò, i ricercatori possono garantire che le loro conclusioni sul mondo naturale siano basate sulla realtà, e non sugli artefatti matematici di una scorciatoia comoda ma fallace.