Do not log(x+1) transform: the bias and alternatives

No mundo natural, as medições muitas vezes comportam-se de formas que desafiam as linhas retas simples. Quando os cientistas contam o número de peixes num lago, medem a altura do dossel de uma floresta ou monitorizam a temperatura do oceano, os dados raramente se espalham de forma uniforme. Em vez disso, valores pequenos são comuns, enquanto valores grandes são raros, criando uma forma desequilibrada que faz com que as ferramentas matemáticas padrão tenham dificuldade em encontrar padrões. Para corrigir isto, os investigadores têm dependido há muito tempo de um truque matemático chamado transformação logarítmica. Este processo remodela os dados, comprimindo os números enormes e esticando os pequenos, transformando uma paisagem irregular e acidentada num plano suave e plano onde as relações se tornam claras e fáceis de estudar. No entanto, este truque encontra um muro intransponível quando os dados contêm zeros. Como a operação matemática não consegue lidar com um zero, os cientistas têm tradicionalmente adicionado um número pequeno e arbitrário a cada medição antes de aplicar o truque. Durante décadas, a escolha mais comum tem sido simplesmente adicionar um a cada valor, um método conhecido como transformação log(x+1). Parecia ser uma solução de contorno inofensiva e prática, permitindo que os investigadores incluíssem contagens de zero nos seus estudos sem descartar informações valiosas.

Uma equipa de investigadores de Portugal e da Universidade do Algarve demonstrou agora que este hábito de longa data é fundamentalmente falho. Ao testar o método com números gerados por computador e com dados ecológicos do mundo real, demonstraram que adicionar um número constante aos dados não apenas resolve o problema do zero; mas distorce ativamente a verdade. O estudo revela que esta simples adição introduz um viés massivo, deformando as relações entre variáveis e levando os cientistas a tirar conclusções incorretas sobre como a natureza funciona. Os investigadores descobriram que a distorção não é uma falha menor, mas sim um erro grave que altera a inclinação das relações, esconde a verdadeira dispersão dos dados e pode até inverter a direção de uma tendência. O seu trabalho sugere que a comunidade científica precisa de parar de usar este corretivo específico imediatamente e procurar métodos mais robustos que não dependam da adição de números arbitrários aos dados.

Para provar o seu ponto, os investigadores criaram primeiro um conjunto de dados artificial perfeito onde a relação entre duas variáveis era conhecida exatamente. Desenharam um cenário onde uma variável crescia exponencialmente com base na outra, um padrão comum na natureza, mas incluíram alguns valores zero para mimetizar as condições do mundo real. Quando aplicaram a transformação log(x+1) padrão a estes dados perfeitos, o modelo resultante foi tremendamente impreciso. A curva que deveria ser suave e previsível tornou-se torcida e quebrada. Os investigadores descobriram que a escolha do número um era a culpada. Como um é um número grande comparativamente aos valores minúsculos frequentemente encontrados na natureza, a sua adição sobrepôs-se completamente aos dados reais. Para medições muito pequenas, o um adicionado tornou-se o fator dominante, fazendo com que as pequenas diferenças entre elas desaparecessem. Para medições maiores, a adição teve um efeito diferente, criando um desajuste que o modelo matemático não conseguiu corrigir. Mesmo quando os investigadores tentaram usar números muito menores em vez de um, o problema persistiu. Se escolhessem um número demasiado pequeno, os zeros nos dados eram transformados em valores tão distantes do resto dos dados que criavam um novo tipo de distorção, desviando a análise do curso.

A equipa passou então além dos números artificiais para examinar estudos ecológicos reais, incluindo um sobre a floração de ervas marinhas e outro sobre a qualidade da água em estuários portugueses. No estudo das ervas marinhas, os investigadores tentavam compreender como o aumento das temperaturas oceânicas desencadeava uma floração massiva de flores. A relação entre o calor e a floração era claramente não linear, crescendo mais rapidamente à medida que o calor aumentava. Quando os investigadores originais usaram o método log(x+1) para analisar isto, a curva resultante falhou em capturar a verdadeira intensidade da resposta. Ela achatou o pico e perdeu a aceleração rápida da floração. Em contraste, quando a nova equipa reanalisou os mesmos dados utilizando métodos diferentes que não envolviam a adição de uma constante, a verdadeira e acentuada relação entre o calor e a floração emergiu claramente. Da mesma forma, no estudo do estuário, os cientistas procuravam a proporção de biomassa acima do solo para abaixo do solo para determinar a saúde das ervas marinhas. Como algumas plantas estavam a crescer enquanto outras estavam a encolher, os dados continham valores tanto acima como abaixo de um. O método log(x+1) tratou estes valores de forma desigual, comprimindo as plantas saudáveis e em crescimento e exagerando aquelas que estavam em dificuldades, o que levou a uma visão distorcida da saúde do ecossistema. Os investigadores mostraram que esta distorção não era apenas uma curiosidade estatística; ela alterou a interpretação de se a erva marinha estava a prosperar ou a morrer.

O estudo também testou se outros truques matemáticos comuns poderiam resolver o problema. Tentaram utilizar raízes quadradas, raízes cúbicas e outros ajustes complexos que são frequentemente usados para suavizar dados irregulares. Embora algumas destas alternativas tenham funcionado melhor do que o método log(x+1) em situações específicas, nenhuma delas conseguiu corrigir totalmente o problema quando os dados continham zeros e seguiam um padrão exponencial. Os investigadores descobriram que, quando os dados se comportam de uma forma exponencial, nenhum amount de remodelagem dos números com uma fórmula simples consegue fazer com que se ajustem aos modelos lineares padrão sem introduzir erro. No entanto, esclareceram que isto não significa que todas as transformações estejam condenadas ao fracasso; para conjuntos de dados que não seguem estritamente um modelo exponencial, outros métodos como a transformação Box-Cox podem ser bem-sucedidos. Nestes casos exponenciais específicos, o artigo conclui que a melhor solução não é forçar os dados numa linha reta de todo. Em vez disso, os cientistas devem utilizar modelos estatísticos desenhados especificamente para dados não lineares, como os modelos lineares generalizados, que podem lidar com os zeros e o crescimento exponencial diretamente, sem necessidade de adicionar números arbitrários.

As implicações desta descoberta são significativas para as ciências ambientais, onde os dados frequentemente incluem zeros porque uma espécie pode estar ausente de um local ou um poluente pode ser indetetável. Durante anos, a transformação log(x+1) tem sido a ferramenta padrão para lidar com estes zeros, utilizada em inúmeros estudos sobre biodiversidade, alterações climáticas e poluição. Os investigadores argumentam que o uso generalizado deste método provavelmente levou um vasto número de estudos a produzir resultados enviesados, onde a força de uma relação é subestimada ou sobrestimada, ou onde a direção de uma tendência é mal compreendida. O viés não é subtil; é suficientemente grande para mudar o resultado de um estudo. Os autores enfatizam que, embora o método log(x+1) seja fácil de usar, não é uma solução científica válida. Eles instam a comunidade científica a abandonar esta prática e a adotar métodos mais rigorosos que respeitem a verdadeira natureza dos dados. Ao fazê-lo, os investigadores podem garantir que as suas conclusões sobre o mundo natural se baseiam na realidade, e não nos artefactos matemáticos de um atalho conveniente, mas falho.