Do not log(x+1) transform: the bias and alternatives

En el mundo natural, las mediciones a menudo se comportan de maneras que desafían las líneas rectas simples. Cuando los científicos cuentan el número de peces en un estanque, miden la altura del dosel de un bosque o rastrean la temperatura del océano, los datos rara vez se distribuyen de manera uniforme. En su lugar, los valores pequeños son comunes, mientras que los valores grandes son raros, creando una forma asimétrica que hace que las herramientas matemáticas estándar tengan dificultades para encontrar patrones. Para solucionar esto, los investigadores han dependido durante mucho tiempo de un truco matemático llamado transformación logarítmica. Este proceso remodela los datos, comprimiendo los números enormes y estirando los diminutos, convirtiendo un paisaje dentado e irregular en una llanura suave y plana donde las relaciones se vuelven claras y fáciles de estudiar. Sin embargo, este truco choca con un muro duro cuando los datos contienen ceros. Dado que la operación matemática no puede manejar un cero, los científicos tradicionalmente han añadido un número pequeño y arbitrario a cada medición antes de aplicar el truco. Durante décadas, la elección más común ha sido simplemente sumar uno a cada valor, un método conocido como la transformación log(x+1). Parecía un parche inofensivo y práctico, que permitía a los investigadores incluir conteos de cero en sus estudios sin descartar información valiosa.

Un equipo de investigadores de Portugal y de la Universidad de Algarve ha demostrado ahora que este hábito de larga data es fundamentalmente erróneo. Al probar el método tanto con números generados por computadora como con datos ecológicos del mundo real, demostraron que añadir un número constante a los datos no solo soluciona el problema del cero, sino que distorsiona activamente la verdad. El estudio revela que esta simple adición introduce un sesgo masivo, deformando las relaciones entre las variables y llevando a los científicos a extraer conclusiones incorrectas sobre cómo funciona la naturaleza. Los investigadores encontraron que la distorsión no es un error menor, sino un error grave que cambia la pendiente de las relaciones, oculta la verdadera dispersión de los datos e incluso puede revertir la dirección de una tendencia. Su trabajo sugiere que la comunidad científica debe dejar de usar este ajuste específico de inmediato y buscar métodos más robustos que no dependan de añadir números arbitrarios a los datos.

Para probar su punto, los investigadores primero crearon un conjunto de datos artificial perfecto donde la relación entre dos variables era conocida exactamente. Diseñaron un escenario donde una variable crecía exponencialmente basándose en la otra, un patrón común en la naturaleza, pero incluyeron algunos valores de cero para imitar las condiciones del mundo real. Cuando aplicaron la transformación log(x+1) estándar a estos datos perfectos, el modelo resultante fue increíblemente inexacto. La curva que debería haber sido suave y predecible se volvió torcida y quebrada. Los investigadores encontraron que la elección del número uno era el culpable. Debido a que uno es un número grande comparado con los valores diminutos que se encuentran a menudo en la naturaleza, sumarlo lo abrumó completamente. Para las mediciones muy pequeñas, el uno añadido se convirtió en el factor dominante, haciendo que las diminutas diferencias entre ellas desaparecieran. Para las mediciones más grandes, la adición tuvo un efecto diferente, creando un desajuste que el modelo matemático no pudo corregir. Incluso cuando los investigadores intentaron usar números mucho más pequeños en lugar de uno, el problema persistió. Si elegían un número demasiado pequeño, los ceros en los datos se transformaban en valores tan alejados del resto de los datos que creaban un nuevo tipo de distorsión, desviando el análisis de su curso.

El equipo pasó luego de los números artificiales a examinar estudios ecológicos reales, incluyendo uno sobre la floración de las praderas marinas y otro sobre la calidad del agua en estuarios portugueses. En el estudio de las praderas marinas, los investigadores intentaban comprender cómo el aumento de las temperaturas oceánicas desencadenaba una floración masiva de flores. La relación entre el calor y la floración era claramente no lineal, creciendo más rápido a medida que el calor aumentaba. Cuando los investigadores originales usaron el método log(x+1) para analizar esto, la curva resultante no logró capturar la verdadera intensidad de la respuesta. Aplanó el pico y perdió la rápida aceleración de la floración. En contraste, cuando el nuevo equipo reanalizó los mismos datos utilizando diferentes métodos que no implicaban añadir una constante, la verdadera y aguda relación entre el calor y la floración emergió claramente. Del mismo modo, en el estudio del estuario, los científicos buscaban la relación entre la biomasa aérea y la subterránea para determinar la salud de la pradera marina. Debido a que algunas plantas crecían mientras otras se encogían, los datos contenían valores tanto por encima como por debajo de uno. El método log(x+1) trató estos valores de manera desigual, comprimiendo las plantas sanas y en crecimiento y exagerando las que sufrían, lo que llevó a una visión distorsionada de la salud del ecosistema. Los investigadores demostraron que esta distorsión no era solo una curiosidad estadística; cambiaba la interpretación de si la pradera marina estaba prosperando o muriendo.

El estudio también probó si otros trucos matemáticos comunes podrían resolver el problema. Intentaron usar raíces cuadradas, raíces cúbicas y otros ajustes complejos que se usan a menudo para suavizar datos irregulares. Aunque algunas de estas alternativas funcionaron mejor que el método log(x+1) en situaciones específicas, ninguna pudo solucionar completamente el problema cuando los datos contenían ceros y seguían un patrón exponencial. Los investigadores encontraron que cuando los datos se comportan de manera exponencial, ningún reajuste de los números con una fórmula simple puede hacer que encaje en los modelos lineales estándar sin introducir errores. Sin embargo, aclararon que esto no significa que toda transformación esté destinada al fracaso; para conjuntos de datos que no siguen estrictamente un modelo exponencial, otros métodos como la transformación de Box-Cox pueden tener éxito. En estos casos exponenciales específicos, el artículo concluye que la mejor solución no es forzar los datos a una línea recta en absoluto. En su lugar, los científicos deberían utilizar modelos estadísticos diseñados específicamente para datos no lineales, como los modelos lineales generalizados, que pueden manejar los ceros y el crecimiento exponencial directamente sin necesidad de añadir números arbitrarios.

Las implicaciones de este hallazgo son significativas para la ciencia ambiental, donde los datos a menudo incluyen ceros porque una especie puede estar ausente en un sitio o un contaminante puede ser indetectable. Durante años, la transformación log(x+1) ha sido la herramienta por defecto para manejar estos ceros, utilizada en innumerables estudios sobre biodiversidad, cambio climático y contaminación. Los investigadores argumentan que el uso generalizado de este método probablemente ha llevado a un gran número de estudios a producir resultados sesgados, donde la fuerza de una relación es subestimada o sobreestimada, o donde la dirección de una tendencia es malinterpretada. El sesgo no es sutil; es lo suficientemente grande como para cambiar el resultado de un estudio. Los autores enfatizan que, aunque el método log(x+1) es fácil de usar, no es una solución científica válida. Instan a la comunidad científica a abandonar esta práctica y a adoptar métodos más rigurosos que respeten la verdadera naturaleza de los datos. Al hacerlo, los investigadores pueden asegurar que sus conclusiones sobre el mundo natural se basen en la realidad, y no en los artefactos matemáticos de un atajo conveniente pero defectuoso.