🤖 machine learning

Data-driven Lake Water Quality Forecasting for Time Series with Missing Data using Machine Learning

Este artículo presenta un marco de trabajo basado en datos para el pronóstico de la profundidad del disco de Secchi en los lagos de Maine con datos de series temporales faltantes, demostrando que un modelo de regresión de Ridge simple utilizando imputación múltiple puede lograr una precisión casi óptima con un mínimo de muestras de entrenamiento y un único predictor, estableciendo así una estrategia práctica para el monitoreo eficiente de lagos.

Autores originales: Rishit Chatterjee, Tahiya Chowdhury

Publicado 2026-06-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Rishit Chatterjee, Tahiya Chowdhury

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de predecir el clima para un lago específico, pero tu cuaderno está lleno de agujeros. A veces olvidaste anotar algo porque hacía demasiado frío (capa de hielo), otras veces no pudiste llegar debido a una tormenta, y otras veces simplemente cometiste un error. Esto es exactamente el problema que enfrentan los científicos al intentar monitorear la calidad del agua de los lagos. Tienen décadas de datos, pero son desordenados, están llenos de vacíos e irregulares.

Este artículo es como una guía para saber cómo obtener el mejor pronóstico posible de ese cuaderno desordenado sin perder tiempo o dinero. Así es como lo hicieron, explicado de forma sencilla:

1. El Problema: El "Cuaderno Roto"

Los lagos son vitales para el agua potable y la naturaleza, pero se están enfermando (floraciones algales). Para detener esto, necesitamos saber qué tan clara es el agua. Los científicos usan una herramienta llamada "Disco de Secchi" (un plato blanco que se baja al agua) para medir la claridad.

Sin embargo, los datos recolectados por voluntarios son como un diario donde el escritor solo aparece cuando el clima es perfecto. Hay enormes vacíos. Si intentas predecir el futuro basándote en un diario roto, tus suposiciones serán malas.

2. La Solución: "Rellenar los Huecos" (Imputación)

Antes de poder predecir cualquier cosa, los investigadores tuvieron que arreglar los agujeros en los datos. Utilizaron un truco estadístico inteligente llamado MICE (Imputación Múltiple por Ecuaciones Encadenadas).

Piensa en esto como un solucionador de rompecabezas muy inteligente. Si falta una página con la lectura de la temperatura, el solucionador busca la profundidad del agua, los niveles de oxígeno y la estación del año para adivinar qué temperatura probablemente hubo. No adivinaron al azar; utilizaron las relaciones entre diferentes mediciones para llenar los huecos para que el "diario" estuviera completo de nuevo.

3. El Experimento: ¿Cuántos Datos Necesitamos Realmente?

Los investigadores se hicieron una pregunta simple: "¿Necesitamos leer todo el diario de 30 años para hacer una buena predicción, o podemos simplemente leer las últimas páginas?"

Probaron esto entrenando sus modelos computacionales con diferentes cantidades de historia reciente.

El Resultado: Descubrieron que no necesitas los 30 años completos. Una vez que tienes aproximadamente 176 muestras recientes (aproximadamente unos pocos años de datos), añadir más historia antigua no ayuda realmente a que la predicción mejore mucho. Es como estudiar para un examen: después de haber repasado los últimos capítulos a fondo, volver a leer el primer capítulo de hace tres años no te ayuda más a pasar el examen.

4. El Atajo: ¿Qué Mediciones Importan?

Luego, preguntaron: "¿Necesitamos medir todo, o solo algunas cosas?"
Podían medir 13 cosas diferentes (como temperatura, oxígeno, fósforo, etc.). Medir todo eso es difícil y costoso.

El Resultado: Descubrieron que un pequeño grupo de solo cuatro mediciones específicas era suficiente para obtener casi la misma precisión que midiendo las 13.
El Atajo Definitivo: Mejor aún, para la mayoría de los lagos, solo necesitaban una sola medición (específicamente, la cantidad de oxígeno en el agua, llamada "Óxico") combinada con una historia corta de datos recientes para obtener una predicción que estuviera dentro del 5% de la predicción "perfecta".

5. La "Regla de Factibilidad": La Fórmula Mágica

Los investigadores combinaron estos hallazgos en una regla simple para los gestores de lagos. En lugar de adivinar, ahora tienen una fórmula que dice:

"Para obtener un pronóstico confiable, solo necesitas medir una cosa específica (como el oxígeno) y observar las últimas 64 muestras recientes".

Esto es un gran avance porque significa que los voluntarios y científicos pueden dejar de perder tiempo midiendo 13 cosas diferentes cada vez que visitan un lago. Pueden concentrarse en la única o las dos cosas que realmente importan, ahorrando tiempo y dinero mientras obtienen advertencias precisas sobre la mala calidad del agua.

Resumen

Piensa en esta investigación como encontrar el "truco de trampa" para el monitoreo de lagos.

Antes: Necesitabas un diario perfecto y completo, y tenías que medirlo todo para tener una buena suposición.
Ahora: Puedes llenar las páginas faltantes con un algoritmo inteligente, y solo necesitas mirar las últimas pocas páginas y medir solo una o dos cosas para obtener una predicción que es casi tan buena como la versión perfecta.

Esto hace que sea mucho más fácil para las personas comunes y las organizaciones pequeñas vigilar la salud de los lagos, incluso cuando no pueden visitar cada lago todos los días o medir cada sustancia química.

Resumen Técnico: Pronóstico de la calidad del agua de lagos basado en datos para series temporales con datos faltantes mediante aprendizaje automático

Planteamiento del problema
Los programas de monitoreo de lagos liderados por voluntarios generan series temporales irregulares e intermitentes estacionalmente, caracterizadas por brechas significativas debido a la cubierta de hielo, restricciones climáticas y errores humanos. Estos puntos de datos faltantes complican el pronóstico de la profundidad del disco de Secchi (SDD, por sus siglas en inglés)—una métrica crítica para la claridad del agua y la alerta temprana de algas nocivas (HABs). Los enfoques existentes enfrentan varias limitaciones: la teledetección suele ser poco confiable para lagos interiores pequeños, poco profundos o propensos a las nubes; los estudios in situ suelen depender de conjuntos de datos pequeños con generalizabilidad limitada; y el manejo estándar de datos faltantes (por ejemplo, la eliminación por lista) degrada el rendimiento predictivo. Además, las evaluaciones de pronóstico actuales suelen utilizar métas dependientes de la escala (como el MAE) que dificultan la comparabilidad entre lagos, y pocos estudios proporcionan una estrategia unificada para determinar simultáneamente la historia de entrenamiento mínima requerida y el conjunto de características esenciales para una predicción precisa.

Metodología
El estudio utiliza un conjunto de datos de tres décadas de registros in situ de lagos de Maine, centrándose en un subconjunto de 30 lagos con la mayor densidad de datos. La metodología procede a través de las siguientes etapas:

Preprocesamiento e imputación de datos:
- Exclusiones: Se excluyó la clorofila-a para evitar la fuga de datos (target leakage), ya que es un proxy directo de la SDD, y se eliminaron las observaciones de "SDD-al fondo" ya que no son determinables.
- Imputación: Para manejar la falta de datos, los autores emplean la Imputación Múltiple por Ecuaciones en Cadena (MICE). Este método modela cada variable con datos faltantes condicionalmente sobre las demás, asumiendo que los datos están Faltantes al Azar (MAR). Se seleccionó MICE sobre las redes generativas profundas debido a un rendimiento comparable con un menor costo computacional. La SDD se trata como el objetivo y nunca se imputa.
Protocolo de pronóstico:
- Estrategia de expansión hacia atrás: A diferencia de los métodos tradicionales que utilizan los primeros datos disponibles, este estudio utiliza un protocolo "hacia atrás". Para cada lago, los últimos 5 años de datos sirven como el conjunto de prueba. El conjunto de entrenamiento consiste en las $n$ muestras más recientes de la historia previa a la prueba. Este enfoque prioriza los patrones climáticos y meteorológicos recientes.
- Selección de modelos: Se evaluaron seis modelos candidatos (ARIMA, SARIMA, TSMixer, Transformer, Random Forest y Regresión de Ridge), siendo la Regresión de Ridge la que demostró el mejor desempeño en términos de Error Absoluto Medio (MAE), MAE normalizado (nMAE) y $R^2$ , y fue seleccionada como el pronosticador principal.
Métricas de evaluación:
- MAE normalizado (nMAE): Para permitir la comparación entre lagos ante variaciones en profundidad y claridad basal, el estudio utiliza el nMAE, definido como el error absoluto promedio dividido por la SDD promedio del bloque de prueba.
- Umbral de desempeño: Se define una configuración "mínima" como aquella donde el nMAE está dentro de un 5% del desempeño logrado utilizando el conjunto de datos históricos completo y todas las características.
Selección de características y optimización conjunta:
- Clasificación de características: Las características se clasificaron utilizando la Disminución Media de la Impureza (MDI) de un modelo de Ridge de características completas.
- Selección voraz hacia adelante (Greedy Forward Selection): Se probaron las $k$ mejores características para encontrar el subconjunto mínimo ( $k^*$ ) que cumpliera con la tolerancia del 5%.
- Función de viabilidad conjunta: Se introdujo una regla unificada para identificar el par mínimo $(\hat{n}, \hat{k})$ —la longitud de historia reciente más corta y el menor número de predictores—requeridos para alcanzar el objetivo de precisión. La selección prioriza la minimización del tamaño de la muestra ( $n$ ) primero, y luego el recuento de características ( $k$ ).

Resultos clave

Tamaño de muestra mínimo: El estudio encontró que el desempeño predictivo mejora rápidamente con las primeras 50–100 muestras y exhibe rendimientos decrecientes a partir de ahí. En promedio, un lago requiere aproximadamente 176 muestras de entrenamiento (de la historia reciente previa a la prueba) para alcanzar dentro de un 5% de la precisión de la historia completa.
Conjunto de características mínimo: Un subconjunto compacto de cuatro características—TPEC (Temperatura superficial), OXIC (Oxígeno disuelto), SCHMIDT (Estabilidad de Schmidt) y CONDUCT (Conductividad)—logró un desempeño dentro de la tolerancia del 5% respecto a la línea base de 13 características.
Configuración conjunta: Al aplicar la regla de viabilidad conjunta, la mediana de la configuración mínima a través de los 30 lagos fue de 64 muestras recientes y 1 predictor.
- Específicamente, para los lagos donde un solo predictor fue suficiente (20 de 30 lagos), OXIC (Oxígeno disuelto) fue seleccionado el 90% de las veces, y TPEC el 10% de las veces.
- Diez lagos no cumplieron con la tolerancia del 5% con datos reducidos y regresaron a la línea base de datos/características completas.

Significancia y afirmaciones
El artículo afirma proporcionar un marco práctico basado en datos para optimizar los esfuerzos de monitoreo de lagos. Al unificar la determinación de la longitud de la historia reciente y la selección de características bajo un objetivo de precisión fijo, el estudio ofrece una "estrategza de viabilidad conjunta" que genera reglas simples y eficientes para establecer prioridades de muestreo.

Los autores sostienen que este enfoque permite a los investigadores y programas de monitoreo:

Reducir la carga de recursos: Identificar que un pequeño número de mediciones recientes (mediana ~64) y un único predictor de alto valor (a menudo el Oxígeno Disuelto) pueden ser suficientes para un pronóstico confiable, reduando la necesidad de campañas de muestreo extensas, costosas y laboriosas.
Permitir un monitoreo dirigido: Cambiar el enfoque de un muestreo amplio e infrecuente hacia un monitoreo de alta frecuencia y dirigido a variables específicas y críticas.
Apoyar la resiliencia climática: Proporcionar un método escalable para la detección temprana de la degradación de la calidad del agua, ayudando en la anticipación de eventos de floración de algas exacerbados por el clima.

El estudio reconoce limitaciones, incluyendo la dependencia de la suposición de Datos Faltantes al Azar para la imputación, el potencial sesgo de la importancia de características de MDI, y las decisiones de diseño específicas respecto a la tolerancia del 5% y las reglas de selección lexicográficas. Los autores señalan que estos hallazgos son preliminares y se basan en un subconjunto de 30 lagos, con planes para expandir el estudio a la base de datos completa e incorporar aprendizaje automático informado por la física en trabajos futuros.