Resumen Técnico: LakeFM: Hacia un Modelo de Fundación para Ecosistemas Acuáticos

1. Planteamiento del Problema

El monitoreo de la salud de los cuerpos de agua interiores es crítico para la gestión sostenible del agua dulce, sin embargo, el modelado de la dinámica de los lagos enfrenta desafíos significativos debido a la naturaleza de los datos ecológicos. Los enfoques actuales de aprendizaje automático para series temporales ecológicas suelen asumir un muestreo regular tanto en tiempo como en profundidad. Sin embargo, los datos de monitoreo de lagos del mundo real se caracterizan por:

• Irregularidad: Frecuencias de muestreo altamente variables (de diaria a mensual) y valores faltantes (6edad de escasez del 60–70% en conjuntos de datos como LakeBeD-US).
• Heterogeneidad: Conjuntos diversos de variables, resoluciones de profundidad variables y patrones de observación inconsistentes entre diferentes lagos.
• Problemas de Escalabilidad: Los modelos actuales de Fundamentos de Series Temporales (TSFMs) como Chronos 2 o Moment generalmente asumen datos limpios, densamente muestreados o univariados, lo que los hace poco aptos para la naturaleza dispersa, multivariada y de múltiples profundidades de la ciencia acuática. Además, los modelos existentes suelen tener dificultades para generalizar entre lagos con diferentes características físicas y biogeoquímicas sin un ajuste fino extensivo por cada lago.

El problema central abordado es la falta de un modelo de fundación capaz de aprender procesos de lagos genéricos a través de una amplia colección de lagos manteniendo las sutilezas específicas de cada sitio, específicamente manejando series temporales irregulares, multivariadas y de múltiples profundidades sin depender de la imputación externa.

2. Metodología: Arquitectura de LakeFM

LakeFM es un modelo de fundación preentrenado en un conjunto de datos a gran escala que comprende más de 1.5 millones de muestras de 21 lagos del mundo real (LakeBeD-US) y más de 1,000 simulaciones basadas en procesos diversos (WQHanson y FCR). La arquitectura está diseñada para operar en una cuadrícula irregular, tratando los datos como una secuencia de eventos en lugar de una cuadrícula fija.

2.1 Tokenización de Entrada y Embedding

A diferencia de los enfoques basados en cuadrículas, LakeFM tokeniza cada medición individual como un evento distinto (token).

• Definición de Token: Cada observación es una tupla $(t_k, v_k, d_k, x_k)$, que representa el sello de tiempo absoluto, el identificador de la variable, la profundidad continua y el valor escalar.
• Estrategia de Embedding: Se construye un embedding compuesto mediante la concatenación de cuatro componentes:
  • Embedding de Tiempo: Codificaciones posicionales sinusoidales para el tiempo continuo.
  • Embedding de Profundidad: Codificación de características de Fourier para manejar valores de profundidad continuos, permitiendo al modelo aprender gradientes verticales.
  • Embedding de Varietal: Búsqueda aprendible para IDs de variables categóricas.
  • Embedding de Valor: Una proyección de tipo puerta (gate) estilo SwiGLU para el valor de la medición escalar.
• Formación de la Secuencia: Los tokens se ordenan por ID de variable, luego por profundidad y finalmente por tiempo absoluto para formar la secuencia de entrada.

2.2 Codificador y Desentrelazamiento de Características

El codificador utiliza una pila de bloques Transformer con modificaciones específicas para datos científicos:

• Embeddings Posicionales Rotatorios (RoPE): Utilizados para modelar dependencias temporales relativas.
• Sesgo de Atención Estructurado: Se introduce un sesgo aditivo aprendible en los logits de atención para diferenciar entre las interacciones intra-varietal (dinámicas temporales de una sola variable) e inter-varietal (correlaciones entre diferentes variables).
• Desentrelazamiento Estático vs. Dinámico: El modelo desacopla el espacio de representación en dos subespacios paralelos:
  • Embeddings Estáticos: Agregados mediante pooling de media para capturar características del lago invariantes en el tiempo (ej. geografía, hidrología). Estos se utilizan para el aprendizaje contrastivo.
  • Embeddings Temporales: Retienen la información temporal y sirven como entrada para el decodificador de pronóstico.

2.3 Pronóstico Basado en Consultas y Salida Probabilística

• Estrategia Basada en Consultas (Query-Based): En lugar de un decodificador de alimentación hacia adelante fijo, LakeFM utiliza consultas de objetivo definidas por puntos específicos de $(t, v, d)$. El decodificador emplea atención cruzada para recuperar información relevante del contexto histórico codificado, permitiendo la inferencia flexible en puntos no observados arbitrarios (cuadrículas regulares o irregulares).
• Cabeza Probabilística: Para manejar el ruido de cola pesada y la incertidumbre comunes en los datos ambientales, el modelo genera los parámetros de una distribución Student-$t$ ($\mu, \sigma, \nu$). Crucialmente, los grados de libertad ($\nu$) se aprenden dinámicamente, permitiendo que el modelo se adapte entre regímenes de cola pesada y similares a una Gaussiana según la variable y el contexto específicos.

2.4 Objetivos de Entrenamiento

LakeFM se preentrena utilizando una optimización conjunta de dos pérdidas:

1. Pérdida de Pronóstico Probabilístico: Minimiza la log-verosimilitud negativa de los valores reales bajo la distribución Student-$t$ predicha.
2. Pérdida Contrastiva: Incentiva al modelo a aprender representaciones estáticas específicas del lago tratando las muestras del mismo lago como positivas y las de diferentes lagos como negativas (formulación InfoNCE).

3. Contribuciones Clave

1. Manejo de Datos Irregulares: LakeFM es el primer modelo de fundación diseñado para ingerir series temporales irregulares, multivariadas y de múltiples profundidades directamente, eliminando la necesidad de imputación o remuestreo a cuadrículas regulares.
2. Generalización Zero-Shot: El modelo demuestra un rendimiento de pronóstico competitivo o superior en lagos no vistos (Out-of-Distribution) y variables no vistas, aprovechando la transferencia de conocimiento a través de diversos sistemas lacustres.
3. Consistencia Física: El modelo exhibe una adherencia emergente a las leyes físicas (ej. estratificación térmica y ley de Beer-Lambert) sin restricciones físicas explícitas en la función de pérdida.
4. Descubrimiento Científico: A través de experimentos de enmascaramiento, LakeFM revela nuevos conocimientos sobre las interacciones de variables y las dependencias de profundidad, actuando como un motor de descubrimiento para hipótesis ecológicas.
5. Eficiencia: A pesar de manejar datos irregulares complejos, LakeFM logra estos resultados con significativamente menos parámetros (7M) en comparación con los TSFMs de propósito general.

4. Resultados Experimentales

El modelo fue evaluado en el conjunto de datos LakeBeD-US (21 lagos) y conjuntos de datos de simulación, comparándolo contra modelos de series temporales de fundación (Chronos 2, MOMENT, MOIRAI), modelos locales (iTransformer) y modelos de series temporales irregulares (HyperIMTS, ReIMTS).

• Rendimiento de Pronóstico: LakeFM logró el Error Cuadrático Medio (MSE) más bajo en la mayoría de los lagos In-Distribution (ID) y Out-of-Distribution (OOD). Superó consistentemente a los baselines, particularmente en entornos zero-shot donde otros modelos tuvieron dificultades debido a la falta de capacidades de transferencia de aprendizaje.
• Ventaja Sin Imputación: En comparaciones con baselines de series temporales irregulares, LakeFM logró el mejor rango promedio (1.0 en OOD, 1.27 en ID), confirmando que sus ganancias de rendimiento provienen del modelado directo de las irregularidades y no solo de evitar los pipelines de imputación.
• Consistencia Física: En 100 lagos simulados no vistos, LakeFM mostró una mayor consistencia con la Ley de Estratificación Térmica (menores tasas de inversión) y la Ley de Beer-Lambert (mayor $R^2$) en comparación con Chronos 2.
• Análisis de Embeddings:
  • Embeddings Estáticos: Las visualizaciones de t-SNE mostraron que los embeddings estáticos aprendidos agrupan naturalmente los lagos por ubicación geográfica (Estado) y régimen hidrológico (ej. drenaje vs. filtración), a pesar de que estos metadatos no se usaron durante el entrenamiento.
  • Embeddings Dinámicos: Las trayectorias temporales en el espacio de embedding se alinearon con características ecológicas, como el estado trófico (oligotrófico vs. eutrófico) y los patrones estacionales.
• Estudios de Ablación: Eliminar el aprendizaje contrastivo, los grados de libertad específicos de la variable o los embeddings de profundidad continua resultó en una degradación significativa del rendimiento, validando la necesidad de cada componente.

5. Significancia y Reivindicaciones

El artículo posiciona a LakeFM como un paso práctico hacia el modelado escalable y generalizable de los ecosistemas lacustres. Su significancia radica en:

• Cambio de Paradigma: Pasar de análisis de un solo lago y una sola variable, y de pipelines dependientes de la imputación, hacia un modelo de fundación unificado que comparte información a través de lagos dispares con diversas irregularidades.
• Comprensión de Macro-Sistemas: Permitir el primer paso hacia la comprensión de la ecología de los lagos a escala de macro-sistema utilizando datos diversos y heterogéneos.
• Utilidad Científica: La capacidad de manejar variables enmascaradas permite a los investigadores plantear escenarios de "¿qué pasaría si?" (ej. predecir la temperatura sin datos de oxígeno disuelto), revelando conocimientos sobre las interacciones de variables que pueden guiar futuras estrategias de recolección de datos.
• Fundamento para AI4Science: El trabajo demuestra que los modelos de fundación pueden adaptarse a dominios científicos específicos, aprendiendo no solo patrones estadísticos sino también principios físicos subyacentes, cerrando la brecha entre el aprendizaje automático basado en datos y el modelado científico basado en procesos.

Los autores reconocen limitaciones respecto a la extrapolación a contextos climáticos significativamente diferentes a la distribución de entrenamiento (ej. regiones con dinámicas de temperatura/cobertura de hielo diferentes), señalando que el modelo depende de las dependencias estadísticas aprendidas dentro del rango de los datos observados.