Resumo Técnico: LakeFM: Em Direção a um Modelo de Fundação para Ecossistemas Aquáticos

1. Declaração do Problema

O monitoramento da saúde dos corpos de água interiores é crítico para a gestão sustentável de águas doces, mas a modelagem da dinâmica de lagos enfrenta desafios significativos devido à natureza dos dados ecológicos. As abordagens existentes de aprendizado de máquina para dados de séries temporais ecológicas tipicamente assumem amostragem regular tanto no tempo quanto na profundidade. No entanto, os dados de monitoramento de lagos do mundo real são caracterizados por:

• Irregularidade: Frequências de amostragem altamente variáveis (de diárias a mensais) e valores ausentes (escassez média de 60–70% em conjuntos de dados como o LakeBeD-US).
• Heterogeneidade: Conjuntos diversos de variáveis, resoluções de profundidade variadas e padrões de observação inconsistentes entre diferentes lagos.
• Problemas de Escalabilidade: Os atuais Modelos de Fundação de Séries Temporais (TSFMs), como Chronos 2 ou Moment, geralmente assumem dados limpos, densamente amostrados ou univariados, tornando-os despreparados para a natureza esparsa, multivariada e de múltiplas profundidades da ciência aquática. Além disso, os modelos existentes frequentemente têm dificuldade em generalizar para lagos com diferentes características físicas e biogeoquímicas sem a necessidade de um ajuste fino (fine-tuning) extensivo por lago.

O problema central abordado é a falta de um modelo de fundação capaz de aprender processos genéricos de lagos através de uma ampla coleção de lagos, mantendo as nuances específicas de cada local, especificamente lidando com séries temporais irregulares, multivariadas e de múltiplas profundidades sem depender de imputação externa.

2. Metodologia: Arquitetura LakeFM

O LakeFM é um modelo de fundação pré-treinado em um conjunto de dados de larga escala composto por mais de 1,5 milhão de amostras de 21 lagos reais (LakeBeD-US) e mais de 1.000 simulações baseadas em processos diversificados (simulações WQHanson e FCR). A arquitetura é projetada para operar em uma grade irregular, tratando os dados como uma sequência de eventos em vez de uma grade fixa.

2.1 Tokenização de Entrada e Embedding

Ao contrário das abordagens baseadas em grade, o LakeFM tokeniza cada medição individual como um evento distinto (token).

• Definição de Token: Cada observação é uma tupla $(t_k, v_k, d_k, x_k)$, representando o timestamp absoluto, o identificador da variável, a profundidade contínua e o valor escalar.
• Estratégia de Embedding: Um embedding composto é construído concatenando quatro componentes:
  • Embedding de Tempo: Codificações posicionais senoidais para tempo contínuo.
  • Embedding de Profundidade: Codificação de características de Fourier para lidar com valores de profundidade contínuos, permitindo que o modelo aprenda gradientes verticais.
  • Embedding de Variável: Busca (lookup) aprendível para IDs de variáveis categóricas.
  • Embedding de Valor: Uma projeção de porta do tipo SwiGLU para o valor de medição escalar.
• Formação de Sequência: Os tokens são ordenados por ID de variável, depois por profundidade e, finalmente, por tempo absoluto para formar a sequência de entrada.

2.2 Codificador e Desmembramento de Características

O codificador utiliza uma pilha de blocos Transformer com modificações específicas para dados científicos:

• Embeddings de Posição Rotativa (RoPE): Utilizados para modelar dependências temporais relativas.
• Viés de Atenção Estruturada: Um viés aditivo aprendível é introduzido nos logits de atenção para diferenciar entre interações intra-variável (dinâmicas temporais de uma única variável) e inter-variável (correlações entre diferentes variáveis).
• Desmembramento Estático vs. Dinâmico: O modelo desacopla o espaço de representação em dois subespaços paralelos:
  • Embeddings Estáticos: Agregados via pooling de média para capturar características do lago invariantes no tempo (ex: geografia, hidrologia). Estes são usados para aprendizado contrastivo.
  • Embeddings Temporais: Retêm informações temporais e servem como entrada para o decodificador de previsão.

2.3 Previsão Baseada em Consulta e Saída Probabilística

• Estratégia Baseada em Consulta (Query-Based): Em vez de um decodificador de alimentação direta (feed-forward) fixo, o LakeFM usa consultas de alvo definidas por pontos específicos de $(t, v, d)$. O decodificador emprega atenção cruzada para recuperar informações relevantes do contexto histórico codificado, permitindo inferência flexível em pontos arbitrários não observados (grades regulares ou irregulares).
• Cabeça Probabilística: Para lidar com ruído de cauda pesada e incerteza comuns em dados ambientais, o modelo retorna parâmetros para uma distribuição Student-$t$ ($\mu, \sigma, \nu$). Crucialmente, os graus de liberdade ($\nu$) são aprendidos dinamicamente, permitindo que o modelo se adapte entre regimes de cauda pesada e gaussianos com base na variável e no contexto específicos.

2.4 Objetivos de Treinamento

O LakeFM é pré-treinado usando uma otimização conjunta de duas perdas:

1. Perda de Previsão Probabilística: Minimiza a log-verossimilhança negativa dos valores reais sob a distribuição Student-$t$ prevista.
2. Perda Contrastiva: Incentiva o modelo a aprender representações estáticas específicas do lago, tratando amostras do mesmo lago como positivas e de lagos diferentes como negativas (formulação InfoNCE).

3. Principais Contribuições

1. Tratamento de Dados Irregulares: O LakeFM é o primeiro modelo de fundação projetado para ingerir séries temporais irregulares, multivariadas e de múltiplas profundidades diretamente, eliminando a necessidade de imputação ou reamostragem para grades regulares.
2. Generalização Zero-Shot: O modelo demonstra desempenho de previsão competitivo ou superior em lagos não vistos (Out-of-Distribution) e variáveis não vistas, aproveitando a transferência de conhecimento entre diversos sistemas lacustres.
3. Consistência Física: O modelo exibe uma adesão emergente às leis físicas (ex: estratificação térmica e lei de Beer-Lambert) sem restrições físicas explícitas na função de perda.
4. Descoberta Científica: Através de experimentos de mascaramento, o LakeFM revela novos insights sobre interações de variáveis e dependências de profundidade, atuando como um motor de descoberta para hipóteses ecológicas.
5. Eficiência: Apesar de lidar com dados irregulares complexos, o LakeFM alcança esses resultados com significativamente menos parâmetros (7M) em comparação com TSFMs de propósito geral.

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados LakeBeD-US (21 lagos) e conjuntos de dados de simulação, comparando-se com Modelos de Fundação de Séries Temporais (Chronos 2, MOMENT, MOIRAI), modelos locais (iTransformer) e modelos de séries temporais irregulares (HyperIMTS, ReIMTS).

• Desempenho de Previsão: O LakeFM alcançou o menor Erro Quadrático Médio (MSE) na maioria dos lagos In-Distribution (ID) e Out-of-Distribution (OOD). Ele superou consistentemente os baselines, particularmente em configurações zero-shot onde outros modelos tiveram dificuldades devido à falta de capacidades de transferência de aprendizado.
• Vantagem Sem Imputação: Em comparações com baselines de séries temporais irregulares, o LakeFM alcançou o melhor ranking médio (1.0 em OOD, 1.27 em ID), confirmando que seus ganhos de desempenho derivam da modelagem direta de irregularidades e não apenas da evasão de pipelines de imputação.
• Consistência Física: Em 100 lagos simulados não vistos, o LakeFM mostrou maior consistência com a Lei de Estratificação Térmica (menores taxas de inversão) e a Lei de Beer-Lambert (maior $R^2$) em comparação ao Chronos 2.
• Análise de Embedding:
  • Embeddings Estáticos: Visualizações t-SNE mostraram que os embeddings estáticos aprendidos naturalmente agruparam lagos por localização geográfica (Estado) e regime hidrológico (ex: drenagem vs. infiltração), apesar de esses metadados não terem sido usados durante o treinamento.
  • Embeddings Dinâmicos: Trajetórias temporais no espaço de embedding alinharam-se com características ecológicas, como estado trófico (oligotrófico vs. eutrófico) e padrões sazonais.
• Estudos de Ablação: A remoção do aprendizado contrastivo, dos graus de liberdade específicos da variável ou dos embeddings de profundidade contínua resultou em degradação significativa do desempenho, validando a necessidade de cada componente.

5. Significância e Alegações

O artigo posiciona o LakeFM como um passo prático em direção à modelagem escalável e generalizável de ecossistemas lacustres. Sua significância reside em:

• Mudança de Paradigma: Afastamento de análises de lago único e variável única e de pipelines dependentes de imputação para um modelo de fundação unificado que compartilha informações através de lagos díspares com diferentes irregularidades.
• Compreensão de Macro-Sistemas: Permitindo o primeiro passo para entender a ecologia de lagos em uma escala de macro-sistema usando dados diversos e heterogêneos.
• Utilidade Científica: A capacidade de lidar com variáveis mascaradas permite que pesquisadores consultem cenários "e se" (ex: prevendo a temperatura sem dados de oxigênio dissolvido), revelando insights sobre interações de variáveis que podem guiar futuras estratégias de coleta de dados.
• Fundação para AI4Science: O trabalho demonstra que modelos de fundação podem ser adaptados a domínios científicos específicos, aprendendo não apenas padrões estatísticos, mas também princípios físicos subjacentes, preenchendo a lacuna entre o aprendizado de máquina baseado em dados e a modelagem científica baseada em processos.

Os autores reconhecem limitações em relação à extrapolação para contextos climáticos significativamente diferentes da distribuição de treinamento (ex: regiões com dinâmicas térmicas/cobertura de gelo diferentes), observando que o modelo depende de dependências estatísticas aprendidas dentro do intervalo de dados observados.