기술 요약: LakeFM: 수생 생태계를 위한 파운데이션 모델을 향하여

1. 문제 정의

내륙 수역의 건강성을 모니터링하는 것은 지속 가능한 담수 관리를 위해 매우 중요하지만, 생태학적 데이터의 특성으로 인해 호수 역학을 모델링하는 데는 상당한 어려움이 따릅니다. 기존의 생태 시계열 데이터에 대한 머신러닝 접근 방식은 일반적으로 시간과 깊이 모두에서 규칙적인 샘사플링을 가정합니다. 그러나 실제 호수 모니터링 데이터는 다음과 같은 특징을 가집니다:

• 불규칙성(Irregularity): 매우 가변적인 샘플링 빈도(일 단위에서 월 단위까지)와 결측치(LakeBeD-US와 같은 데이터셋에서 평균 60~70%의 희소성)가 존재합니다.
• 이질성(Heterogeneity): 다양한 변수 세트, 상이한 깊이 해상도, 그리고 서로 다른 호수 간의 일관되지 않은 관측 패턴을 가집니다.
• 확장성 문제(Scalability Issues): Chronos 2나 MOMENT와 같은 기존 시계열 파운데이션 모델(TSFM)은 대개 깨끗하고 조밀하게 샘플링된 단변량 데이터를 가정하므로, 수생 과학의 희소하고 다변량이며 다중 깊이를 가진 데이터를 처리하기에는 부적합합니다. 또한, 기존 모델들은 광범위한 미세 조정(fine-tuning) 없이 서로 다른 물리적, 생물지화학적 특성을 가진 호수들로 일반화하는 데 어려움을 겪는 경우가 많습니다.

핵가 핵심적으로 해결하고자 하는 문제는, 외부 임퓨테이션(imputation, 결측치 보간)에 의존하지 않으면서도 불규칙하고 다변량이며 다중 깊이를 가진 시계열 데이터를 처리하며, 광범위한 호수 집단 전반에서 일반적인 호수 프로세스를 학습할 수 있는 파운데이션 모델의 부재입니다.

LakeFM의 아키텍처는 데이터를 고정된 그리드가 아닌 이벤트의 시퀀스로 취급하여 불규칙한 그리드에서 작동하도록 설계되었습니다.

2. 방법론: LakeFM 아키텍처

LakeFM은 21개의 실제 호수(LakeBeD-US)에서 추출한 150만 개 이상의 샘플과 1,000개 이상의 다양한 프로세스 기반 시뮬레이션(WQHanson 및 FCR 시뮬레이션)으로 구성된 대규모 데이터셋으로 사전 학습되었습니다.

2.1 입력 토큰화 및 임베딩

그리드 기반 접근 방식과 달리, LakeFM은 모든 개별 측정치를 별도의 이벤트(토큰)로 토큰화합니다.

• 토큰 정의: 각 관측치는 절대 타임스탬프, 변수 식별자, 연속적 깊이, 스칼라 값으로 구성된 튜플 $(t_k, v_k, d_k, x_k)$를 나타냅니다.
• 임베딩 전략: 네 가지 구성 요소를 결합하여 복합 임베딩을 구축합니다:
  • 시간 임베딩(Time Embedding): 연속적인 시간을 위한 사인 함수 기반 위치 인코딩(Sinusoidal positional encodings).
  • 깊이 임베딩(Depth Embedding): 연속적인 깊이 값을 처리하기 위한 푸리에 특징 인코딩(Fourier feature encoding)으로, 모델이 수직 구배를 학습할 수 있게 합니다.
  • 변수 임베딩(Variate Embedding): 범주형 변수 ID를 위한 학습 가능한 룩업(Lookup).
  • 값 임베딩(Value Embedding): 스칼라 측정값을 위한 SwiGLU 스타일의 게이트 투영(Gated projection).
• 시퀀스 형성: 토큰은 변수 ID, 그다음 깊이, 마지막으로 절대 시간 순으로 정렬되어 입력 시퀀스를 형성합니다.

2.2 인코더 및 특징 분리(Feature Disentanglement)

인코더는 과학적 데이터를 위해 특정 수정이 가해진 트랜스포머 블록 스택을 사용합니다:

• 회전 위치 임베딩(Rotary Position Embeddings, RoPE): 상대적 시간 의존성을 모델링하는 데 사용됩니다.
• 구조적 어텐션 바이어스(Structured Attention Bias): 어텐션 로짓(logits)에 학습 가능한 가산 바이어스를 도입하여, 변수 내 역학(intra-variate, 단일 변수의 시간적 역학)과 변수 간 역학(inter-variate, 서로 다른 변수 간의 상관관계)의 상호작용을 구분합니다.
• 정적 vs 동적 분리(Static vs. Dynamic Disentanglement): 모델은 표현 공간을 두 개의 병렬 서브스페이스로 분리합니다:
  • 정적 임베딩(Static Embeddings): 평균 풀링을 통해 집계되며, 시간 불변적인 호수 특성(예: 지리, 수문)을 포착합니다. 이는 대조 학습(contrastive learning)에 사용됩니다.
  • 동적 임베딩(Temporal Embeddings): 시간 정보를 유지하며 예측 디코더의 입력 역할을 합니다.

2.3 쿼리 기반 예측 및 확률적 출력

• 쿼리 기반 전략: 고정된 피드포워드 디코더 대신, LakeFM은 특정 $(t, v, d)$ 지점으로 정의된 타겟 쿼리를 사용합니다. 디코더는 크로스 어텐션(cross-attention)을 사용하여 인코딩된 과거 맥락으로부터 관련 정보를 검색함으로써, 임의의 관찰되지 않은 지점(정규 또는 불규칙 그리드)에서 유연한 추론을 가능하게 합니다.
• 확률적 헤드(Probabilistic Head): 환경 데이터에서 흔히 발생하는 헤비 테일(heavy-tailed) 노이즈와 불확실성을 처리하기 위해, 모델은 Student-$t$ 분포의 파라미터($\mu, \sigma, \nu$)를 출력합니다. 결정적으로, 자유도($\nu$)가 동적으로 학습되어 모델이 특정 변수와 맥락에 따라 헤비 테일 분포와 가우시안 분포 사이를 적응적으로 전환할 수 있게 합니다.

2.4 학습 목표

LakeFM은 두 가지 손실 함수의 공동 최적화를 통해 사전 학습됩니다:

1. 확률적 예측 손실(Probabilistic Forecasting Loss): 예측된 Student-$t$ 분포 하에서의 실제 값에 대한 음의 로그 가능도(negative log-likelihood)를 최소화합니다.
2. 대조 손실(Contrastive Loss): 동일한 호수에서 나온 샘플을 양성(positive)으로, 서로 다른 호수를 음성(negative)으로 취급하여 호수 특유의 정적 표현을 학습하도록 유도합니다 (InfoNCE 공식 활용).

3. 주요 기여

1. 불규칙 데이터 처리: LakeFM은 임퓨테이션이나 정규 그리드로의 리샘플링 없이 불규칙한 다변량 다중 깊이 시계열 데이터를 직접 입력받도록 설계된 최초의 파운데이션 모델입니다.
2. 제로샷 일반화(Zero-Shot Generalization): 모델은 다양한 호수 시스템 전반의 지식 전이를 활용하여, 보지 못한 호수(Out-of-Distribution) 및 보지 못한 변수에 대해 경쟁력 있거나 우수한 예측 성능을 보여줍니다.
3. 물리적 일관성: 모델은 명시적인 물리적 제약 조건이 손실 함수에 없음에도 불구하고, 물리 법칙(예: 열적 성층화 및 비어-람베르트 법칙)에 대한 창발적 준수를 보여줍니다.
4. 과학적 발견: 마스킹 실험을 통해, LakeFM은 변수 간 상호작용 및 깊이 의존성에 대한 새로운 통찰력을 드러내며 생태학적 가설을 위한 발견 엔진 역할을 수행합니다.
5. 효율성: 복잡한 불규칙 데이터를 처리함에도 불구하고, LakeFM은 일반 목적의 TSFM에 비해 훨씬 적은 파라미터(7M)로 이러한 결과를 달성합니다.

4. 실험 결과

모델은 LakeBeD-US 데이터셋(21개 호수)과 시뮬레이션 데이터셋을 통해 시계열 파운데이션 모델(Chronos 2, MOMENT, MOIRAI), 로컬 모델(iTransformer), 그리고 불규칙 시계열 모델(HyperIMTS, ReIMTS)과 비교 평가되었습니다.

• 예측 성능: LakeFM은 대부분의 분포 내(In-Distribution, ID) 및 분포 외(Out-of-Distribution, OOD) 호수에서 가장 낮은 평균 제곱 오차(MSE)를 기록했습니다. 특히 전이 학습 능력이 부족하여 어려움을 겪었던 제로샷 설정에서 베이스라인들을 지속적으로 압도했습니다.
• 임퓨테이션 프리(Imputation-Free)의 이점: 불규칙 시계열 베이스라인들과의 비교에서, LakeFM은 평균 순위(OOD에서 1.0, ID에서 1.27)에서 가장 우수한 성적을 거두었으며, 이는 성능 향상이 단순히 임퓨테이션 파이프라인을 피했기 때문이 아니라 불규칙성을 직접 모델링했기 때문임을 확인시켜 줍니다.
• 물리적 일관성: 100개의 미지의 시뮬레이션 호수에 대해, LakeFM은 Chronos 2보다 열적 성층화 법칙(낮은 역전율) 및 비어-람베르트 법칙(높은 $R^2$)에 대해 더 높은 일관성을 보였습니다.
• 임베딩 분석:
  • 정적 임베딩: t-SNE 시각화를 통해, 학습된 정적 임베딩이 훈련 중에 메타데이터를 사용하지 않았음에도 불구하고 지리적 위치(주/State) 및 수문 체계(예: 배수 또는 침출)에 따라 자연스럽게 호수를 클러스터링함을 보여주었습니다.
  • 동적 임베딩: 임베딩 공간에서의 시간적 궤적은 영양 상태(빈영양 vs 부영양) 및 계절적 패턴과 같은 생태학적 특성과 일치했습니다.
• 절제 연구(Ablation Studies): 대조 학습, 변수별 자유도, 또는 연속 깊이 임베딩을 제거했을 때 성능이 크게 저하되었으며, 이는 각 구성 요소의 필요성을 입증합니다.

5. 의의 및 주장

본 논문은 LakeFM을 확장 가능하고 일반화 가능한 호수 생태계 모델링을 향한 실질적인 단계로 규정합니다. 그 의의는 다음과 같습니다:

• 패러다임 전환: 단일 호수, 단일 변수 분석 및 임퓨테이션 의존적 파이프라인에서 벗어나, 다양한 불규칙성을 가진 서로 다른 호수 간의 정보를 공유하는 통합된 파운데이션 모델로 나아갑니다.
• 거시 시스템 이해: 다양하고 이질적인 데이터를 사용하여 거시 시스템 규모에서 호수 생태학을 이해하기 위한 첫 걸음을 가능하게 합니다.
• 과학적 유용성: 마스킹된 변수를 처리하는 능력은 연구자들이 "만약 ~라면(what-if)" 시나리오(예: 용존 산소 데이터 없이 온도를 예측)를 쿼리할 수 있게 하여, 미래의 데이터 수집 전략을 안내할 수 있는 변수 간 상호작용에 대한 통찰력을 제공합니다.
• AI4Science의 기초: 파운데이션 모델이 단순한 통계적 패턴뿐만 아니라 근저에 깔린 물리적 원리까지 학습할 수 있음을 보여줌으로써, 데이터 기반 ML과 프로세스 기반 과학 모델링 사이의 간극을 메우고 특정 과학 도메인에 맞춤화될 수 있음을 입증합니다.

저자들은 훈련 분포와 크게 다른 기후적 맥락(예: 다른 열적/빙하 피복 역학을 가진 지역)으로의 외삽(extrapolation)에 관한 한계를 인정하며, 모델이 관찰된 데이터 범위 내의 학습된 통계적 의존성에 의존한다는 점을 명시했습니다.