기술 요약: 미니-JEPA 파운데이션 모델 함대가 에이전트 수문 지능을 가능하게 함

문제 제기

지리공간 파운데이션 모델들은 일반적으로 "범용" 패러다임을 따릅니다: 다양한 다중분광, 레이더 및 대기 데이터를 단일 거대 모델로 학습시켜 보편적인 임베딩 공간을 생성하는 방식입니다. 광범위한 특성화에는 효과적이지만, 수문학과 같은 전문 분야에서는 이 접근법이 세 가지 중요한 한계에 직면합니다:

1. 신호 타협: 단일 임베딩 공간은 서로 다른 물리적 기원을 가진 현상들 (예: 광학 반사율 대 마이크로파 후방 산란) 에 걸쳐 차원을 할당해야 합니다. 이는 종종 특정 수문 작업과 관련된 전문 신호를 과소평가하게 만듭니다.
2. 접근성과 비용: 행성 규모의 모델 (예: Google AlphaEarth) 은 학습 비용이 많이 들고, 자주 오픈소스가 아니며, 막대한 컴퓨팅 자원을 필요로 하므로 많은 연구 그룹이 접근하기 어렵고 감사하거나 확장하기가 힘듭니다.
3. 전문성 부족: 범용 모델은 전문적인 수문 추론에 필요한 미묘한 물리적 신호를 포착하지 못할 수 있으며, 관련 데이터는 종종 특정 센서 모달리티에 존재합니다.

저자들은 단일 모놀리식 모델 대신, 에이전트 라우터에 의해 관리되는 작고 센서 특화적인 모델들의 함대가 수문 지능을 위해 더 효율적이고 해석 가능하며 성능이 뛰어난 대안을 제공할 수 있다고 제안합니다.

방법론

1. 미니-JEPA 함대

핵심 기여는 다섯 개의 미니-JEPA(Joint Embedding Predictive Architecture) 파운데이션 모델 함대입니다.

• 아키텍처: 다섯 개의 모델 모두 동일한 비전 트랜스포머-스몰 (ViT-S) 백본 (12 레이어, 6 어텐션 헤드, 은닉 차원 384) 과 행성 규모 모델인 AlphaEarth 와의 직접적인 비교를 보장하기 위해 64 차원 출력 공간을 공유합니다.
• 학습 레시피: 이들은 I-JEPA 학습 목적 함수와 VICReg 정규화기를 결합하여 사용합니다. 픽셀을 재구성하여 모델이 센서 특이적 노이즈를 학습하도록 강제하는 마스킹 오토인코더 (MAE) 와 달리, JEPA 는 마스킹된 잠재 표현을 예측합니다. 이는 특정 노이즈 프로파일 (예: SAR 스페클 또는 MODIS 스트라이핑) 에 편향되지 않고 동일한 학습 레시피를 서로 다른 센서 모달리티에 적용할 수 있게 합니다.
• 데이터: 각 모델은 2022 년 미국 본토 (CONUS) 전체에 걸쳐 9,704 개의 패치 (128x128 픽셀, 30m 해상도) 를 커버하는 별도의 Google Earth Engine 위성 제품을 기반으로 사전 학습되었습니다. 다섯 가지 모달리티는 다음과 같습니다:
  1. S2-광학: Sentinel-2 표면 반사율 (연간 중앙값).
  2. S1-SAR: Sentinel-1 이중 편파 SAR (VV+VH).
  3. MODIS-열: MODIS 지표면 온도 (주간/야간).
  4. S2-식생계절: 계절적 역학을 포착하는 Sentinel-2 분기별 합성.
  5. 지형 - 토양: SRTM 고도/경사/방위와 SoilGrids 속성의 스택.

2. 평가 프레임워크

저자들은 함대를 세 가지 축을 따라 특성화합니다:

• 차원 수준 해석 가능성: 환경 변수 (예: 토양 수분, 강수량, 온도) 에 임베딩 차원을 매핑하기 위해 스피어만 상관관계와 랜덤 포레스트 순열 중요도를 사용합니다.
• 다양체 기하학: 글로벌 참여 비율 (유효 차원성) 과 로컬 고유 차원성 (k-NN 기반) 을 통해 64 차 임베딩 공간의 기하학적 구조를 분석합니다.
• 상호 보완성: 미니-JEPAs 가 AlphaEarth 가 이미 포착한 정보를 제공하지 않는지 확인하기 위해 정규 상관 분석 (CCA) 과 공동 랜덤 포레스트 회귀를 사용합니다.

3. 에이전트 시스템

함대를 운영화하기 위해 라우팅 에이전트 (LLM) 가 구현되었습니다:

• 참고 카드: 각 미니-JEPA 는 차원 사전, 기하학적 프로파일, 물리적 신호 설명 및 예측 성능 지표를 포함하는 간결한 "참고 카드"로 요약됩니다.
• 라우팅 로직: 자연어 수문 질문이 주어지면, 라우터 LLM 은 이러한 카드를 읽고 특정 미니-JEPAs(선택적으로 AlphaEarth 포함) 를 쿼리하기 위한 구조화된 계획을 생성합니다.
• 검색 및 종합: 선택된 모델들은 FAISS 인덱스에 대해 k-최근접 이웃 검색을 수행합니다. 종합 LLM 은 검색된 컨텍스트를 결합하여 최종 답변을 생성합니다.

주요 결과

1. 센서 물리학이 전문성을 주도함

각 미니-JEPA 는 센서와 물리적으로 일치하는 환경 변수에서 가장 강력한 예측 능력을 보여주었습니다:

• MODIS-열: 연평균 온도에 대해 $R^2 = 0.97$을 달성했습니다.
• 지형 - 토양: 고도에 대해 $R^2 = 0.97$을 달성했습니다.
• S2-식생계절: (식생 반응을 통해) 강수량에 대해 $R^2 = 0.81$을 달성했습니다.
• S1-SAR: 강수량에 대해 $R^2 = 0.62$를 달성했습니다.
• S2-광학: 건조도에 대해 $R^2 = 0.73$을 달성했습니다.
  특히, 함대의 성능 패턴은 단순한 센서 - 변수 조회가 아니라 복잡한 표면 과정 (예: SAR 보다 식생계절이 강수량을 더 잘 예측함) 을 반영했습니다. 모든 모델은 범주형 토지 피복 (NLCD) 에서 어려움을 겪었으며, 이는 모델 실패가 아닌 작업의 한계를 시사합니다.

2. 고유한 다양체 기하학

다섯 개의 모델은 센서 물리학을 반영하는 고유한 기하학적 구조를 가진 임베딩 다양체를 생성했습니다:

• 글로벌 차원성: 8.9(S1-SAR) 에서 20.2(MODIS-열) 까지 다양했습니다.
• 로컬 복잡성: S1-SAR 은 높은 로컬 복잡성 (평균 로컬 $n_{80} \approx 6.0$) 을 보인 반면, MODIS-열은 매끄러운 경사를 따라 온도가 변하는 것과 일치하게 로컬적으로 거의 1 차원 ($n_{80} \approx 2.0$) 이었습니다.
  이는 아키텍처와 레시피를 고정함으로써 센서가 구조적 차이의 주요 동인임을 분리해냈음을 확인시켜 줍니다.

3. AlphaEarth 와의 상호 보완성

• 가산적 가치: Topo-Soil 또는 S2-식생계절을 AlphaEarth 와 결합하면 토양 수분, 건조도 및 강수량에 대해 긍정적인 향상 ($\Delta R^2$ 최대 0.031) 을 가져왔습니다.
• 중복성: AlphaEarth 가 이미 잘 수행한 변수 (온도, 고도) 의 경우, 미니-JEPAs 는 거의 추가적인 이점을 제공하지 않았지만 개별적으로 AlphaEarth 의 성능을 맞출 수 있었습니다.
• 대체: 물리적으로 일치하는 변수에 대해 단일 미니-JEPA(22M 파라미터) 는 행성 규모의 범용 모델을 대체할 수 있었으며, 컴퓨팅의 일부로 비교 가능한 $R^2$ 점수를 달성했습니다.

4. 에이전트 성능

• 라우팅 정확도: 라우터 LLM 은 선별된 40 개의 질문에 대해 기대되는 모달리티에서 100% 히트율을 달성했습니다.
• 응답 품질: "LLM-as-Judge" 평가에서:
  • 집계: 이중 검색 시스템 (AlphaEarth + 함대) 은 광범위한 질문에서의 점수 포화 현상으로 인해 AlphaEarth 단독에 비해 집계적으로 modest 한 향상 ($\Delta \approx +0.021$) 만 보여주었습니다.
  • 단일 모달리티 질문: 물리적 신호가 한 센서에 명확하게 존재하는 질문의 경우, 라우팅된 함대는 AlphaEarth 단독보다 훨씬 더 크게 우세했습니다 (Cohen's $d = 1.10, p = 0.031$).
  • 대체: 라우팅된 함대 단독은 물리적으로 일치하는 질문에서 AlphaEarth 와 비교 가능한 성능을 발휘하여, 범용 모델이 사용할 수 없을 때 독립적인 대안으로의 사용을 검증했습니다.

중요성과 주장

이 논문은 지역적으로 학습된 전문적인 미니-JEPAs가 환경 과학을 위한 행성 규모 파운데이션 모델에 대한 실현 가능하고 상호 보완적인 경로를 제공한다고 주장합니다.

• 민주화: 함대 설계는 진입 장벽을 낮추어 modest 한 컴퓨팅 자원 (단일 워크스테이션 GPU) 을 가진 기관이 맞춤형 환경 임베딩을 구축, 감사 및 확장할 수 있게 합니다.
• 해석 가능성: 센서 물리학별로 모델을 분리함으로써, 범용 임베딩의 "블랙박스" 성격과 달리 특정 예측을 주도하는 물리적 신호에 대해 더 명확한 해석 가능성을 제공합니다.
• 에이전트 유연성: 라우팅 에이전트는 이러한 전문가들을 쿼리의 물리적 요구 사항에 적응하는 기능적 시스템으로 성공적으로 구성하여, 전문 작업에서 범용 모델보다 우월한 성능을 발휘합니다.
• 공존: 저자들은 범용 임베딩과 전문가 함대가 공존하고 에이전트가 질문의 물리학에 기반하여 적절한 도구를 동적으로 선택하는 미래를 envisioned 합니다.

저자들은 CONUS 데이터로 제한됨, 단일 연도 학습 코퍼스, 광범위한 질문에서의 LLM-as-Judge 점수 포화 현상과 같은 한계를 인정하며 겸손하게 남아 있습니다. 향후 연구는 수문 체계 (예: 눈, 건조 지역) 및 시간 규모별 전문화와 학습 도메인 너머의 지리적 일반화를 테스트하는 방향으로 진행되어야 한다고 제안합니다.