Predicting Viticulture Potential through an Ensemble of U-Net and a Geospatial Foundation Model

기술 요약: U-Net과 지형 공간 파운데이션 모델의 앙상블을 통한 포도 재배 잠재력 예측

문제 정의
본 논문은 원격 탐사 데이터를 사용하여 농업 적합성, 특히 포도 재배 적합성을 예측하는 과제를 다룹니다. 토지 적합성을 결정하는 전통적인 방법은 비용과 시간이 많이 드는 물리적 조사를 포함하며, 변화하는 환경 조건과 기후 변화를 반영하기 위해 빈번한 재평가가 필요합니다. 저자들은 ImageCLEF AI4Agri 2026: Subtask 1에 초점을 맞추었으며, 이는 Sentinel-2 다중 분광 이미지를 분류하기 위해 AgriPotential 데이터셋을 활용합니다. 목표는 프랑스 남부 지역의 포도 재배를 위한 픽셀 단위 농업 적합성 점수(15점)를 할당하는 것입니다. 이 데이터셋은 높은 비율의 미라벨링 픽셀(모든 분할에서 약 50%), 대규모 데이터 볼륨(200GB), 그리고 34개 타임 스텝(2017–2019)에 걸친 시계열 역학을 모델링해야 하는 특수한 과제를 안고 있습니다.

방법론
DS@GT ARC 팀은 독립적으로 학습된 후 추론 시 결합되는 두 가지 서로 다른 딥러닝 모델의 가중 앙상블을 제안했습니다.

1. U-Net 아키텍처 (시계열 스태킹):

   • 입력 전략: 명시적인 시계열 모델링 대신, 저자들은 34개 타임 스텝과 15개 채널(10개의 원본 Sentinel-2 밴드 + NDVI, NDMI, NDWI, NDRE, NBR을 포함한 5개의 분광 지수)을 하나의 입력 텐서인 $34 \times 15 = 510$ 채널로 취급했습니다.
   • 아키텍처: 잔차 연결(residual connections)이 확장된 표준 U-Net을 사용하였으며, 기본 채널 차원은 128, 깊이는 3입니다.
   • 손실 함수: 모델은 적합성 클래스의 순서적 특성(1–5)을 고려하는 **이진 교차 엔트로피 서수 손실(binary cross-entropy ordinal loss)**을 채택했습니다. 미라벨링 픽셀은 손실 계산에서 제외됩니다.
   • 출력: 단일 채널 출력을 4개의 학습 가능한 임계값(softplus 변환된 값의 누적 합)을 가진 서수 레이어(ordinal layer)로 전달하여 이진 결정 경계를 생성합니다.

2. Prithvi-EO-2.0 파운데이션 모델 (계절적 집계):

   • 입력 전략: Prithvi-EO-2.0 모델의 사전 학습 구성에 맞추기 위해, 34개 타임 스텝을 4개의 계절 평균으로 집계했습니다. Prithvi의 사전 학습에 사용된 6개 분광 밴드(Blue, Green, Red, NIR, SWIR-1, SWIR-2)만을 활용했습니다.
   • 아키텍처: 모델은 Feature Pyramid Neck과 UperNet 디코더를 갖춘 prithvi_eo_v2_100_tl 백본(파라미터 1억 개)을 미세 조정합니다. 여기에는 시간 및 위치 좌표 인코딩이 포함됩니다.
   • 학습 전략: 첫 7 에포크 동안 인코더를 동결했습니다. 모델은 교사-학생 의사 라벨링(teacher-student pseudo-labeling) 방식을 활용합니다. 학습된 U-Net이 고정된 교사 역할을 하여, 신뢰도가 0.7을 초과하는 미라벨링 픽셀에 대해 의사 라벨을 생성합니다. 이 라벨들은 가중치 $\lambda=0.3$와 함께 학생 모델의 손실에 포함됩니다.
   • 초기화: 안정적인 수렴을 보장하기 위해 서수 임계값(ordinal thresholds)을 학습된 U-Net 값으로부터 초기화했습니다.

3. 앙상블 전략:

   • 최종 예측은 가중 로그릿 앙상블입니다: $z = 0.65 \cdot z_{\text{U-Net}} + 0.35 \cdot z_{\text{Prithvi}}$.
   • 데이터 증강: 검증 세트와 테스트 세트 간의 일반화 격차를 줄이기 위해 회전(rotations)과 뒤집기(flips)를 적용했습니다.
   • 정규화: U-Net은 10,000으로 나누는 방식을 사용한 반면, Prithvi는 사전 학습 분포와의 일관성을 유지하기 위해 데이터셋 분할별로 Z-score 정규화를 사용했습니다.

주요 결과

• 성능: 앙상블은 **테스트 $\pm 1$ 정확도 68.32%**를 달성하여 퍼블릭 리더보드에서 7개 팀 중 2위를 차지했습니다.
• 모델 비교: 앙상블은 개별 구성 요소보다 우수한 성능을 보였습니다:
  • U-Net: 66.25%
  • Prithvi: 65.51%
  • 기타 트랜스포머 아키텍처(TSViT, U-TAE, Swin-V2, Presto)는 더 낮은 테스트 정확도(49% ~ 64% 범위)를 기록했습니다.
• 관찰 사항:
  • U-Net은 더 노이즈가 많은 예측을 생성했으나 미세한 공간적 패턴을 포착했습니다.
  • Prithvi는 더 부드럽고 공간적으로 일관된 출력을 생성했으나 복잡한 경계 처리에 어려움을 겪었습니다.
  • 모든 모델에서 검증 세트와 테스트 세트 사이의 일관된 **일반화 격차(generalization gap)**가 관찰되었으며, 이는 잠재적인 훈련-테스트 분포 변화 또는 과적합을 시사합니다.

주요 기여 및 주장

• 앙상블의 효용성: 본 논문의 주요 기여는 합성곱 접근 방식(타임 스택 채널을 사용하는 U-Net)과 지형 공간 파운데이션 모델(계절적 집계를 사용하는 Prithvi)을 결합하는 것이 단일 모델이나 다른 복잡한 시계열 아키텍처보다 우수한 성능을 낸다는 것을 입증한 것입니다.
• 시계열 모델링 통찰: 명시적인 시계열 모델링(예: Transformer)이 최선의 결과를 낼 것이라는 초기 가설과 달리, 본 논문은 타임 프레임을 입력 채널로 스태킹하는 것(각 타임 프레임을 동일 픽셀에 대한 별개의 관측치로 취급)이 이 특정 작업에 더 효과적이라고 주장합니다. 저자들은 이 맥-상에서 시맨틱 세그멘테이션이 각 타임 프레임에 대해서가 아니라 타임 프레임 전체에 걸쳐 수행된다고 제안합니다.
• 파운데이션 모델 적응: 본 연구는 계절적 집계와 준지도 학습 기반의 의사 라벨링을 사용하여 대규모 지형 공간 파운데이션 모델(Prithvi-EO-2.0)을 특정 농업 작업에 적응시키는 것의 생존 가능성을 보여줍니다.
• 준지도 학습: 본 논문은 미라벨링 데이터를 처리하기 위해 U-Net을 교사로 사용하여 미라벨링 픽셀에 대한 의사 라벨을 생성함으로써 Prithvi 학생 모델에 규제 효과를 제공하는 유용성을 강조합니다.

의의
본 논문은 다중 시계열 위성 영상을 활용하여 포도 재배 잠재력을 예측하는 고성능의 실용적인 접근 방식을 제시합니다. 이는 복잡한 시계열 아키텍처가 항상 시계열 원격 탐사 작업을 위해 필수적인 것은 아니라는 가설에 도전하며, 고정된 타임 프레임 세그멘테이션의 경우 채널 스태킹이 강력한 베이스라인이 될 수 있음을 시사합니다. 또한, 검증 세트와 테스트 세트 간의 분포 변화가 여전히 중요한 과제로 남아 있는 원격 탐사 응용 분야에서 일반화 격차를 해결하는 것의 중요성을 강조합니다. 추가 연구를 지원하기 위해 구현체는 공개적으로 제공됩니다.