Intercomparison of Machine Learning Algorithms for Remote Sensing-based In-season Crop Mapping

기술 요약: 원격 탐사 기반의 시즌 중 작물 매핑을 위한 머신러닝 알고리즘 간 비교 연구

문제 정의
기후 변화로 인해 농작물 수확량을 위협하는 극한 기상 현상의 빈도가 증가함에 따라, 시즌 중(in-season) 작물 매핑은 식량 안보 측면에서 매우 중요합니다. USDA의 크롭랜드 데이터 레이어(CDL)는 고해외도(30m) 작물 유형 지도를 제공하지만, 이는 수확 후(통상 이듬해 2월)에만 이용 가능하므로 성장 시즌 동안의 실시간 비상 관리나 수확량 예측에는 활용할 수 없습니다. 기존의 시즌 중 매핑 연구들은 여러 해의 미학습 데이터를 통한 엄격한 평가가 부족하거나, 표준화된 조건 하에서 다양한 알고리즘을 체계적으로 비교하지 못하는 경우가 많습니다. 결과적으로, 기상, 생육 단계(phenology), 농업 의사 결정의 연간 변동성을 고려하여 어떤 머신러เรียน(ML) 알고리즘이 미학습 연도에 가장 잘 일반화되는지에 대한 이해에 공백이 존재합니다.

연구 방법론
본 연구는 두 가지 특정 작물 유형인 아이오와주의 옥수수와 캘리포니아주의 아몬드를 매핑하기 위해 10개의 머신러닝 알고리즘에 대한 체계적인 상호 비교를 수행했습니다. 연구에는 다음의 데이터와 처리 파이프라인이 사용되었습니다:

• 데이터 소스: 조화된 Landsat-Sentinel(HLS) 표면 반사율 시계열 데이터(30m 해상도) 및 작물 윤작 이력을 위한 역사적 CDL 데이터.
• 연구 지역: 두 개의 100km x 100km 지역: 캘리포니아주 새크라멘토(아몬드) 및 아이오와주 에임스(옥수수).
• 특성 공학(Feature Engineering): 구름, 그림자, 눈을 제거하기 위해 HLS 데이터를 필터링한 후, 5일 및 14일 주기로 시간적 합성(temporal compositing)을 수행했습니다. 특성에는 분광 반사율(Blue, Green, Red, NIR, SWIR1, SWIR2)과 불리언(Boolean) 형태의 작물 윤작 이력(직전 4년간 대상 작물의 존재 여부)이 포함되었습니다.
• 알고리즘: Random Forest (RF), Extra Trees (ET), Logistic Regression (LR), Linear Support Vector Machine (LS), Nonlinear Support Vector Machine (SV), Gaussian Naïve Bayes (NB), K Nearest Neighbors (KN), Neural Network Multilayer Perceptron (NP), Principal Components K Nearest Neighbors (PK), Principal Components Logistic Regression (PL) 등 10개의 알고리즘을 평가했습니다.
• 하이퍼파라미터 최적화: 각 알고리즘에 대해 그리드 서치(grid search)를 수행하였으며, 그 결과 791개의 고유한 하이퍼파라미터 구성을 도출했습니다.
• 검증 체계: 2018~2022년 데이터를 사용하여 견고한 연도별 5-겹 교차 검증(year-wise 5-fold cross-validation)을 채택했습니다. 각 폴드(fold)에서 모델은 4개년의 데이터로 학습되고 나머지 미학습 1개년의 데이터로 검증되었습니다. 이 접근 방식은 연간 변동성에 따른 불확실성을 정량화했습니다.
• 지표: 정밀도(Precision), 재현율(Recall), 그리고 주요 지표인 F1 점수(F1 score)를 통해 성능을 평가했습니다.
• 규모: 약 9,492개의 모델 구성이 실행되었습니다. 초기 스크리닝에는 데이터의 0.1% 무작위 샘플을 사용하였고, 상위 구성들은 결과를 확인하기 위해 배깅(bagging) 방식을 통해 100%의 데이터를 사용하여 재평가되었습니다.

주요 기여

1. 체계적 상호 비교: 본 연구는 동일한 데이터셋, 전처리 단계 및 검증 프로토콜을 사용하여 10개의 다양한 ML 알고리즘을 공정하고 표준화된 방식으로 비교함으로써, 기존 문헌의 비교 가능성 결여 문제를 해결했습니다.
2. 견고한 불확실성 정량화: 5개년의 미학습 데이터를 통한 검증을 통해, 단일 연도 평가가 포착하지 못할 수 있는 연간 변동성을 넘어 운영 환경에서 기대되는 성능 범위를 정량화했습니다.
3. 하이퍼파라미터-생육 단계 연결: 본 연구는 특정 하이퍼파라미터 설정이 작물의 생육 단계 및 분포의 연간 변동성과 어떻게 상호작용하는지 조사하여, 특정 모델이 특정 해에 왜 성공하는지에 대한 통찰을 제공합니다.

결과

• 알고리즘 성능: 서포트 벡터 머신(선형 및 비선형 모두)이 전반적으로 가장 성공적인 알고리즘으로 나타났습니다.
  • 캘리포니아 아몬드 (6월 초): 로지스틱 회귀와 선형 SVM이 0.74(표준 오차 ~0.15)의 가장 높은 평균 F1 점수를 달성했습니다. 비선형 SVM, K Nearest Neighbors, Random Forest 또한 우수한 성능(F1 > 0.71)을 보였습니다.
  • 아이오와 옥수수 (6월 초): 선형 및 비선형 SVM이 0.59의 평균 F1 점수로 공동 1위를 차지했습니다. 옥수수와 대두 사이의 표현형 유사성 및 빈번한 윤작 관계로 인해 전반적인 성능은 아몬드보다 낮았습니다.
• 시즌 초반 vs 시즌 종료: 6월 초까지만 가용한 데이터로 제한된 모델은 전체 연도 데이터로 학습된 모델과 성능 차이가 0.01 이내였습니다. 이는 초기 시즌의 반사율과 작물 윤작 이력을 결합하는 것만으로도 정확한 매핑이 충분히 가능하다는 것을 시사합니다.
• 학습 데이터 크기: 사용 가능한 데이터의 0.1%만으로 학습했을 때의 성능은 100%를 사용했을 때와 통계적으로 차이가 없었으며, 이는 이러한 작업에 공간적으로 대표성 있는 샘플링이 충분함을 나타냅니다.
• 연간 변동성: 검증 연도에 따라 성능의 상당한 차이가 관찰되었습니다. 예를 들어, 최적의 아몬드 모델의 F1 점수는 5개년 동안 0.47에서 0.88까지 변동했습니다. 아몬드 재배 면적이 3배 증가했던 2020년에는 작물 윤작 패턴의 역사적 연속성 부족으로 인해 모델들이 어려움을 겪었습니다.
• 하이퍼파라미터 민감도: 최적의 하이퍼파라미터는 연도별로 크게 달랐습니다. 예를 들어, K Nearest Neighbors에서 최적의 거리 측정 방식(Manhattan vs. Chebyshev)과 이웃 수($K$)는 해당 연도의 특정 작물 윤작 프로필에 크게 의존했습니다.

의의 및 주장
본 논문은 실무자(농업인, 비상 관리자, 정책 입안자)에게 불확실성이 정량화된 견고한 시즌 중 작물 매핑 성능에 대한 기대치를 제공한다는 점에서 주요한 의의를 가집니다. 다양한 조건에서 서포트 벡터 머신이 가장 신뢰할 수 있는 알고리즘임을 입증함으로써, 본 연구는 향후 운영 시스템을 위한 구체적인 권고안을 제시합니다. 저자들은 단일 모델 구성이 모든 해에 완벽할 수는 없지만, 식별된 최적의 관행(예: SVM 사용, 작물 윤작 이력 활용, 초기 시즌 데이터 수용)이 실시간 의사 결정을 위한 강력한 토대를 제공한다고 강조합니다. 본 연구는 향-후 개선이 앙상블 접근법과 특이한 작물 분포가 발생하는 해를 예측하기 위한 부가 데이터(예: 기상, 경제적 동인)의 통합을 통해 이루어질 수 있다고 결론짓습니다.