Spectroscopy Analysis with Machine Learning Regression for the Quantification of Carbon and Nitrogen Contents in Inceptisol and Oxisol Soil Types: Comparing Different Preprocessing and Validation methods as well as Feature Importance

기술 요약: 토양 탄소 및 질소 정량을 위한 머신러닝 기반 분광 분석

문제 정의
Walkley–Black 및 Kjeldahl법과 같은 전통적인 토양 분석 방법은 탄소(C) 및 질소(N) 함량을 결정하는 데 시간이 많이 소요되고 노동 집약적이며, 유해한 화학 시약을 수반한다. 근적외선(NIR) 분광법은 신속하고 비파괴적인 대안을 제공하지만, 벤치탑 장비에서 휴대용 장치로 전환할 때 분광 해상도, 노이즈, 견고한 데이터 처리의 필요성 등의 과제가 발생한다. 또한, 서로 다른 토양 분류(예: Oxisols 및 Inceptisols) 간의 토양 불균질성은 모델의 일반화에 상당한 영향을 미칠 수 있다. 본 연구는 이러한 특정 브라질 토양 유형에 대해 신뢰할 수 있는 휴대용 NIR 기반 예측 모델을 개발하기 위해, 데이터 제한 및 토양 변동성을 극복하도록 전처리 및 머신러닝(ML) 전략을 최적화하는 문제를 다룬다.

연구 방법론
본 연구는 다양한 지역에서 수집된 153개의 토양 샘플(Oxisol 72개, Inceptisol 81개)을 활용하였다. 분광 데이터는 MyNIR 휴대용 장치를 사용하여 획득하였으며(900–1700 nm 범위), 참조 C 및 N 값은 각각 Walkley–Black 및 Kjeldahl법을 통해 설정되었다.

방법론적 워크플로우는 다음과 같다:

1. 데이터 전처리: 다중 산란 보정(MSC), 표준 정규 변량 변환(SNV), 로그 변환, Savitzky-Golay(SG) 필터링 및 적응형 스펙트럼 트리밍을 포함한 다양한 기법에 대한 체계적인 평가가 수행되었다. 핵심 요소는 불균형한 예측 오차를 가진 샘플을 식별하기 위해 비선형 반복 부분 최소 제곱(NIPLS) 알고리즘과 Huber 손실 함수를 결합한 견고한 이상치 제거 방법을 구현하는 것이었다.
2. 검증 전략: 10-겹 교차 검증(10-fold cross-validation), 하나 빼기 검증(Leave-One-Out, LOO), 그리고 Kennard-Stone 알고리즘을 사용한 홀드아웃(Holdout) 방식의 훈련/테스트 분할을 비교하였다. 통계적 대표성을 보장하기 위해 최적의 분할 비율은 Oxisols의 경우 70/30, Inceptisols의 경우 75/25로 결정되었다.
3. 모델링: 부분 최소 제곱(PLS), 서포트 벡터 회귀(SVR), 릿지 회귀(Ridge Regression), 랜덤 포레스트(RF)를 포함한 여러 회귀 알고리즘을 테스트하였다. 또한, PLS, SVR, Ridge를 기본 추정기로 사용하고 선형 회귀를 메타 모델로 사용하는 스태킹 앙상블 학습(Stacking Ensemble Learning) 모델을 구축하였다.
4. 특성 중요도: 릿지 회귀 계수를 분석하여 예측에 가장 영향력이 큰 파장과 가장 적은 파장을 식별하였다.

주요 결과

• 전처리: Savitzky-Golay 필터와 Huber 기반 이상치 제거의 조합이 모든 시나리오에서 최상의 성능을 나타냈다. SNV 및 MSC와 같은 개별 기법은 이러한 특정 토양 유형에 부적절한 것으로 나타났다.
• 토양 유형별 성능: 토양 유형 간에 뚜렷한 성능 차이가 관찰되었다. Oxisol 모델은 Inceptisol 모델에 비해 우수한 예측 능력을 보여주었다.
  • Oxisols: 데이터 표준화(Pipeline 2)를 적용한 SVR 모델이 두 성분 모두에서 최상의 결과를 얻었다. 탄소의 경우 $R^2 = 0.91$, RMSE = 0.36, RPD = 3.39에 도달하였다. 질소의 경우 $R^2 = 0.89$, RMSE = 0.03, RPD = 3.01을 달성하였다. 이러한 지표는 우수한 예측 능력(RPD > 3.0)을 나타낸다.
  • Inceptisols: 결과는 만족스러웠으나 표현력은 다소 낮았다. 탄소의 경우 스태킹 앙상블(Pipeline 6)이 가장 우수한 성능을 보였으며($R^2 = 0.79$, RPD = 2.16), 질소의 경우 PLS(Pipeline 4)가 최적이었다($R^2 = 0.77$, RPD = 2.11). 낮은 성능은 Oxisol 샘플에 비해 Inceptisol 샘의 C 및 N 함량의 범위가 좁고 변동성이 낮기 때문인 것으로 분석된다.
• 모델 동작: 랜덤 포레스트 모델은 높은 보정(calibration) $R^2$를 보였음에도 불구하고 검증 점수가 현저히 낮아 지속적인 과적합(overfitting) 징후를 보였다. 스태킹 앙상블은 보정 및 검증 세트 전반에서 더 일관된 결과를 제공하였다.
• 특성 분석: 릿지 회귀 분석 결과, 1300–1400 nm 스펙트럼 영역이 C–H 및 N–H/O–H 결합 흡수와 상관관계가 있어 C와 N을 예측하는 데 가장 중요한 영역으로 식별되었다. 반대로, 1600–1700 nm 및 950–1000 nm 영역은 영향력이 가장 적은 것으로 확인되었다.

의의 및 기여
본 논문은 특정 전처리(SG + Huber 이상치 제거) 및 적절한 ML 파이프라인과 결속될 때, 휴대용 NIR 분광법이 토양 C 및 N의 신속한 정량을 위한 실행 가능한 도구가 될 수 있음을 주장한다. 본 연구는 다음을 강조한다:

1. 토양 특이성의 중요성: 모델 성능은 특정 토양 분류 내의 페돌로지(pedological) 특성과 대상 분석물의 자연적 변동성에 의해 크게 좌우된다.
2. 휴대용 데이터의 최적화: 벤치탑 모델에 비해 휴대용 장치의 해상도가 낮음에도 불구하고, 견고한 전처리를 통해 고품질의 예측 모델(Inceptisols의 경우 RPD > 2.0, Oxisols의 경우 > 3.0)을 얻을 수 있다.
3. 실제 적용: 개발된 기술은 유기물 함량, 비옥도 및 영양분 가용성에 관한 농업 생산자와 컨설턴트의 의사결정을 가속화하며, 이는 지속 가능하고 효율적인 분석 방법에 대한 수요와 부합한다.
4. 스펙트럼 통찰: 1300–1400 nm 영역이 예측의 주요 동력임을 식별한 것은, 덜 관련 있는 스펙트럼 밴드를 배제함으로써 더 저렴하고 타겟화된 센서를 개발할 수 있는 경로를 제공한다.

저자들은 이 접근 방식이 유망하지만, 토양 유형의 변동성으로 인해 맞춤형 모델링 전략이 필요하며, 향후 연구는 모델을 더욱 단순화하기 위한 변수 선택 알고리즘에 집중해야 한다고 결론지었다.