기술 요약: 지구 관측에서 결손 센서에 대한 모델 예측의 강건성 향상

문제 제기

지구 관측 (EO) 을 위한 다중 센서 머신러닝 (ML) 모델은 예측 정확도를 높이기 위해 광학, 레이더, 기상 등 다양한 출처의 데이터를 통합합니다. 그러나 기술적 고장이나 구름 덮임과 같은 광학 영상 방해와 같은 환경적 요인 등으로 인해 실제 배포 시 센서 데이터의 지속성을 보장할 수 없습니다. 기존 문헌은 단일 센서 입력에 초점을 맞춘 시간적 드롭아웃 (temporal dropout) 이나 정적 이미지에 초점을 맞춘 센서 불변 모델과 같은 전략을 통해 결손 데이터를 다루어 왔습니다. 그러나 특정 센서 입력이 사용 불가능할 때 표준 ML 모델이 내재적 강건성이 부족하여 편향되거나 실패한 예측으로 이어지는, 다중 센서 시계열 시나리오 내 결손 센서를 처리하는 데에는 상당한 격차가 존재합니다.

방법론

저자들은 다중 센서 시계열 시나리오에 맞춰 모델의 결손 센서 대응 강건성을 향상시키기 위해 두 가지 새로운 방법을 제안합니다.

1. 입력 센서 드롭아웃 (ISensD)

데이터 증강 기법에 영감을 받아, ISensD 는 훈련 중 입력 수준에서 센서 드롭아웃 (SensD) 메커니즘을 도입합니다.

• 메커니즘: 주어진 샘플에 대해 전체 센서의 입력 특징을 무작위로 마스킹합니다.
• 구현:
  • 표준 SensD: 드롭아웃 비율을 나타내는 하이퍼파라미터 $r$을 사용하며, 센서 특징은 베르누이 분포 ($d_s \sim \text{Bernoulli}(r)$) 에 기반하여 마스킹됩니다.
  • 비율 없음 (NR): 매개변수가 없는 변형으로, 각 배치에서 가능한 모든 결손 센서 조합 ($2^{|S|} - 1$) 중 하나를 무작위로 선택합니다.
• 훈련: 모델은 입력 수준 융합 (input-level fusion) 을 사용하는 표준 다중 센서 융합 아키텍처로 이러한 마스킹된 입력을 기반으로 훈련되며, 파라미터는 기준 진실 (ground truth) 에 대한 손실을 최소화하도록 최적화됩니다.

2. 앙상블 센서 불변 (ESensI)

센서 불변 모델에 영감을 받아, ESensI 는 공유 예측 헤드 (shared prediction head) 를 갖춘 앙상블 아키텍처를 제안합니다.

• 메커니즘: 모델은 각 센서별로 특징을 추출하기 위해 센서 전용 인코더 ($E_{\theta_s}$) 를 사용하지만, 모든 센서에 대해 단일 공유 예측 헤드 ($P_\phi$) 를 활용합니다.
• 센서 인코딩: 모델이 처리 중인 센서 특징을 인식하도록 하기 위해, 공유 헤드 이전의 인코딩된 특징에 학습 가능한 센서 인코딩 벡터 ($\rho_s$) 가 추가됩니다.
• 최적화: 센서별 헤드가 독립적으로 최적화되는 표준 앙상블과 달리, ESensI 는 센서 전용 파라미터와 공유 헤드 파라미터를 공동으로 최적화하여 모델이 센서 간 불변 표현을 학습하도록 강제합니다.

실험 설정

이 방법들은 세 가지 다중 센서 시간적 EO 데이터셋에서 검증되었습니다.

1. CropHarvest (CH): Sentinel-2(광학), Sentinel-1(레이더), ERA5(기상), SRTM(지형) 을 사용한 다중 작물 인식.
2. Live Fuel Moisture Content (LFMC): Landsat-8(광학), Sentinel-1(레이더), 그리고 다양한 정적 환경 센서를 사용한 식생 수분 추정.
3. Particulate Matter 2.5 (PM25): 대기 조건, 역학, 강수 데이터를 사용한 대기질 회귀.

기준선 (Baselines): 제안된 방법들은 네 가지 문헌 기준선과 비교되었습니다.

• Input: 평균 보정을 사용한 표준 입력 수준 융합.
• ITempD: 센서에 맞게 적응된 시간적 드롭아웃을 사용한 입력 융합.
• Feature: 예시 기반 (유사성 검색) 보정을 사용한 특징 수준 융합.
• Ensemble: 결손 센서 예측을 무시한 센서 전용 모델들의 집계.

평가 지표: 강건성을 위한 주요 지표는 결손 센서를 가진 모델과 완전한 센서 가용성을 가진 모델 간의 상대적 예측 오차를 측정하는 성능 강건성 점수 (PRS) 입니다.

주요 결과

• 결손 센서에 대한 강건성: 결손 센서의 비율이 증가함에 따라 ISensD와 ESensI 모두 표준 기준선 (Input, ITempD, Feature) 을 능가하는 현저히 높은 강건성 (높은 PRS 값) 을 보여주었습니다.
• 앙상블의 우위: 불변 헤드가 없는 표준 Ensemble 방법이 전체적으로 가장 강력한 아키텍처로 입증되었으며, 종종 제안된 ESensI 보다 원시 강건성 지표에서 더 나은 성과를 거두었습니다. 그러나 ESensI 는 특정 사례 (예: PM25 데이터셋) 에서 Ensemble 방법을 개선했습니다.
• ISensD 성능: ISensD 방법은 직접적인 기준선 (Input 및 ITempD) 대비 강건성에서 뚜렷한 개선을 보여주었습니다. 매개변수가 없는 "비율 없음 (NR)" 변형은 조정된 비율 버전과 유사한 성능을 보여 실현 가능한 대안임을 시사합니다.
• 완전 센서 성능과의 트레이드오프: 강건성과 완전 센서 정확도 간의 트레이드오프가 중요한 관찰 사항이었습니다. Ensemble 및 ESensI 방법은 결손 센서 시나리오에서 뛰어났지만, 모든 센서가 사용 가능한 경우 표준 Input 방법보다 종종 낮은 예측 성능 (F1/R2) 을 보였습니다. 저자들은 ISensD 가 완전 센서 시나리오에서 Input 기준선보다 더 나쁜 성능을 보였으며, 이는 모델이 훈련 중 결손 데이터 시나리오를 과도하게 우선시할 수 있음을 시사한다고 지적합니다.

중요성 및 주장

이 논문은 센서가 결손될 수 있는 다중 센서 시계열 시나리오에 맞춰 설계된 방법을 제공함으로써 EO 문헌의 중요한 격차를 해소했다고 주장합니다.

• 기여: ISensD 와 ESensI 의 도입은 센서 고장 시 재훈련 없이 모델 강건성을 높이는 실용적인 전략을 제공합니다.
• 겸손한 주장: 저자들은 방법론이 강건성을 향상시키지만 모든 데이터가 존재할 때 예측 정확도를 반드시 극대화하는 것은 아니라고 인정합니다. 그들은 이 강건성의 원천이 완전히 이해되지 않았으며, 모델의 적응성, 특정 센서 정보에 대한 무관심, 또는 특정 예측 작업에 대한 특정 센서 데이터의 본질적 무관심에서 비롯될 수 있다고 명시적으로 언급합니다.
• 향후 작업: 저자들은 이 강건성 메커니즘을 조사하고 결손 센서 복원력과 완전 센서 정확도 간의 트레이드오프를 균형 있게 맞추기 위한 필요성을 확인했습니다.