On What Depends the Robustness of Multi-source Models to Missing Data in Earth Observation?

기술 요약: 지구 관측에서 누락된 데이터에 대한 다중 소스 모델의 견고성은 무엇에 의존하는가?

문제 제기
지구 관측 (EO) 에서 다중 소스 모델은 예측 정확도를 높이기 위해 다양한 데이터 스트림 (예: 광학, 레이더, 기상, 지형) 을 활용합니다. 그러나 이러한 모델은 종종 치명적인 취약점을 겪습니다. 즉, 추론 시 모든 데이터 소스의 가용성을 전제로 한다는 점입니다. 실제 세계 시나리오에서는 구름 가림, 센서 고장 (예: Landsat 7 SLC-off), 또는 위성의 운영 중단과 같은 요인으로 인해 데이터 손실이 내재되어 있습니다. 최근 문헌에서는 누락된 데이터를 처리하도록 설계된 견고한 다중 소스 모델을 소개했지만, 다양한 누락 데이터 시나리오에서 일부 모델이 다른 모델보다 우수한 성능을 보이는 이유를 결정하는 구체적인 요인들은 여전히 잘 이해되지 않고 있습니다. 기존 연구들은 소스별 누락 데이터의 맥락에서 작업의 성격, 데이터 소스의 보완성, 그리고 모델 아키텍처 간의 상호작용을 충분히 평가하지 못했습니다.

방법론
저자들은 정적 (단일 날짜) 및 시간적 데이터 소스를 포함하는 세 가지 서로 다른 EO 분류 작업을 통해 최신 다중 소스 모델 여섯 개에 대한 포괄적인 평가를 수행했습니다.

• 데이터셋:
  • CropH-b 및 CropH-m: 다중 분광 광학 위성 이미지 시계열 (SITS), 레이더 SITS, 기상 시계열, 그리고 지형 정보를 포함한 네 가지 소스를 사용한 이진 및 다중 클래스 작물 인식 작업.
  • TreeSatAI-TS: 광학 SITS, 레이더 SITS, 그리고 고해상도 단일 날짜 항공 이미지를 사용한 다중 레이블 수종 분류.
• 평가된 모델:
  • ISensD: 센서 드롭아웃 (누락된 특징을 0 으로 대체) 을 사용하는 입력 수준 융합.
  • FSensD: 교차 주의 (cross-attention) 와 센서 드롭아웃 (누락된 특징을 마스킹) 을 사용하는 특징 수준 융합.
  • OOD-f: 모든 소스별 누락 사례를 시뮬레이션하는 연결 (concatenation) 을 사용하는 특징 수준 융합.
  • TIMML: 소스별 보조 예측 손실과 함께 교차 주의 및 센서 드롭아웃을 사용하는 특징 수준 융합.
  • ESensI: 소스별 레이어에서 공유 예측 헤드를 사용하는 앙상블 기반 모델.
  • Co-Ens: 소스별 예측에서 유사성 제약을 사용하는 앙상블 기반 모델.
• 실험 설계:
  • 모델들은 완전 데이터 시나리오에서 훈련되었습니다.
  • 검증은 두 가지 주요 누락 데이터 조건 하에서 수행되었습니다: (1) 단일 소스 누락 (다른 소스들은 유지된 채 하나의 소스 제거) 및 (2) 단일 소스 가용 (예측을 위해 하나의 소스만 제공).
  • 성능은 가중치 F1 점수를 사용하여 측정되었습니다.
  • 특정 소스가 누락되었을 때의 상대적인 성능 하락을 정량화하기 위해 보완성 점수가 계산되었으며, 이는 $(P_A - P_{m(s)}) / P_{m(s)}$로 정의됩니다. 여기서 $P_A$는 모든 소스가 있을 때의 성능이고 $P_{m(s)}$는 소스 $s$가 누락되었을 때의 성능입니다.

주요 결과
평가 결과, 다중 소스 모델의 견고성은 균일하지 않으며 세 가지 복잡한 요인에 의존한다는 것이 밝혀졌습니다.

1. 예측 작업의 성격: 데이터 소스의 유용성은 작업에 따라 다릅니다. 예를 들어, 기상 시계열은 다중 클래스 작물 유형 식별보다는 이진 작물 분류에 더 효과적이었던 반면, 레이더 SITS 는 특정 작물 유형을 구별하는 데 더 차별화되었습니다.
2. 데이터 소스 보완성: 데이터 소스의 높은 개별 성능이 높은 보완성을 보장하지는 않습니다. 일부 경우 (예: CropH-b 에서의 OOD-f 모델) 에는 단일 소스 성능이 낮음에도 불구하고 기상 데이터가 광학 데이터보다 더 높은 보완성 점수를 보였습니다. 반면, 수종 분류에서는 고해상도 항공 데이터가 최상위 단일 소스 수행자가 아니었음에도 불구하고 가장 높은 보완성을 제공했습니다.
3. 모델 설계:
   • 누락된 소스 시나리오: OOD-f 및 TIMML과 같은 모델은 단일 데이터 소스가 누락되었을 때 우수한 견고성을 보여주었습니다.
   • 단일 소스 시나리오: ESensI 및 Co-Ens와 같은 모델은 예측을 위해 단일 데이터 소스만 사용 가능한 경우 더 잘 수행되었습니다.
   • 반직관적 발견: 연구는 데이터 소스를 제거하는 것이 예측 성능을 향상시킨 사례를 관찰했습니다. 예를 들어, TreeSatAI-TS 데이터셋에서 ESensI 및 Co-Ens 모델을 사용하여 레이더 SITS 만을 사용하는 것이 완전 데이터 구성보다 더 나은 성능을 보였습니다. 마찬가지로, 기상 데이터는 CropH-m 다중 클래스 작업에서 TIMML, ESensI, 그리고 Co-Ens 의 성능을 저하시켰습니다.

의의 및 주장
본 논문은 지구 관측에서 다중 소스 모델의 견고성을 지배하는 요인에 대한 구조화된 이해를 제공한다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다.

• 견고성은 맥락에 의존한다: 단일 모델 아키텍처가 모든 누락 데이터 시나리오에 대해 보편적으로 효과적이지는 않으며, 최적의 선택은 특정 작업과 데이터 특성에 따라 달라집니다.
• 더 많은 데이터가 항상 좋은 것은 아니다: 사용 가능한 모든 데이터 소스를 통합하는 것이 항상 유익하다는 가정이 도전받았습니다. 이 연구는 특정 데이터 소스가 노이즈나 중복성을 도입하여 제외되었을 때 더 나은 성능을 초래할 수 있음을 보여줍니다.
• 전문화가 필요하다: 배포 시나리오가 단일 데이터 소스만을 예상하는 경우, 해당 특정 시나리오에 특화된 모델을 훈련시키는 것이 단일 소스 조건에서 신뢰할 수 없는 일반 견고 다중 소스 모델에 의존하는 것보다 더 효과적입니다.

저자들은 이러한 발견들이 설명 가능한 AI(XAI) 의 특징 선택 방법과 유사하게 누락 데이터 분석에 기반한 신중한 데이터 소스 선택을 포함할 수 있는 지구 관측 응용 분야에서 더 간소화된 접근 방식의 필요성을 시사한다고 결론지었습니다.