기술 요약: 글로벌 작물 유형 참조 데이터셋 정제를 위한 임베딩 기반 이상치 탐지

문제 정의

고품질의 참조 데이터는 전 지구적 규모의 작물 유형 매핑을 위한 핵심적인 병목 구간입니다. WorldCereal와 같은 운영 시스템은 이질적인 출처(필지 등록부, 국가 데이터베이스, 현장 조사, 지도 기반 생성 제품 등)에서 수집된 레이블을 집계합니다. 이러한 출처들은 미지의 레이블 노이즈, 지역적 불일치 및 아티팩트를 유발합니다. 단순한 글로벌 정제 규칙은 효과적이지 않은데, 이는 작물의 페놀로지(생육 주기)와 관측 조건이 지역 및 계절에 따라 크게 다르기 때문입니다. 또한, 지구 관측(EO) 데이터에서 실제 환경적 이상치(예: 가뭄)와 레이블 오류를 구분하는 것은 어렵습니다. 문제는 작물을 위한 전 지구적 불변 시그니처가 존재하지 않는 상황에서, 높은 클래스 내 변동성을 가지고 현대적인 EO 파이프라인이 복잡한 시계열 데이터를 압축된 임베딩으로 요약할 때 서로 다른 클래스가 중첩될 수 있다는 점입니다.

방법론

저자들은 사전 학습된 지구 관측 인코더(구체적으로 Presto 스타일 모델)에 의해 생성된 임베딩을 기반으로 작동하는 국소성 인식 임베딩 기반 이상치(EBA) 탐지 프레임워크를 제안합니다. 핵심 전제는 특정 샘플이 동일한 지리적 국소 영역 내에서 동일하게 선언된 클래스의 다른 샘플들과 비교했을 때 임베딩이 이상하다면, 해당 샘플이 잘못 레이블링되었을 가능성이 높다는 것입니다.

1. 데이터 표현 및 슬라이싱

• 임베딩: 각 훈련 샘플은 다중 시계열, 다중 모달 환경을 요약하는 고정 크기 벡터(예: $d=128$)로 표현됩니다. 레이블 누수를 방 피하기 위해 공식 사전 학습된 가중치를 사용하여 계산됩니다.
• 로컬 슬라이스(Local Slices): 글로벌 가정을 피하기 위해, 데이터는 H3 그리드 셀, 특정 작물/지표 피복 레이블, 그리고 선택적으로 연도 또는 소스 데이터셋을 기준으로 "슬라이스"로 분할됩니다.
• 최소 크기: 안정적인 참조 모집단을 보장하기 위해, 설정된 임계값(예: 50개 샘플) 미만인 슬라이스는 인접 슬라이스와 병합하거나 제외됩니다.

2. 이상치 점수 산출

각 슬라이스 내의 샘플에 대해 프레임워크는 두 가지 상호 보완적인 거리 메트릭을 계산합니다:

• 중심점 거리(Centroid Distance): 슬라이스 중심점까지의 코사인 거리.
• 최근접 이웃 거리(Nearest Neighbor Distance): 슬라이스 내 $k$-최근접 이웃까지의 평균 코사인 거리.

이러로 원시 거리는 슬라이스별 경험적 백분위수를 사용하여 $[0, 1]$ 범위로 정규화됩니다. 최종 **평균 점수(mean_score)**는 다음 세 가지 구성 요소의 평균으로 도출됩니다:

1. 정규화된 거리 점수 ($S_i$).
2. 샘플의 슬라이스 내 순위를 $[0, 1]$로 매핑한 순위 기반 점수 ($S^{\text{rank}}_i$).
3. 중앙값 및 중앙값 절대 편차(MAD)를 기반으로 한 로버스트 z-점수 ($S^{\text{z}}_i$).

3. 플래깅 및 등급 분류

샘-플의 점수가 슬라이스 중앙값보다 $k$ MAD(기본값 $k=4$)를 초과하면 이상치로 플래깅됩니다. 과도한 정제를 방지하기 위해, 슬라이스 내 플래깅된 포인트의 비율은 10%로 제한됩니다. 샘플은 네 가지 범주로 분류됩니다:

• 정상(Normal): 플래깅되지 않음.
• 플래그됨(Flagged): 경미한 이상치.
• 의심됨(Suspect): 플래깅되었으며 극단적인 꼬리 부분에 위치함 (예: 순위 > 0.98).
• 후보(Candidate): 가장 극단적인 오류 (예: 순위 > 0.99).

4. 신뢰도 가중치 및 로버스트성

이 시스템은 이진 제거 대신, 깨끗한 샘플에 대해서는 1에 가깝고 이상치에 대해서는 감소하는 confidence_nonoutlier 점수를 생성하여 소프트 다운-웨이팅(soft down-weighting)을 허용합니다.

• 로버스트 중심점: 이상치가 자신을 향해 평균을 끌어당겨 "마스킹"하는 것을 방지하기 위해, 절단 평균(trimmed mean)을 사용하여 슬라이스 중심점을 계산합니다.
• 분리 게이팅(Separability Gating): 이웃의 임베딩 기하학적 구조가 클래스를 분리하지 못할 경우(낮은 실루엣 점수), 유효한 샘플을 처벌하는 것을 피하기 위해 해당 영역의 플래그를 억제합니다.
• 일관성: 연속적인 신뢰도 점수는 이산적인 플래그와 연결됩니다. 플래그되지 않은 샘플은 신뢰도 1을 유지합니다.

주요 기여

1. 로컬 슬라이스 공식화: 샘플이 동일한 국소 지역 내의 동일 클래스 이웃들에 의해서만 판단되는 일반적인 이상치 탐지 접근 방식으로, 작물의 글로벌 시그니처 부재 문제를 해결합니다.
2. 복합 점수 메커니즘: 중심점 거리, 로컬 이웃 구조, 로버스트 통계(MAD)를 결합하여 신뢰도 출력을 갖춘 등급화된 이상치 점수를 생성하는 임베딩 기반 탐지기입니다.
3. 포괄적 평가: 세 부분으로 구성된 평가 전략을 제공합니다:
   • 합성적으로 주입된 노이즈의 회복력.
   • 실제 데이터에 대한 모델 독립적 테스트.
   • 5개 매크로 지역에 대한 운영 중인 WorldCereal 모델의 다운스트림 성능 평가.

결과

합성된 정답(Ground Truth)

신뢰할 수 있는 데이터에 레이블 노이즈를 주입했을 때, 탐지기는 플래그된 세트에 오류를 성공적으로 집중시켰습니다:

• 중대한 오류(Gross Errors): 여러 지역에 걸쳐 우연한 발생률보다 2.5~5.0배 높게 농축되었습니다 (상위 5% 리프트에서 최대 9배). AUROC 점수는 최대 0.84에 달했습니다.
• 미세한 오류(Subtle Errors): 혼동되는 클래스 간의 오류는 3.0~3.8배 농축되었습니다 (AUROC $\approx$ 0.72).
• 한계: 전체 데이터셋이 오염된 경우(특정 소스 전체가 잘못 레이블링된 경우), 슬라이스 중심점 자체가 오염되므로 탐지기가 우연 수준의 성능을 보였습니다.

모델 독립적 테스트

실제 데이터에서, 홀드아웃 세트의 플래그된 포인트를 제거하거나 가중치를 낮추는 것은 이미 훈련된 모델의 측정된 정확도를 일관되게 향상시켰습니다:

• 54/55개 작물 유형 모델과 55/55개 지표 피복 모델에서, 플래그된 포인트를 다운-웨이팅하는 것이 macro-F1, weighted-F1 및 정확도를 증가시켰습니다.
• 이는 플래그된 포인트가 레이블이 잘못되었든 단순히 분류하기 어렵든 관계없이, 모델에게 불리한 정보를 제공함을 시사합니다.

다운스트림 영향 (WorldCereal)

5개 매크로 지역에 대해 WorldCereal 듀얼 헤드 모델(작물 유형 + 지표 피복)의 훈련 데이터에 이 정제 프레임워크를 적용한 결과:

• 보수적 정제의 효과: 가장 큰 개선은 "후보(candidates)"만을 제거하거나 신뢰도 가중치를 적용했을 때 나타났습니다. 모든 플래그된 포인트를 공격적으로 제거하면 경계에 있는 어렵지만 올바른 샘플을 버리게 되어 성능이 저하될 수 있습니다.
• 정량적 이득: 엄격해진 탐지기를 사용했을 때, 작물 유형 macro-F1은 5개 지역 모두에서 +1.2 ~ +3.4 포인트(평균 +2.1) 개선되었습니다. 지표 피복 또한 개선되었습니다.
• 클래스별 이득: 개선은 거의 전적으로 희귀하고 혼동하기 쉬운 작물(예: 남아시아의 기장(millet)은 F1이 +15 포인트 개선)에 의해 주도되었으며, 다수 작물은 거의 영향을 받지 않았습니다.

의의 및 주장

본 논문은 지형 공간 파운데이션 모델의 임베딩이 수동 검사나 복잡한 규칙 기반 시스템 없이도 대규모의 노이즈 섞인 참조 데이터셋을 정제하기 위한 실행 가능한 기초를 제공한다고 주장합니다. EBA 프레임워크는 다음과 같은 점에서 중요합니다:

• 재현 및 확장 가능: 어떤 사전 학습된 인코더(Presto와 AlphaEarth 임베딩 모두에서 입증됨)와도 작동하도록 설계되었습니다.
• 국소성 문제 해결: "정상"의 기준이 지역과 계절에 따라 달라진다는 점을 인식합니다.
• 다양한 정제 전략 제공: 후보 제거부터 소프트 웨이팅까지 다양한 옵션을 제공하여, 운영자가 필요에 따라 정밀도와 재현율 사이의 균형을 맞출 수 있게 합니다.
• 대규모 지구 관측 참조 데이터셋 정제를 위한 템플릿 제공: 작물 매핑을 넘어 더 넓은 분야에 적용 가능합니다.

저자들은 이 방법이 모델 성능을 향상시키기는 하지만, 잘못 레이블된 데이터와 유효하지만 드문 환경적 극한 상황을 완벽하게 구분할 수는 없다는 점을 언급하며 신중한 입장을 유지합니다. 또한, 이 방법이 체계적인 전체 데이터셋 레이블링 오류에는 효과가 떨어지며, 기본이 되는 사전 학습된 인코더의 변별력에 의존한다는 점을 인정합니다.