Prior-matched evaluation of operational Earth-observation classifiers: a three-number reporting method demonstrated on Sentinel-1 internal-wave detection

기술 요약: 운영 중인 지구 관측 분류기를 위한 사전 일치 평가 (Prior-Matched Evaluation)

문제 정의
운영 중인 지구 관측(Earth-observation) 분류기들은 종종 훈련/평가 시 사용된 클래스 사전 확률(class prior)과 실제 운용 시 마주하는 실제 사전 확률 사이의 불일치로 인해 발생하는 체계적인 보고 아티팩트(reporting artifact)를 겪는다. Sentinel-1 파동 모드 아카이브에서 내부파(internal solitary waves)를 스크리닝하는 내부파 서비스(Internal Waves Service)가 이 문제를 전형적으로 보여준다. 해당 서비스의 분류기는 초기 "재현율 우선(recall-first)" 단계에서 실제 양성 발생 비율을 알 수 없었기에 관행적으로 따랐던 균형 잡힌 데이터셋(파동 대 비파동 비율 1:1)을 바탕으로 훈련 및 평가되었다. 그러나 실제 운영 스트림은 약 0.05(20개 장면 중 1개의 파동 장면)라는 매우 편향된 사전 확률을 나타낸다.

이러한 불일치는 기만적인 평가 환경을 조성한다. 균형 잡힌 테스트 정밀도(예: 0.794)를 높게 보고하는 모델이라 할지라도, 동일한 결정 임계값에서 실제 운영 시에는 현저히 낮은 정밀도(예: 0.192)를 전달할 수 있다. 본 논문은 '균형 잡힌 테스트 정밀도'와 같은 표준 지표들이 이러한 체계적 오류를 가려주는 "낙관적인" 지표라고 주장한다. 또한, 사전 교정(prior correction)이나 확률 보정(probability calibration)과 같은 일반적인 해결책은 고정된 재현율에서의 정밀도를 개선하는 데 효과적이지 않음을 보여준다. 이러한 방법들은 점수의 단조 변환(monotone transformation)에 불과하며, 근본적인 정밀도-재현율 곡선을 이동시키는 것이 아니라 단순히 작동 임계값의 위치만을 옮길 뿐이다. 핵심 문제는 훈련의 결함이 아니라, 배포 사전 확률과 일치하는 보고 방식이 필요한 '평가 문제'로 식별된다.

방법론
본 논문은 운영 분류기를 특성화하기 위한 세 가지 숫자 축을 기반으로 한 "사전 일치 보고 방법(prior-matched reporting method)"과 성능 향상을 격리하기 위해 설계된 엄격한 개발 주기를 제안한다.

1. 세 가지 숫자 보고 축:

   • 균형 잡힌 테스트 성능 (Balanced-Test Performance): 클래스 비율이 동일한 홀드아웃(held-out) 세트에서의 전통적인 지표(정밀도, 재현율, F1). 이는 균형 잡힌 보고와 현실 사이의 간극을 드러내는 경고용 베이스라인 역할을 한다.
   • 운영 사전 성능 (Operational-Prior Performance): 실제 운영 사전 확률(0.05)에 맞춰 특별히 구성된 동결된 테스트 세트에서의 모델 성능. 이 수치는 검증자가 현장에서 실제로 직면하게 될 정밀도를 예측하도록 설계되었다.
   • 실제 운영 성능 (Real Operational Performance): 라이브 스트림의 모델 탐지 결과에 대한 전문가 판정을 통해 얻은 실제 정답(ground truth). 이는 평가 루프를 닫기 위해 사전에 등록된 순방향 약속(forward commitment)이다.

2. 평가 도구 설계:

   • 누수 제어된 동결 데이터셋 (Frozen, Leakage-Controlled Dataset): 증가하는 아카이브가 평가에 유입되는 것을 방지하기 위해 데이터셋을 분할 전 고정하였다. 공간적 누수(spatial leakage)는 중심점 반경이 아닌 "핫스팟(hotspot)" 수준(실제 이미지 풋프린트 중첩으로 정의)에서 제어되어, 동일 궤도에서 반복되는 거의 동일한 장면들이 훈련/개발/테스트 분할 사이에 걸쳐지지 않도록 보장하였다.
   • 봉인된 락박스 (Sealed Lockbox): 체크섬(checksum)과 함께 외부로 격리된 테스트 세트(양성 1,537개, 음성 29,203개)를 구축하였으며, 사전에 등록된 임계값에서 단 한 번만 읽도록 하였다.
   • 운영 규율 (Operating Discipline): 본 서비스는 재현율을 0.80의 하한선으로 유지하는 "정밀도 우선(precision-first)" 규율 하에 운영된다. 놓친 파동은 궤도 반복 및 아카이브 재처리를 통해 복구가 가능한 반면, 오탐(false positive)은 희소한 전문가의 주의력을 소모하기 때문에 이러한 규율이 정당화된다.

3. 개발 주기:

   • 개선은 단일 레버 개입을 통해 추진되었으며, 각 개입은 사전에 등록된 마진(0.021)을 초과하는 경우에만 승인되었다.
   • 테스트된 레버들:
     • 임계값 조정 (Threshold Adjustment): 기존 곡선을 따라 작동 지점을 이동시킴 (즉각적인 완화 효과는 있으나 곡선 자체를 끌어올리지는 못함).
     • 데이터 다양성 (Data Variety): 음성 클래스의 다양성을 넓혔을 때 정밀도가 향상된 반면, 훈련 비율을 운영 사전 확률 쪽으로 이동시킨 것은 효과가 없었다 (사전 교정이 고정된 재현율에서 무력함을 확인).
     • 용량 (Capacity): 네트워크 너비를 늘리는 것은 수확 체감의 법칙을 보였다. 특정 지점을 넘어서면 추가된 파라미터가 승인 마진을 통과하지 못했다.
     • 집계 헤드 (Aggregation Head): 전역 평균 풀링(global-average pooling)을 Generalized-Mean (GeM) 풀링으로 교체함으로써 정밀도를 크게 향 improved했다. 이는 평균 풀링이 구분하지 못했던 특정 지형적 혼란 요소(파동을 흉내 내는 띠 모양의 표면 질감)를 더 잘 억제했기 때문이다.

주요 결과

• 사전 효과 (The Prior Effect): 기존 모델은 체계적인 아티팩트를 입증했다: 균형 잡힌 테스트 정밀도는 0.794였으나, 실제 운영 정밀도는 0.192였다.
• 모델 개선: 승인된 모델(GeM 풀링 및 다양한 음성 데이터를 사용)은 봉인된 락박스에서 운영 사전 확률(재현율 0.827) 기준 0.927의 정밀도를 달성했다. 반면, 동일한 모델이 균형 잡힌 세트에서는 0.996의 정밀도를 기록하여, 균형 잡힌 수치가 실제 운영상의 정밀도(F1 > 0.90)가 미치지 못하는 높은 성과 기준을 통과해 버림을 보여주었다.
• 시계열 외 강건성 (Out-of-Time Robustness): 데이터셋 동결 이후 수집된 데이터에 대한 독립적인 점검 결과, 모델의 변별력(AUC)은 안정적(0.993 $\to$ 0.987)이었으나, 고정된 작동 지점은 퇴화했다. 정밀도는 0.927에서 0.810으로 떨어졌고, 오탐률은 3배 증가했다. 이는 고정된 임계값이 "설정 후 망각(set-and-forget)"할 수 있는 양이 아니며, 현재의 데이터에 맞춘 재검증이 필요함을 강조한다.
• 제약 조건의 변화 (Constraint Shift): 개발 주기는 구속 요인이 모델 아키텍처에서 줄일 수 있는 오탐 질량(reducible false-positive mass)의 크기로 이동했음을 밝혔다. 집계 레버는 이미 사용되었고, 추가적인 용량 증가는 유의미한 이득을 주지 못했다. 이는 향후 개선이 더 큰 네트워크가 아닌 검증된 데이터를 확장하는 데 달려 있음을 의미한다.

의의 및 주장
본 논문은 훈련 사전 확률과 배포 현실 사이의 불일치가 훈련의 문제가 아니라 평가의 문제라고 주장한다. 이 논문의 주요 기여는 "사전 효과"를 숨기지 않고 가시화하는 사전 일치 보고 방법이다. 균형 잡힌 테스트, 운영 사전, 그리고 실제 운영 수치 사이의 대비를 보고함으로써, 이 방법은 분류기의 기술에 대한 "정직한 측정"을 제공한다.

저자들은 이 접근 방식이 내부파나 Sentinel-1에 국한된 것이 아니라, 알려지지 않았거나 변화하는 사전 확률 하에서 희귀 사건 탐지기를 시작하는 모든 운영 지구 관측 서비스에 적용 가능한 휴대 가능한 관례임을 강조한다. 또한, 고정된 데이터셋, 누수 제어된 분할, 그리고 봉인된 단일 판독 평가를 통해 재현 가능성의 규율을 확립한다. 마지막으로, 본 논문은 이 서비스의 다음 개선 주기가 더 큰 모델로부터 오는 것이 아니라, 줄일 수 없는 오탐 질량을 다루기 위해 검증된 데이터셋을 확장하는 것과, 개발 세트의 임계값에 의존하는 대신 현재의 카탈로그 슬라이스에 대해 작동 지점을 검증하는 것에서 올 것이라고 결론짓는다.