Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation

기술 요약: 대조적 마스크 충실도 (Contrastive Mask Fidelity, CMF)

문제 정의: 평가의 역설 (The Evaluation Paradox)
원격 탐사 분야의 시맨틱 세그멘테이션은 근본적인 "평가의 역설"에 직면해 있습니다. 모델들은 인간이 그린 마스크를 대상으로 학습 및 평가되는데, 이 마스크들은 관습적으로 결함 없는 정답(ground truth)으로 취급됩니다. 그러나 원격 탐사 주석(annotation)은 항공 및 위성 이미지의 복잡성(예: 작은 객체, 이질적인 지표 피복)으로 인해 종종 거칠거나, 불완전하거나, 정렬이 어긋나거나, 과도하게 매끄럽게 처리되는 경우가 많습니다. 결과적으로, 표준 mIoU와 같은 중첩 지표는 시각적 증거에 대한 충실도가 아니라, 잠재적으로 결함이 있는 라벨과의 일치도를 정량화하게 됩니다. 시각적으로 더 우수한 마스크라 할지라도 불완전한 주석과 차이가 있다면 더 낮은 점수를 받을 수 있습니다. 기존의 라벨 품질 측정 방법들은 동일한 노이즈 섞인 라벨 분포로 학습된 모델에 의존하는 경우가 많아, 정작 탐지하고자 하는 바로 그 편향을 그대로 물려받게 됩니다. 따라서 인간의 마스크와 모델의 마스크를 어느 하나를 절대적 진실로 지정하지 않고 이미지 증거에 직접 비교할 수 있는, 참조가 필요 없는 판정자(reference-free adjudicator)가 부족한 실정입니다.

방법론: GeoVeritas 파이프라인
저자들은 **대조적 마스크 충실도(CMF)**를 중심으로 하는 3단계의 학습이 필요 없는(training-free) 감사 시스템인 GeoVeritas를 제안합니다.

1. 후보 생성 (1단계):
   시스템은 고정된 SegEarth-OV3 백본(고정된 SAM 3 인코더 사용)을 기반으로 구축된 학습이 필요 없는 오픈 보캐블러리 세그멘테이션 프로브인 Seg-Probe를 활용합니다. Seg-Probe는 주요 기여 사항은 아니며, 인간의 주석에 도전할 수 있는 강력한 후보 마스크의 원천 역할을 합니다. 이는 고품질의 후보를 생성하기 위해 세 가지 학습이 필요 없는 구성 요소를 사용합니다:

   • 동의어 증거 풀링 (Synonym Evidence Pooling, SEP): 특정 클래스 명칭에 대한 의존도를 줄이기 위해 log-sum-exp soft-OR를 사용하여 여러 동의어 프롬프트로부터 증거를 집계합니다.
   • 다중 스케일 증거 (Multi-Scale Evidence, MSE): 여러 이미지 스케일로부터 증거를 추출하고 정렬합니다.
   • 테스트 타임 증강 (Test-Time Augmentation, TTA): 원본 뷰와 수평 뒤집기 뷰의 증거를 평균화합니다.

2. 대조적 마스크 충실도 점수 산출 (2단계):
   CMF는 고정된 외부 시각-언어 판사(RemoteCLIP)를 사용하여 이미지 $x$에 대한 클래스 $c$의 이진 마스크 $M_c$의 충실도를 평가합니다. 이 과정은 이미지에 대해 두 가지 대조적인 뷰를 생성하는 것을 포함합니다:

   • 유지 뷰 (Keep View, $x^k$): 마스크 $M_c$로 정의된 영역만을 드러내고 나머지는 블러(blur) 처리합니다.
   • 삭제 뷰 (Erase View, $x^e$): 영역 $M_c$를 숨기고(블러 처리), 이미지의 나머지 부분을 드러냅니다.

   판사는 클래스 텍스트에 대한 온도 조절 소프트맥스(temperature-scaled softmax)를 사용하여 각 뷰에 대한 확률 $P(c|r)$을 계산합니다. 충실도 점수 $F(M_c)$는 다음과 같은 차이로 정의됩니다:
   $$F(M_c) = P(c | x^k_c) - P(c | x^e_c)$$
   이 대조적 설계는 점수가 순도(유지된 영역에 해당 클래스가 포함됨)와 완전성(마스크 외부에 클래스 증거가 남아 있지 않음)을 모두 반영하도록 보장합니다. 결정적으로, 소프트맥스 정규화와 두 항의 상반된 성질은 마스크 면적의 사소한 팽창에 대한 민감도를 줄여줍니다.

3. 중재 및 라벨 수정 (3단계):
   각 이미지-클래스 쌍에 대해, 시스템은 후보 마스크($M^p_c$)의 충실도 점수를 인간 주석($M^a_c$)과 비교합니다. 만약 차이 $\Delta F > 0$이면, 후보가 더 충실한 것으로 간주됩니다. 과도한 수정을 방-지하기 위해, 차이 $\Delta F$가 임계값(기본값 $\delta=0$)을 초과하는 경우에만 보수적인 중재 규칙에 따라 인간 라벨을 후보 마스크로 교체합니다.

주요 기여

• CMF 메트릭: 고정된 외부 시각-언어 판사를 활용하여 마스크 불일치를 이미지 조건부 유지-삭제 대조로 변환함으로써, 참조가 필요 없고 학습이 필요 없는 충실도 측정 지표를 제공합니다.
• 대규모 감사: LoveDA, Potsdam, Vaihingen 등을 포함한 10개의 원격 탐사 벤치마크 전반에 걸쳐 10,731개의 이미지-클래스 쌍을 감사했습니다. 이 연구는 체계적이고 클래스 의존적인 주석 왜곡을 밝혀냈습니다: 인공 구조물 클래스(건물, 도로, 자동차)는 62~85%의 사례에서 모델 후보를 선호하는 반면, 모호한 지표 피복은 종종 인간 주석을 선호합니다.
• 전문가 검증: 세 명의 주석가 합의 세트를 이용한 블라인드 테스트에서, CMF는 전문가 판단과 81% 일치하며, 유지-전용(keep-only) 점수 산출, 모델 확신도, 그리고 학습된 라벨 품질 베이스라인보다 우수한 성능을 보였습니다.
• 실행 가능한 감독: CMF에 의해 중재된 라벨로 경량 세그멘터를 학습시키면, 원본 주석이나 순수 의사 라벨(pseudo-labels)로 학습된 모델보다 개선된 교차 도메인 전이 성능을 얻을 수 있으며, 이를 통해 중재 과정의 이점을 입증했습니다.

결과

• Seg-Probe 성능: Seg-Probe는 10개 데이터셋 중 9개에서 기존의 학습이 필요 없는 베이스라인들을 능가하며 평균 mIoU 56.3%(SegEarth-OV3의 55.4% 대비)를 달성하여, 강력한 후보 생성기로서의 역할을 검증했습니다.
• 오염 민감도: CMF는 통제된 마스크 오염에 대해 보정되었으며, 알려진 오류에는 올바르게 반응하면서 마스크 면적 변화에 대해서는 안정성을 유지함을 보여주었습니다.
• 교차 도메인 전이: CMF로 중재된 라벨로 학습된 모델은 원본 주석이나 매칭된 교체 대조군(matched replacement controls)으로 학습된 모델보다 우수한 전이성을 보여주었으며, 이는 이러한 이점이 단순한 의사 라벨 증류가 아닌 더 높은 충실도의 라벨 선택에서 기인함을 확인시켜 줍니다.

의의
본 논문은 CMF를 인간의 주석을 완전히 대체하는 방법이 아니라, 정답(ground truth)을 감사하기 위한 확장 가능한 도구로 포지셔닝합니다. 참조 마스크를 불변의 진리가 아닌 하나의 가설으로 취급함으로써, CMF는 특히 잘 구획된 인공 구조물에 대해 체계적인 주석 오류를 식별하고 수정할 수 있는 메커니즘을 제공합니다. 이 접근 방식은 초점을 라벨과의 일치도가 아닌 이미지 증거에 대한 충실도로 전환함으로써, 원격 탐사 시맨틱 세그멘테이션에서 더 신뢰할 수 있는 감독을 위한 경로를 제시하며 '평가의 역설' 문제를 해결합니다.