Better than Average: Spatially-Aware Aggregation of Segmentation Uncertainty Improves Downstream Performance

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 의료 영상 분석이나 자율 주행과 같은 안전 중시 (safety-critical) 분야에서 자동화된 이미지 분할의 신뢰성을 보장하기 위해 불확실성 정량화 (Uncertainty Quantification, UQ) 가 필수적입니다. UQ 는 픽셀 단위의 불확실성 점수를 생성하지만, 이를 Out-of-Distribution (OoD) 탐지나 실패 감지 (Failure Detection, FD) 와 같은 하위 작업에 활용하기 위해서는 이미지 전체의 스칼라 점수로 집계 (Aggregation) 해야 합니다.
• 문제: 현재 가장 널리 사용되는 집계 전략은 전역 평균 (Global Average, AVG) 입니다. 그러나 AVG 는 불확실성 맵의 공간적 구조 (spatial structure) 나 형태적 특징을 고려하지 않습니다.
  • 예를 들어, 균일하게 낮은 불확실성을 가진 이미지와 객체 경계에 집중된 높은 불확실성을 가진 이미지는 AVG 로는 동일한 점수를 받을 수 있습니다.
  • 기존에는 패치 기반, 클래스 기반, 임계값 기반 등의 대안들이 제안되었으나, 체계적인 비교 연구가 부족하여 어떤 전략이 최적인지에 대한 명확한 가이드라인이 부재했습니다.
• 목표: 다양한 집계 전략의 특성과 한계를 분석하고, 공간적 구조를 반영한 새로운 전략을 제안하여 OoD 탐지 및 실패 감지 성능을 개선하는 것입니다.

2. 방법론 (Methodology)

저자들은 10 개의 다양한 데이터셋 (의료, 자율 주행, 합성 데이터 등) 을 사용하여 다양한 집계 전략을 벤치마크하고 새로운 접근법을 제안했습니다.

2.1. 기존 전략의 한계 분석

기존의 강도 기반 (Intensity-based) 집계 전략 (AVG, ATA, AQA, PLM 등) 은 다음과 같은 결함을 가집니다:

• 공간 구조 무관성: 불확실성의 분포 패턴 (예: 노이즈 vs 클러스터) 을 구분하지 못함.
• 비례 불변성 부재 (Lack of Proportion Invariance): 배경과 같은 저불확실성 영역의 크기가 변할 때 점수가 왜곡됨 (예: AQA).
• 단조성 부재 (Non-monotonicity): 픽셀별 불확실성이 증가해도 집계된 점수가 감소할 수 있음 (예: ATA).

2.2. 제안된 새로운 전략: 공간 인식 집계 (Spatially-Aware Aggregation)

불확실성 맵의 공간적 패턴 (클러스터링, 경계, 잡음 등) 을 포착하기 위해 이미지 처리에서 사용되는 공간 측정치를 활용했습니다.

• 핵심 개념: 공간 질량 비율 (Spatial Mass Ratio, SMR). 전체 불확실성 질량 중 '높은 공간적 구조'를 가진 영역에 집중된 비율을 계산합니다.
• 사용된 측정치:
  1. Moran's I (MOR): 공간 자기상관성을 측정 (클러스터링 정도).
  2. Edge Density Score (EDS): 경계선의 밀도를 측정 (객체 경계 집중 여부).
  3. Shannon Entropy (ENT): 국소적 무작위성 또는 이질성을 측정.
• 구현: 불확실성 맵을 공간 측정치로 가중치를 부여하여 필터링한 후, 고구조 영역의 평균 불확실성을 전체 평균으로 나누어 0 과 1 사이의 해석 가능한 점수를 도출합니다.

2.3. 메타 집계 전략 (Meta-Aggregation): GMM-All

단일 전략이 모든 데이터셋에서 최적이 아니라는 점을 고려하여, 여러 집계 전략을 통합하는 메타 전략을 제안했습니다.

• 방식: 다양한 집계 전략 (강도 기반 + 공간 기반) 으로 생성된 점수들을 특징 벡터로 구성합니다.
• 모델링: 정상 분포 (In-Distribution, iD) 의 특징 벡터 분포를 가우시안 혼합 모델 (Gaussian Mixture Model, GMM) 로 학습합니다.
• 점수 산출: 새로운 샘플의 특징 벡터가 학습된 GMM 분포에서 얼마나 벗어났는지를 음의 로그 가능도 (Negative Log-Likelihood, NLL) 로 계산하여 OoD 또는 실패 확률로 사용합니다. 이를 GMM-All이라고 명명했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 벤치마크: 10 개의 다양한 데이터셋 (다양한 기하학적 구조, 모달리티, 작업 유형 포함) 에서 기존 및 새로운 집계 전략 (AggS) 의 OoD 탐지 및 실패 감지 성능을 광범위하게 평가했습니다.
2. 공간 인식 집계 전략 도입: Moran's I, Edge Density, Entropy 를 기반으로 한 새로운 공간적 집계 전략을 제안하여 불확실성의 공간적 패턴을 효과적으로 포착합니다.
3. GMM-All 제안: 단일 전략의 의존성을 극복하기 위해 강도 및 공간적 특징을 통합한 메타 집계 전략을 개발했습니다. 이는 다양한 시나리오에서 강건한 성능을 보입니다.
4. 오픈소스 라이브러리 제공: aggrigator 라는 이름의 파이썬 라이브러리를 공개하여 연구의 재현성과 활용도를 높였습니다.

4. 실험 결과 (Results)

• AVG 의 비효율성: 전역 평균 (AVG) 은 대부분의 시나리오 (10 개 중 6 개) 에서 무작위 추측 수준으로 성능이 낮았으며, OoD 탐지와 실패 감지 모두에서 최하위 계층에 속했습니다.
• 전략의 데이터 의존성: 단일 집계 전략이 모든 데이터셋에서 우월하지는 않았습니다. 성능은 데이터셋의 특성 (객체 크기, 구조, 전경 비율 등) 에 크게 의존했습니다.
  • 예: CAR-CS (실제 도로) 데이터에서는 EDS(경계 밀도) 가 매우 효과적이었으나, LIZ (조직학) 데이터에서는 다른 전략이 더 좋았습니다.
• GMM-All 의 우수성:
  • OoD 탐지: GMM-All 은 예측 기반 전략 (BCA, ICA) 과 함께 통계적으로 유의미한 최상위 계층을 형성했습니다.
  • 실패 감지 (FD): GMM-All 은 QFR(전경 비율 기반) 과 함께 높은 성능을 보였으며, 특히 '침묵하는 실패 (silent failures, 확신하지만 틀린 예측)'를 탐지하는 데 효과적이었습니다.
  • 강건성: 개별 특징을 제거하는 Ablation Study 에서 GMM-All 은 대부분의 경우 개별 전략보다 성능이 좋거나 동등했으며, 특정 특징이 지배적인 경우를 제외하고는 안정적인 성능을 유지했습니다.
• SHAP 분석: GMM-All 이 OoD 샘플을 탐지하는 데 EDS 나 ENT 와 같은 공간적 특징이 중요한 기여를 했음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실무적 시사점: 단순한 평균 (AVG) 은 불확실성 집계의 기본값으로 적합하지 않으며, 공간적 및 구조적 특징을 고려한 집계 전략이 하위 작업의 성능을 획기적으로 개선할 수 있음을 입증했습니다.
• 일반화 가능성: 특정 데이터셋에 최적화된 단일 전략을 찾기 어렵다면, GMM-All과 같은 메타 집계 전략이 데이터 특성에 대한 사전 지식이 부족할 때 가장 신뢰할 수 있는 기본 선택지 (default choice) 가 될 수 있습니다.
• 이론적 기여: 불확실성 집계의 이론적 속성 (단조성, 비례 불변성 등) 을 formally 분석하고, 공간적 구조가 하위 작업 성능에 미치는 영향을 체계적으로 규명했습니다.

이 논문은 이미지 분할의 불확실성 관리에 있어 "어떻게 합칠 것인가 (How to aggregate)"가 "얼마나 불확실한가 (How uncertain)"만큼 중요함을 강조하며, 안전 중시 분야에서 모델의 신뢰성을 높이는 새로운 기준을 제시합니다.