Conformal Prediction Sets for Instance Segmentation

기술 요약: 인스턴스 분할을 위한 컨포멀 예측 집합 (Conformal Prediction Sets)

문제 정의
현재의 인스턴스 분할 모델은 높은 평균 성능을 달달하지만, 원칙적인 불확실성 정량화 능력이 부족하다. 이들의 출력값, 예를 들어 로짓(logits)이나 신뢰도 점수는 종종 보정되지 않은 상태이며, 예측된 마스크가 실제 정답(ground truth)에 근접한다는 보장을 제공하지 못한다. 기존의 불확실성 지표(예: 경계 확률)는 빈번하게 보정되지 않으며 해석하기 어렵다. 나아가, 최근의 분할을 위한 컨포멀 예측 접근 방식들은 단일 모델 예측 마스크를 수정하는 것(예: 팽창 또는 경계 확장)에 국한되어 있다. 이러한 방법들은 국소적인 경계 불확실성은 포착하지만, 인접한 영역을 하나의 객체로 취급할 것인지 아니면 여러 개의 객체로 분리할 것인지에 대한 모호함인 **구조적 불확실성(structural uncertainty)**은 해결하지 못한다. 이러한 한계는 모든 쿼리에 대해 단일한 "최적의" 파라미터 설정이 존재하지 않을 수 있는 실제 응용 분야에서 매우 중요하다.

방법론
저자들은 주어진 이미지와 픽셀 좌표 쿼리에 대해 인스턴스 예측의 **적응형 신뢰 집합(adaptive confidence sets)**을 생성하는 컨포멀 예측 알고리즘을 제안한다. 이 방법은 다음 프레임워크 하에서 작동한다:

1. 설정: 입력은 이미지 $I$와 쿼리 지점 $(z_1, z_2)$로 구성된다. 목표는 쿼리를 포함하는 객체 인스턴스에 대한 이진 마스크 $Y$를 예측하는 것이다. 이 방법은 다양한 예측 $\hat{Y} = f(X, T)$를 생성하기 위해 조절 가능한 파라미터 $T$(예: 워터셰드 임계값, 로짓 임계값 또는 마스크 인덱스)를 수용하는 인스턴스 분할 모델 $f$를 활용한다.
2. 보정(Calibration): $n$개의 이미지-쿼리 쌍과 정답 마스크가 있는 보정 데이터셋을 사용하여, $k$개의 파라미터 그리드 $\{t_1, \dots, t_k\}$에 의해 생성된 예측들의 IoU(Intersection-over-Union)를 평가한다.
3. 집합 구축 (Set Cover): 목표 IoU 임계값 $\tau$와 오차율 $\alpha$에 대해, 알고리즘은 성공적인 예측들(IoU가 $\tau$보다 큰 예측들)의 합집합이 적어도 $(1-\alpha)n$개의 보정 사례를 커버하는 최소 파라미터 인덱스 부분 집합 $J_{\alpha, \tau}$를 식별한다. 이 단계는 그리디(greedy) 알고리즘을 통해 해결된 후, 집합 크기를 최소화하기 위한 브루트 포스(brute-force) 정교화 과정을 거치는 집합 커버(Set Cover) 문제로 정식화된다.
4. 예측: 새로운 테스트 입력에 대해, 알고리즘은 선택된 파라미터 부분 집합 $J_{\alpha, \tau}$를 사용하여 예측을 생성하며, 이를 통해 초기 신뢰 집합 $C_{\alpha, \tau}(X_{test})$를 형성한다.
5. 적응형 정교화 (중복 제거): 중복을 피하기 위해, 알고리즘은 도미네이팅 셋(Dominating Set) 접근 방식을 사용하여 근접 중복 마스크(이차 IoU 임계값 $\eta$로 정의됨)를 제거한다. 이를 통해 쿼리 난이도에 따라 변하는 적응형 집합 크기를 도출한다.
6. 보장: 이 방법은 최종 신뢰 집합이 재보정된 임계값 $\tilde{\theta}$ 이상의 IoU를 갖는 마스크를 적어도 하나 포함할 확률이 $1-\alpha$ 이상임을 나타내는 점근적 보장을 제공한다. 샘플 분할(sample splitting)과 컨포멀 리스크 컨트롤(CRC)을 사용한 유한 샘플 버전도 제공된다.

주요 기여

1. 새로운 정식화: 본 논문은 구조적 불확실성을 포착하는 인스턴스 분할을 위한 최초의 컨포멀 예측 정식화를 도입한다. 단일 마스크를 섭동(perturbation)시키는 기존 방식과 달리, 이 접근법은 다양한 모델 구성에 대한 집합 형태의 예측을 구축한다.
2. 비단조적 설정에서의 실현 가능성: 이 방법은 표준 컨포럴 리스크 컨트롤 및 'Learn Then Test' 프레임워크의 요구 사항인 단조(monotone) 손실 함수를 필요로 하지 않는다. 이를 통해 분할 파라미터에 대해 본질적으로 비단조적인 IoU 기반 손실 함수를 사용할 수 있게 한다.
3. 적응형 신뢰 집합: 알고리즘은 쿼리의 난이도에 따라 크기가 변하는 예측 집합을 생성하며, 사용자에게 과도한 정보를 제공하지 않도록 중복을 제거하여 더 정보 가치 있는 불확실성 표현을 제공한다.
4. 이론적 보장: 이 연구는 커버리지(coverage)에 대한 점근적 및 유한 샘플 이론적 보장을 제공하여, 집합 내의 적어도 하나의 예측이 정답과 높은 Io우를 달성함을 보장한다.

실험 결과
알고리즘은 농경지 경계 획정, 세포 분할, 차량 탐지라는 세 가지 서로 다른 작업에 대해 평가되었다.

• 커버리지: 이 방법은 목표값 $(1-\alpha)$에 근접한 경험적 커버리지를 달取得하였으며, 베이스라인을 크게 상회했다. 예를 들어, 차량 탐지에서 커버리지는 "나이브 최적 파라미터(naive best parameter)" 베이스라인의 66.1%에서 84.3%로 향상되었다.
• 베이스라인 비교: "나이브 최적 파라미터"(단일 전역 파라미터 선택) 베이스라인과 "형태학적 팽창(morphological dilation)" 베이스라인(단일 마스크 확장)은 구조적 모호성을 포착하는 데 실패했다. 제안된 방법은 베이스라인이 객체를 과분할(over-segmentation)하거나 과소분할(under-segmentation)하는 경우를 성공적으로 복구했다.
• 적응성: 예측 집합의 크기는 쿼리의 난이도에 따라 적응했다. 모호한 시나리오(예: 필드 경계)에서는 여러 개의 그럴듯한 마스크를 포함하도록 집합이 확장되었고(최대 5개), 명확한 시나리오(예: 뚜렷한 세포)에서는 집합이 1개 또는 2개의 크기로 축소되었다.
• 임계값: 재보정된 IoU 임계값 $\tilde{\theta}$는 원래의 목표 $\tau$와 비슷하거나 더 높게 유지되었으며, 이는 중복 제거가 커버리지 보장을 크게 저해하지 않았음을 나타낸다.

의의 및 주장
저자들은 다양한 분할 예측의 신뢰 집합을 구축함으로써 인스턴스 분할에서 구조적 불확실성을 포착한 첫 번째 연구라고 주장한다. 이 연구의 의의는 단일한 "최적의" 예측(구조적으로 틀릴 수 있는)을 제공하는 패러다임에서, 다양한 가설의 증명 가능한 집합을 제공하는 패러다임으로 전환하는 데 있다. 이 접근법은 모호한 이미지(예: 저대조도 필드, 겹쳐진 세포)에서 단일 마스크가 종종 불충분하다는 점을 인정한다. 이 방법은 실제 객체가 집합 내에 존재할 확률을 명시적으로 정량화함으로써 분할 모델의 신뢰성을 공식화한다.

본 논문은 컨포럴 예측이 기저 모델의 내재적 한계를 극복할 수는 없다는 점을 겸허히 언급한다. 즉, 기본 모델이 특정 IoU를 달성할 수 없다면 신뢰 집합도 이를 보장할 수 없다. 또한, 이 방법은 의미 있는 다양성을 유도하는 조절 가능한 파라키터의 존재에 의존한다. 저자들은 마스크 다양성을 명시적으로 장려하는 훈련 전략 개발과, 더 큰 파라미터 공간을 처리하기 위한 조합 최적화 단계(집합 커버 및 중복 제거)의 확장 가능한 근사법 개발을 향후 과제로 제시한다.