기술 요약: CONSIGN - 분해를 통한 공간 그룹에 기반한 컨포멀 분할

1. 문제 정의

기계 학습 기반 이미지 분할 모델은 일반적으로 불확실성의 휴리스틱 지표로 작용하는 픽셀 단위 신뢰도 점수 (예: 소프트맥스 확률) 를 출력합니다. 의료 영상과 같은 고위험 분야에서 이러한 점수는 가치가 있지만, 엄격한 통계적 보장을 제공하지는 못합니다. 컨포멀 예측 (Conformal Prediction, CP) 은 이러한 휴리스틱을 사용자가 지정한 오류 보장을 갖춘 통계적으로 유효한 불확실성 추정치로 변환하는 프레임워크를 제공합니다 (컨포멀 리스크 제어).

그러나 분할 분야에서 기존 CP 적용의 중요한 한계는 픽셀 단위 독립성 가정입니다. 표준 방법은 각 픽셀에 대해 별도의 예측 집합을 구성하여 이미지 데이터에 내재된 근본적인 공간 상관관계를 무시합니다. 이러한 공간 구조에 대한 무시는 다음과 같은 결과를 초래합니다:

• 과도하게 보수적인 추정: 결과적으로 생성된 예측 집합 (가능한 분할 마스크 집합) 이 불필요하게 커집니다.
• 일관성 없는 예측: 집합 내에 공간적으로 불일치하거나 비현실적인 (예: 노이즈가 많고 조각난 마스크) 조합적 레이블 구성이 포함될 수 있습니다.
• 해석 가능성 저하: 구조적 제약이 부족하여 불확실성 추정치가 의사결정에 덜 의미 있게 됩니다.

2. 방법론: CONSIGN

저자들은 CONSIGN(분해를 통한 공간 그룹에 기반한 컨포멀 분할) 을 제안합니다. 이 방법은 컨포멀 예측 프레임워크에 공간 상관관계를 통합합니다. 이 접근법은 몬테카를로 드롭아웃, 베이지안 모델링, 또는 앙상블을 통해 여러 샘플 출력을 생성할 수 있는 사전 훈련된 분할 모델과 호환되도록 설계되었습니다.

이 방법은 두 가지 주요 단계로 구성됩니다:

A. 공간 인지형 집합 구성

픽셀을 독립적으로 처리하는 대신, CONSIGN 은 **특이값 분해 (SVD)**를 통한 **주성분 분석 (PCA)**을 활용하여 이미지 전반의 불확실성 공동 변동을 포착합니다.

1. 샘플 생성: 사전 훈련된 모델 $f$가 주어지면, 주어진 입력 이미지 $X$에 대해 $N_s$개의 샘플 출력 $\hat{s}_1, \dots, \hat{s}_{N_s}$를 생성합니다.
2. SVD 분해: 샘플들은 평균 $\mu(X)$를 중심으로 중심화되고 분해됩니다:
   $$\hat{S} - \mu(X) \cdot \mathbf{1}^T = U \Sigma V^T$$
   $U$의 열 (기호 $u_k$) 은 불확실성의 주된 방향을 나타냅니다. 저자들은 전체 기저에 비해 계산 복잡성을 크게 줄이면서 필수적인 공간 구조를 포착하는 데 소수의 성분 ($K \in \{2, 5\}$) 을 사용한 잘라낸 SVD 가 충분하다고 지적합니다.
3. 계수 경계: 각 주성분 $k$에 대해, 보정 샘플에 대한 투영 계수의 경험적 분위수 ($a_k, b_k$) 를 계산합니다. 이는 기준 구간을 정의합니다.
4. 예측 집합 정의: 예측 집합 $C^*_\lambda(X)$는 매개변수 $\lambda$로 스케일링된 경계 내에 계수 $c_k$가 있는 첫 $K$개의 주성분의 선형 결합으로 재구성될 수 있는 모든 레이블 맵 $Y$의 집합으로 정의됩니다:
   $$c_k \in \left[ \frac{a_k+b_k}{2} - \lambda \Sigma_{k,k} \frac{b_k-a_k}{2}, \quad \frac{a_k+b_k}{2} + \lambda \Sigma_{k,k} \frac{b_k-a_k}{2} \right]$$
   최종 레이블 맵은 재구성된 점수 벡터에 적용된 비선형 투영 $P(\cdot)$(argmax) 를 통해 얻어집니다. 이 비선형성은 저차원 표현을 유지하면서 레이블별 정확도 제약 ($\beta$) 을 강제할 수 있게 합니다.

B. 보정

이 방법은 컨포멀 리스크 제어 보장을 만족하는 최적의 $\hat{\lambda}$를 결정하기 위해 보정 절차를 사용합니다:
$$\mathbb{E}[\ell(C(X_{test}), Y_{test})] \leq \alpha$$
여기서 $\ell$은 예측 집합에 실제 레이블이 포함되지 않음을 측정하는 유계 손실 함수입니다.

• 최적화 과제: 실제 레이블이 집합에 포함되는지 확인하는 것이 단순한 픽셀 단위 방법과 달리, CONSIGN 에서 $Y \in C^*_\lambda(X)$인지 확인하려면 재구성된 마스크가 $Y$와 일치하는 (정확도 $\beta$까지) 경계 내의 계수 벡터 $c$가 존재하는지 찾아야 합니다.
• 해결책: 저자들은 실제 레이블과 재구성된 마스크 간의 손실을 최소화하는 최적 계수 $c^*$를 찾기 위해 이를 제약 최소화 문제로 공식화합니다. 수치 솔버가 경계 내에서 해를 찾으면, 실제 레이블이 커버되었다고 간주합니다.
• 보장: 솔버가 전역 최적해를 찾지 못하더라도 (잠재적으로 더 보수적인 $\lambda$로 이어질 수 있음), 통계적 커버리지 보장은 유효하게 유지됩니다.

3. 주요 기여

• 공간 인지형 컨포멀 예측: 이 논문은 픽셀 단위 독립성 가정을 넘어 이미지 분할을 위한 컨포멀 예측 집합에 공간 상관관계를 명시적으로 통합하는 새로운 프레임워크를 소개합니다.
• SVD 기반 분해: SVD 를 활용하여 불확실성의 주된 방향을 추출함으로써, 구조적으로 일관되고 픽셀 단위 기준선보다 훨씬 작은 (낮은 불확실성 부피) 예측 집합을 구성합니다.
• 잘라낸 기법의 효율성: 저자들은 매우 적은 수의 주성분 ($K=2$ 또는 $5$) 으로 의미 있는 예측 집합을 달성할 수 있음을 입증하여, 비선형 투영 단계에도 불구하고 이 접근법이 계산적으로 실현 가능함을 보여줍니다.
• 일반적 적용성: 이 방법은 모델에 구애받지 않으며, 사전 훈련된 모델에서 여러 샘플을 생성할 수 있는 능력만 요구하며, 의료 및 자연 이미지 데이터셋 모두에 적용 가능합니다.

4. 실험 결과

저자들은 CONSIGN 을 두 가지 기준선과 비교 평가했습니다:

1. 픽셀 단위 RAPS: 픽셀을 독립적으로 처리하는 표준 컨포멀 리스크 제어 방법.
2. SACP(공간 인지형 컨포멀 예측): 로컬 이웃에 걸쳐 소프트맥스 점수를 집계하는 방법.

데이터셋: 세 가지 의료 영상 데이터셋 (M&Ms-2, MS-CMR19, LIDC) 과 두 가지 COCO 부분집합 (동물, 차량).
지표:

• Chao 추정기: 예측 집합 내 고유 분할 수 (불확실성 부피) 를 추정합니다.
• 샘플 기반 추정 커버리지 (sEC): 경험적 커버리지가 목표 $1-\alpha$로 얼마나 빠르게 수렴하는지 측정합니다.
• 상관관계: 샘플링된 분할 간의 내부 상관관계를 측정합니다.

결과:

• 감소된 불확실성 부피: CONSIGN 은 RAPS 와 SACP 모두에 비해 현저히 낮은 불확실성 부피 (더 적은 고유 분할) 를 가진 예측 집합을 일관되게 생성했습니다. LIDC 데이터셋에서는 그 차이가 수 차수 (orders of magnitude) 에 달했습니다.
• 향상된 효율성: CONSIGN 은 기준선보다 적은 샘플로 필요한 커버리지 보장을 달성하여, 예측 집합이 저차원 부분 공간을 차지함을 나타냈습니다.
• 구조적 일관성: CONSIGN 에 의해 생성된 샘플은 더 높은 내부 상관관계를 보이며 영역 간 전환이 더 매끄러워, 픽셀 단위 접근법에서 흔히 보이는 "노이즈가 많거나" 조합적으로 일관성 없는 마스크를 피했습니다.
• 기준선의 한계: 사후에 점수를 집계하는 SACP 방법은 픽셀 단위 RAPS 와 유사한 성능을 보였으며, 단순한 집계는 긴밀한 불확실성 경계를 위해 필요한 진정한 공간적 의존성을 효과적으로 포착하지 못함을 시사합니다.

5. 중요성과 한계

중요성:
이 논문은 CONSIGN 이 이미지 분할에서 "의미 있는" 그리고 "해석 가능한" 불확실성 추정치를 생성하는 강력한 도구를 제공한다고 주장합니다. 공간 상관관계를 인정함으로써, 특히 위양성/위음성의 비용이 높은 의료 영상과 같은 중요한 의사결정에 더 유용한 더 긴밀한 예측 집합을 생성합니다. 이 방법은 하위 분할 모델의 재훈련 없이 휴리스틱 신뢰도 점수를 통계적으로 유효한 경계로 변환합니다.

한계:

• 교환성 가정: 모든 표준 컨포멀 예측 방법과 마찬가지로, 보장은 보정 데이터와 테스트 데이터가 교환 가능 (예: i.i.d.) 하다는 가정 하에 유효합니다. 이 방법은 현재 분포 변화나 분포 외 (out-of-distribution) 데이터를 다루지 않습니다.
• 계산 비용: 예측 집합의 암시적 형태는 보정 중 수치 최적화 문제를 해결해야 하므로 픽셀 단위 방법에 비해 오프라인 계산 시간이 증가합니다. 그러나 저자들은 온라인 샘플링은 여전히 빠르다고 지적합니다.
• 솔버 최적성: 커버리지 보장은 수치 솔버가 적합한 계수 벡터를 찾는 것에 의존합니다. 솔버가 보수적일 경우 ( $\lambda$ 증가) 통계적 보장은 유효하지만, 이는 병리적 사례에서 이론적으로 필요한 것보다 더 넓은 경계로 이어질 수 있습니다.