기술 요약: 불확실성과 프로토타입을 통한 반지도 학습 기반 시맨틱 세그멘테이션을 위한 이중 가이드 프레임워크

1. 문제 정의

반지도 시맨틱 세그멘테이션(Semi-supervised semantic segmentation, SSSS)은 풍부한 미라벨 데이터를 활용하여 조밀한 픽셀 수준 주석에 대한 의존도를 낮추는 것을 목표로 한다. 현재의 최첨단 방식들은 주로 약한 증강(weakly augmented) 뷰에서 생성된 의사 라벨(pseudo-labels)이 강한 증강(strongly augmented) 뷰의 학습을 유도하는 "약한-대-강한(weak-to-strong)" 일관성 프레임워크를 활용한다.

그러나 기존 방법론들은 두 가지 결정적인 한계에 직면해 있다:

1. 노이즈가 있는 의사 라벨과 확증 편향(Confirmation Bias): 정적이고 높은 신뢰도 임계값(softmax 확률 기반)에 의존하는 방식은 딥 뉴럴 네트워크의 내재적인 과잉 확신(overconfidence)을 고려하지 못하는 경우가 많다. 이는 잘못된 예측을 포함시키거나 객체 경계 근처의 정보가 풍부한 픽셀들을 버리게 만드는 결과를 초래한다.
2. 열악한 특징 표현(Feature Representation): 전통적인 방식들은 주로 출력 로짓(logit) 공간 내에서 작동하는 "내향적(inward-looking)" 구조를 가진다. 이들은 잠재 특징 공간(latent feature space)에 대한 명시적인 정규화를 결여하고 있어, 특히 형태학적으로 유사한 클래스들에 대해 시맨틱 표현이 제대로 분리되지 않는 결과를 낳는다. 이는 결정 경계를 흐릿하게 만들고 특징 클러스터 간의 중첩을 야기한다.

2. 방법론

저자들은 예측 공간을 정제하고 표현 공간을 정규화하는 것을 공동으로 수행하는 **이중 가이드 프레임워크(Dual-Guidance Framework)**를 제안한다. 이 프레임워크는 UniMatch 패러다임(ResNet-101 백본의 DeepLabv3+ 사용)을 기반으로 구축되었으며, 두 가지 시너지 효과를 내는 모듈을 도입한다.

A. 불확실성 인지 동적 의사 라벨 정제 (UADPR)

이 모듈은 예측 공간에서의 의사 라벨 신뢰도를 개선한다.

• 메커니즘: UADPR은 정적 임계값을 사용하는 대신, 약하게 증강된 이미지에 대해 $T$번의 확률적 순전파(stochastic forward passes)를 수행하기 위해 몬테카를로(MC) 드롭아웃을 채택한다.
• 불확실성 추정: 평균화된 예측 분포의 엔트로피를 사용하여 픽셀 수준의 불확실성을 정량화한다.
• 동적 임계값 설정: 글로벌 신뢰도 임계값 $\tau(k)$는 배치 수준의 정규화된 불확실성과 훈련 에포크(epoch)에 따라 동적으로 조정된다. 이를 통해 모델은 초기 훈련 단계(불확실성이 높을 때)에는 덜 보수적이고, 모델이 안정화됨에 따라 더 엄격해질 수 있다.
• 신뢰도 가중치 부여: 각 유효한 의사 라벨 픽셀에 신뢰도 점수와 불확실성의 역수를 결합한 연속적인 가중치 $w_i$를 할당한다. 이는 모델이 신뢰할 수 있는 영역에 집중하면서도 모호한 경계 영역을 신중하게 평가하도록 보장한다.
• 손실 함수: 이 모듈은 의사 라벨 손실(불확실성에 의해 가중치 부여됨), 약한 뷰와 강한 뷰 사이의 일관성 정규화, 그리고 엔트로피 최소화를 최적화한다.

B. 클래스-프로토타입 대조 가이드 (CPCG)

이 모듈은 표현 공간에서의 특징 혼란을 해결한다.

• 동적 프로토타입: 이 프레임워크는 라벨링된 픽셀과 신뢰할 수 있는 미라벨 픽셀의 특징으로부터 지수 이동 평균(EMA)을 통해 업데이트되는 글로벌 클래스 프로토타입 뱅크를 유지한다.
• 분산 인식 대조 학습: 클래스 간의 내부 분산이 서로 다름을 인식하여, CPCG는 클래스 적응형 온도(class-adaptive temperature) 파라미터를 도입한다. 이는 각 클래스 내 특징의 분산에 따라 대조 학습 손실을 스케일링한다.
• 하드 네거티브 마이닝(Hard Negative Mining): 혼란을 주는 클래스 간의 경계를 날카롭게 하기 위해, 이 모듈은 가장 혼란스러운 상위-$K$개의 부정적 프로토타입(hard negatives)을 찾아내어 해당 특정 클래스로부터 특징을 밀어내는 데 대조 손실을 집중시킨다.
• 라벨 융합: 프로토타입 가이드 유사도는 MC 평균 예측과 융합되어 "하드 가이드 의사 라벨(hard guided pseudo-label)"을 생성한다. 이 라벨 할당은 예측 신뢰도와 특징 수준의 시맨틱 친밀도를 모두 활용한다.
• 손실 함수: 이 모듈은 프로토타입 대조 손실, 교차 샘플 프로토타입 일관성 항(드리프트 방지용), 그리고 하드 네거티브 손실을 최적화한다.

C. 시너지 상호작용

두 모듈은 폐쇄 루프(closed loop) 형태로 작동한다:

1. UADPR은 노이즈가 있는 타겟을 필터링하여, CPCG의 프로토타입 업데이트를 안정화하는 깨끗하고 불확실성 가중치가 적용된 감독 신호를 제공한다.
2. CPCG는 특징 공간을 조직하여 구조화된 시맨틱 클러스터를 생성하고, 이는 더 정확한 유사도 맵을 산출한다. 이 맵들은 다시 의사 라벨 생성 과정에 융합되어 UADPR을 위한 라벨의 품질을 향상시킨다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. UADPR 모듈: 픽셀 수준의 불확실성을 추정하기 위해 MC 드롭아웃을 사용하는 새로운 메커니즘을 통해 적응형 신뢰도 임계값 설정 및 신뢰도 가중치 시스템을 구축하며, 이를 통해 예측 공간에서의 확증 편향을 효과적으로 완화한다.
2. CPCG 모듈: EMA로 업데이트되는 동적 프로토타입, 분산 인식 적응형 온도 스케일링, 그리고 하드 네가티브 마이닝을 활용한 특징 정규화 접근법을 사용하여 클래스 내 응집도와 클래스 간 분리도를 보장한다.
3. 통합 프레임워크: 광범적인 실험을 통해 이중 가이드 접근 방식이 표준 프로토콜 하에서 경쟁력 있는 성능을 달enced하며, 특히 라벨 데이터가 극도로 제한된 데이터 희소 시나리오에서 탁월한 강건성을 보여줌을 입증한다.

4. 실험 결과

프레임워크는 DeepLabv3+와 ResNet-101을 사용하여 UniMatch 프로토콜에 따라 PASCAL VOC 2012 및 Cityscapes 데이터셋에서 평가되었다.

• PASCAL VOC 2012:
  • 극단적인 데이터 희소 설정(라벨링된 이미지 92장)에서, 제안된 방법은 78.16% mIoU를 달성하여 UniMatch 베이스라인(75.18%)보다 +2.98% 우수했으며, CSL(76.80%) 및 AllSpark(76.07%)와 같은 최근의 강력한 경쟁 모델들을 능가했다.
  • 732장의 라벨링된 이미지를 사용했을 때, 이 방법은 82.94% mIoU에 도달하여 베이스라인 대비 **+3.02%**의 향상을 보였다.
• Cityscapes:
  • 1/16 라벨 분할(186장)에서, 이 방법은 79.08% mIoU를 달성하여 UniMatch 베이스라인을 +2.46% 초과했다.
  • 성능은 1/2 분할로 확장될 때 효과적으로 상승하여 82.12% mIoU에 도달했다.
• 절제 연구(Ablation Studies):
  • UADPR만 통합했을 때 VOC 92-split mIoU가 +2.44% 향상되었다.
  • CPCG만 통합했을 때 +2.28% 향상되었다.
  • 결합된 프레임워크는 가장 높은 이득(+2.98%)을 기록하여, 두 모듈의 시너지 효과를 확인시켜 주었다.
• 정성적 분석: 시각화(t-SNE, 불확실성 맵, 세그멘테이션 마스크)를 통해 본 프레임워크가 더욱 조밀한 클래스 내 클러스터, 더 명확한 클래스 간 경계, 그리고 특히 모호한 경계 영역과 얇은 구조에서 더 공간적으로 일관된 의사 라벨을 생성함을 확인했다.

5. 의의 및 주장

본 논문은 제안된 Dual-Guidance 프레임워크가 의사 라벨 정제와 특징 수준의 정규화 사이의 간극을 성공적으로 메운다고 주장한다. 예측 불확실성을 명시적으로 모델링하고 잠재 공간 내에 시맨틱 구조를 강제함으로써, 이 방법은 현재의 일관성 기반 SSSS 접근 방식의 핵심 약점인 확증 편향과 특징 혼란을 해결한다.

저자들은 이 접근 방식이 특히 데이터 희소 설정에서 효과적이라고 단언하는데, 이는 노이즈를 동적으로 필터링하고 특징을 조직하는 능력이 매우 중요하기 때문이다. 저자들은 전통적인 출력 공간 자가 학습을 명시적인 표현 정렬(representation alignment)로 확장하는 것이 라벨 효율적인 비전 태스크를 개선하는 유망한 방향임을 결론짓는다.

인정된 한계점:
저자들은 몬테카를로 드롭아웃에 대한 의존도가 여러 번의 확률적 순전파로 인해 메모리 사용량과 훈련 시간을 증가시킨다는 점을 언급한다. 또한, 프로토타입 뱅크가 미니 배치 내 희귀 클래스에 대해 덜 안정적일 수 있으며, 신뢰도는 높지만 잘못된 의사 라벨이 프로토타입 업데이트에 일시적으로 영향을 미칠 수 있음을 인정한다.