FARCLUSS: Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning for Semi-Supervised Semantic Segmentation

기술 요약: FARCLUSS

문제 정의

준지도 학습 기반 시맨틱 세그멘테이션(Semi-supervised semantic segmentation, SSSS)은 소량의 레이블된 이미지와 풍부한 레이블 없는 데이터를 함께 활용하여 완전 지도 학습 모델에 필적하는 성능을 달eric하는 것을 목표로 합니다. 그러나 기존 방식들은 세 가지 지속적인 한계에 직면해 있습니다:

1. 비효ive한 의사 레이블(Pseudo-Labels) 활용: 현재의 방법들은 엄격한 신뢰도 임계값에 의존하여 하드(hard) 의사 레이벨을 생성합니다. 이는 예측 확률이 모호한 "불확실한" 영역(예: 객체의 경계 또는 가려진 영역)을 버리게 되어, 귀중한 감독 신호를 상실하고 확증 편향(confirmation bias)을 강화합니다.
2. 클래스 불균형: 롱테일 데이터셋에서 의사 레이블은 지배적인 클래스(예: 도로, 하늘)로 편향되는 경향이 있어, 소수 클래스(예: 교통 표지판, 전봇대)가 충분히 표현되지 못하고 최적화가 제대로 이루어지지 않습니다.
3. 계산 비효율성: 특징의 판별력을 높이기 위해 대조 학습(contrastive learning)을 사용하는 방법들은 광범위한 픽셀 쌍 비교나 이중 네트워크 구조로 인해 높은 계산 비용을 초래하며, 이는 확장성을 제한합니다.

방법론

저자들은 표준적인 교사-학생(teacher-student) 구조를 기반으로 구축된 통합 프레임워크인 FARCLUSS(Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning)를 제안합니다. 이 방법은 앞서 언급한 과제들을 해결하기 위해 네 가지 주요 구성 요소를 통합합니다:

1. 퍼지 의사 레이벨링 (Fuzzy Pseudo-Labeling)

높은 신뢰도 임계값을 충족하지 못하는 픽셀을 버리는 대신, FARCLUSS는 각 픽셀에 대해 상위-$K$ 클래스 확률을 유지합니다.

• 메커니즘: 교사가 생성한 확률 맵에 대해 상위-$K$ 클래스를 선택합니다. 선택된 확률들을 정규화하여 부드러운 퍼지 레이블 분포를 계산합니다.
• 이점: 이를 통해 모호한 영역(예: "보도"와 "도로" 사이의 경계)에서의 부드러운 클래스 분포와 클래스 간 관계를 보존하며, 불확실성을 결함이 아닌 건설적인 학습 신호로 변환합니다.

2. 불확실성 인지 동적 가중치 부여 (Uncertainty-Aware Dynamic Weighting)

불확실한 예측으로 인한 노이즈를 완화하기 위해, 프레임워크는 학습 중 각 픽셀의 영향력을 조절합니다.

• 메커니즘: 교사의 예측에 대한 정규화된 엔트로피($H$)를 기반으로 픽셀별 가중치를 할당합니다. 가중치는 $W = 1 - H$로 정의됩니다.
• 이점: 불확실성이 높은(엔트로피가 높은) 픽셀은 낮은 가중치를 받고, 확신이 있는 예측은 증폭됩니다. 이는 노이즈가 있는 영역을 완전히 버리지 않으면서도 가중치를 낮추는 소프트 커리큘럼(soft curriculum) 역할을 합니다.

3. 적응형 클래스 재균형 (Adaptive Class Rebalancing)

의사 레이블의 다수 클래스 편향을 상쇄하기 위해, 손실 함수는 배치(batch)마다 동적으로 조정됩니다.

• 메커니즘: 현재 배치 내 의사 레이블 픽셀의 빈도에 따라 클래스 가중치($w_c$)를 계산합니다. 저자들은 중앙값 기반(median-based) 정규화 도구인 $w_c = \text{median}(F) / (F_c + \epsilon)$를 사용합니다 (여기서 $F_c$는 클래스 $c$의 빈도).
• 이점: 이 견고한 통계적 접근 방식은 역빈도(inverse-frequency) 가중치에 의한 불안정성이나 평균 기반 가중치에 의한 팽창 없이, 소수 클래스가 충분한 최적화 초점을 받을 수 있도록 보장합니다.

4. 경량 대조 정규화 (Lightweight Contrastive Regularization)

픽셀 쌍 비교의 오버헤드 없이 특징의 판별력을 높이기 위해, 이 방법은 프로토타입 기반 대조 손실을 채택합니다.

• 메커니즘: 클래스별 프로토타입(중심점)은 신뢰도가 높은 퍼지 의사 레이블을 가진 픽셀들의 평균 임베딩으로 계산됩니다. 손실 함수는 픽셀 임베딩과 그에 대응하는 클래스 프로토타입 사이의 코사인 거리를 처벌합니다.
• 이점: 이는 ReCo와 같은 쌍별(pairwise) 방식의 $O(N^2 \cdot d)$ 비용을 피하면서 $O(N \cdot d)$ 복잡도로 클래스 내 응집도와 클래스 간 분리도를 촉진합니다.

주요 기여

논문은 다음과 같이 기여를 요약합니다:

• 퍼지 의사 레이벨링: 상위-$K$ 확률로부터 부드러운 레이블 분포를 구축하여, 모호성을 학습 신호로 보존합니다.
• 불확실성 인지 동적 가중치 부여: 정규화된 엔트로피를 사용하여 픽셀별 의사 레이블의 영향을 조절함으로써 모호한 영역으로부터 발생하는 노이즈를 줄입니다.
• 적응형 재균형: 의사 레이벨 빈도에 따라 손실을 동적으로 조절하여 수동적인 휴리스틱 없이 소수 클래스의 학습을 개선합니다.
• 경량 대조 정규화: 비용이 많이 드는 쌍별 연산을 피하면서 특징의 응집도를 높이기 위해 프로토타입 기반 대조 학습을 활용합니다.

실험 결과

Pascal VOC (Classic 및 Blended)와 Cityscapes 데이터셋에 대해 ResNet-50 및 ResNet-101 백본을 사용하여 광범위한 실험을 수행했습니다.

• 성능: FARCLUSS는 다양한 레이블 데이터 비율(1/16 ~ 1/2)에 걸쳐 기존의 최첨단 방법들(UniMatch, CorrMatch, PS-MT 포함)을 일관되게 능가합니다.
  • Pascal VOC Classic에서, 대부분의 분할(split)에서 UniMatch보다 0.4~1.2 mIoU 높은 우수한 mIoU 점수를 달 achieves 합니다.
  • Cityscapes에서, 특히 저표집 클래스와 경계 영역에서 현저한 이득을 보이며 최고 수준의 결과(예: 1/2 비율에서 ResNet-101 사용 시 81.0 mIoU)를 달성합니다.
• 효율성: 이 방법은 단일 네트워크 설계를 통해 이러한 결과를 달성하며, CorrMatch의 대응 매칭(correspondence-matching) 오버헤드나 CPS의 이중 네트워크 복잡성을 피합니다. 또한 최근의 UniMatch 및 CW-BASS와 같은 방법들의 데이터 효율성에 부합합니다.
• 절제 연구(Ablation Studies):
  • 퍼지 레이벨링을 제거했을 때 가장 큰 성능 저하(-6.2 mIoU on Pascal)가 발생하여, 유익한 감독 정보를 유지하는 데 있어 그 역할을 확인했습니다.
  • 중앙값 기반 클래스 재균형이 역(inverse), 평균(mean), 조화 평균(harmonic mean) 전략보다 우수한 성능을 보였습니다.
  • 상위-$K$ 퍼지 레이벨링($K=2$)은 픽셀의 100%를 유지하면서 레이블 분포를 타당한 클래스로 제한하기 때문에 고정 임계값 필터링보다 우수함이 입증되었습니다.
  • 프로토타입 기반 대조 손실은 훨씬 낮은 메모리 사용량과 훈련 시간으로도 쌍별 방식(ReCo, U2PL)과 대등한 정확도를 달성했습니다.

의의 및 주장

본 논문은 FARCLUSS가 불확실성을 결함에서 학습 자산으로 전환하는 총체적인 솔루션을 나타낸다고 주장합니다. 하나의 통합된 프레임워크 내에서 의사 레이블 노이즈, 클래스 불균형, 계산 오버헤드를 체계적으로 해결함으로써, 이 방법은 더욱 정보가 풍부하고 균형 잡힌 학습을 가능하게 합니다.

저자들은 FARCLUSS가 특히 다음의 경우에 중요하다고 강조합니다:

1. 모호한 영역: 퍼지 레이벨링과 엔트로피 가중치를 통해, 임계값 처리 방식에 의해 일반적으로 버려지는 경계 영역으로부터 모델이 학습할 수 있게 합니다.
2. 소수 클래스: 적응형 재균형 메커니즘은 시맨틱 세그멘테이션 데이터셋에 내재된 롱테일 분포 문제를 구체적으로 겨냥합니다.
3. 확장성: 경량 대조 정규화와 단일 네트워크 설계는 정확도를 희생하지 않으면서도 대규모 데이터셋에 효율적으로 확장될 수 있도록 보장합니다.

결론적으로, FARCLUSS는 준지도 학습 기반 시맨틱 세그멘테이션 시나리오에서 불확실성 유도 및 자원 효율적 학습의 새로운 방향을 제시합니다.