기술 요약: CLIP 기반 약지도 세만틱 세그멘테이션을 위한 HCSC-Net

1. 문제 정의

약지도 세만틱 세그멘테이션(WSSS)은 노동 집약적인 픽셀 단위 레이블링에 대한 의존도를 줄이기 위해, 이미지 수준의 주석만을 사용하여 조밀한 픽셀 수준의 세만틱 이해를 달하는 것을 목표로 한다. Contrastive Language-Image Pre-training (CLIP)을 활용하는 최근 방법들은 견고한 교차 모달 세만틱 정렬을 구축함으로써 유망한 결과를 보여주었으나, 기존 방식들은 조밀한 세만틱 국지화 과정에서 다음과 같은 세 가지 결정적인 한계점을 겪는다:

1. 불충분한 구조적 일관성: 기존 방법들은 시각적 인코딩 이전에 구조적 모델링을 간과하는 경우가 많다. CLIP 패치 임베딩은 국소적 공간 분포에 민감하기 때문에, 노이즈가 있는 텍스처와 배경 영역은 불안정한 표현을 초래하여 파편화된 활성화 응답을 유발할 수 있다.
2. 파편화된 전경 활성화: 생성된 클래스 활성화 맵(CAM)은 종종 객체의 가장 변별력 있는 부분에만 집중되어, 세만틱 파편화와 불완전한 객체 영역을 초래한다.
3. 심각한 배경 간섭: 다층 특징 결합 이후, 융합된 세만틱 특징은 효과적인 문맥 교정 메커니즘이 부족한 경우가 많아 복잡한 장면에서 객체 경계가 흐릿해지고 국지화의 신뢰도가 떨어진다.

2. 방법론

본 논문은 계층적 교정 전략을 통해 구조적 일관성과 세만틱 압축성을 점진적으로 향상시키도록 설계된 단일 단계 프레임워크인 HCSC-Net(Hierarchical Contextual Semantic Calibration Network)을 제안한다. 이 아키텍처는 두 가지 주요 모듈을 통합한다:

A. 그룹별 구조 교정 (GSC) 모듈

동결된 CLIP 시각적 인코딩 이전에 위치하는 GSC 모듈은 저수준 구조적 표현을 안정화하고 노이즈가 있는 공간 응답을 억제하는 것을 목표로 한다.

• 메커니즘: 입력 특징 맵은 채널 차원을 따라 $G$개의 그룹으로 나뉜다. 각 그룹에 대해, 적응형 평균 풀링을 통해 전역 구조 통계량이 추출된다.
• 교정: 이 모듈은 공간 응답을 정규화하고 학습 가능한 스케일링 및 바이어스 파라미터를 적용함으로써 적응형 그룹 수준 영역 교정을 수행한다. 이를 통해 구조적 어텐션 가중치를 생성하며, 이 가중치는 원래의 그룹화된 특징들에 적용된다.
• 목표: 패치 임베딩 전에 구조적 일관성을 강화하고 배경 노이즈를 억제하여, 더 신뢰할 수 있는 패치 수준의 세만틱 표현을 보장한다.

B. 잔차 문맥 세만틱 교정 (RCSC) 모듈

조밀한 특징 결합 이후에 위치하는 RCSC 모듈은 고수준 세만틱 표현을 정제하여 전경의 연속성과 경계 무결성을 개선한다.

• 메커니즘: 이 모듈은 세 개의 상호 연결된 브랜치를 통해 작동한다:
  1. 공간 세만틱 교정: 채널별 평균 및 최대 풀링을 사용하여 공간 어텐션 맵을 생성함으로써 정보가 풍부한 전경 영역을 강조한다.
  2. 채널 문맥 교정: 공간 너비 차원을 따른 적응형 풀링과 경량 채널 엑사이테이션 브랜치를 사용하여 채널 간 세만틱 의존성을 모델링하고 변별력 있는 세만틱 채널을 강화한다.
  3. 잔차 문맥 변조: 평균 풀링을 통해 수용 영역을 확장하여 광범위한 문맥 의존성을 포착하고, 잔차 연결을 통해 이 문맥을 현재의 세만틱 표현과 융합한다.
• 목표: 문맥 세만틱 압축성과 지역적 연속성을 최적화하여, 더 완전한 전경 활성화 영역을 생성한다.

C. 훈련 목적 함수

프레임워크는 다음으로 구성된 하이브리드 최적화 목적 함수를 사용한다:

• 세그멘테이션 감독 손실 ($L_{seg}$): 트랜스포머 디코더를 감독하기 위해 정제된 세만틱 맵으로부터 생성된 의사 레이블(pseudo-labels)을 사용하는 픽셀 단위 크로스 엔트로피 손실.
• 친화도 일관성 손실 ($L_{aff}$): 픽셀 수준의 특징 표현 간의 세만틱 친화도를 제약하는 정규화 항으로, 동일 카테고리의 픽사들은 유사한 문맥 표현을 유지하도록 장려하는 동시에 서로 다른 카테고리 간의 세만틱 격차를 확대한다.

3. 주요 기여

저자들은 다음과 같이 기여를 요약한다:

• 새로운 프레임워크: 계층적 교정 전략을 활용하여 구조적 일관성과 세만틱 압축성을 점진적으로 향상시키는 CLIP 기반 WSSS 프레임워크인 HCSC-Net을 제안한다.
• GSC 모듈: 패치 수준의 구조적 표현을 안정화하고 노이즈가 있는 공간 응답을 억제하여 조밀한 국지화 일관성을 개선하는, 시각적 인코딩 전 단계의 모듈을 도입한다.
• RCSC 모듈: 문맥 세만틱 상호작용과 잔차 교정을 통해 융합된 조밀한 세만틱 특징을 최적화하여, 더 완전한 전경 활성화와 명확한 경계를 달성하는 모듈을 설계한다.
• 성능: 복잡한 다단계 반복 정제나 추가적인 후처리 단계 없이도 표준 벤치마크에서 최첨단 성능을 달성하는 단일 단계 추론 프레임워크를 입증한다.

4. 실험 결과

PASCAL VOC 2012 및 MS COCO 2014 벤치마크에서 광범적인 실험이 수행되었다.

• PASCAL VOC 2012: HCSC-Net은 검증 세트에서 75.8%, 테스트 세트에서 **77.8%**의 mIoU를 달성했다. 이는 강력한 CLIP 기반 베이스라인인 PCRE(val 75.5%), WeCLIP(val 74.9%) 및 PSDPM과 같은 다단계 방법들을 능가하는 수치이다.
• MS COCO 2014: 모델은 검증 세트에서 **48.1%**의 mIoU를 달성하여 WeCLIP(46.4%), CPAL(46.8%), DIAL(44.4%)을 앞질렀다.
• 어블레이션 연구 (Ablation Studies):
  • 베이스라인(동결된 CLIP)은 74.3% mIoU를 달성했다.
  • GSC만 추가했을 때 mIoU는 75.3%로 향상되었다.
  • RCSC만 추가했을 때 mIoU는 75.4%로 향상되었다.
  • 두 모듈을 결기했을 때 가장 높은 성능(75.8%)을 보여, 이들의 상호 보완적인 성격을 확인했다.
• 정성적 분석: 시각화 결과, HCSC-Net은 베이스라인에 비해 특히 여러 객체가 포함되거나 작은 타겟이 있는 복잡한 장면에서 더 압축된 특징 클러스터, 더 완전한 전경 활성화 및 더 명확한 세만틱 경계를 생성함을 보여준다.

5. 의의 및 주장

본 논문은 HCSC-Net이 구조적 일관성 및 문맥 세만틱 교정과 관련하여 기존 CLIP 기반 WSSS 방법들이 가진 결정적인 간극을 해결한다고 주장한다. 구조적 정제를 인코딩 전에, 문맥적 정제를 융합 후에 통합함으로써, 이 프레임워크는 활성화 파편화와 세만틱 모호성을 효과적으로 완화한다.

저자들은 본 방법이 다단계 반복 프로세스와 관련된 오류 누적 없이 더 높은 품질의 의사 레이블과 조밀한 세만틱 표현을 생성하는 견고한 단일 단계 솔루션을 제공한다고 단언한다. 본 방법이 일반적인 시나리오에서 우수한 성능을 입증하였으나, 저자들은 극도로 작은 객체 및 심하게 가려진 장면을 처리하는 데 있어 한계가 있음을 겸허히 인정하며, 적응형 다중 스케일 문맥 모델링에 대한 향후 연구 과제를 제시하였다.