Through the Looking Glass: A Dual Perspective on Weakly-Supervised Few-Shot Segmentation

기술 요약: Through the Looking Glass (TLG)

문제 정의
현재의 퓨샷 시맨틱 세그멘테이션(few-shot semantic segmentation)을 위한 메타 러닝 접근 방식은 일반적으로 서포트(support) 브랜치와 쿼리(query) 브랜치 모두에 동일한 네트워크 아키텍처를 채택합니다. 이러한 방식은 동일한 카테고리를 공유하는 동종(homologous) 서포트-쿼리 쌍으로부터 귀납적 편향(inductive bias)을 추출하는 것을 목표로 하지만, 저자들은 이러한 "동종 네트워크(homologous network)" 설계가 **과도한 시맨틱 균질화(over-semantic homogenization)**를 초래한다고 주장합니다. 두 브랜치를 동일한 시맨틱 매핑 공간 내에서 작동하도록 강제함으로써, 모델은 공유된 특징(예: 모든 개에게 공통적인 '머리')을 지나치게 강조하는 반면, 인스턴스 수준의 이질적인 세부 사항(예: 특정 털 색깔이나 크기)은 간과하는 경향이 있습니다. 이는 과소 분할(under-segmentation)을 야기하고 보완적인 시맨틱 정보를 포착하는 능력을 제한합니다. 나아가, 정밀한 픽셀 단위 마스크 없이 이미지 수준의 레이블만 사용되는 약지도 퓨샷 시맨틱 세그멘테이션(Weakly-Supervised Few-Shot Semantic Segmentation, WFSS) 맥락에서, 기존의 최첨단(SOTA) 모델들은 높은 파라미터 수와 계산 비용을 수반함에도 불구하고 멀티모달 사전 지식(multimodal priors)의 잠재력을 충분히 활용하지 못하는 경우가 많습니다.

방법론
본 논문은 서포트-쿼리 쌍을 두 가지 관점으로 취급하도록 설계된 새로운 **동종적이지만 이질적인 네트워크(homologous but heterogeneous network)**인 **TLG (Through the Looking Glass)**를 제안합니다. 이 프레임워크는 세 가지 핵심 모듈을 기반으로 구축되었습니다:

1. 이질적 집계 (Heterogeneous Aggregation, HA): 양쪽 브랜치에서 동일한 백본 레이어로부터 특징을 추출하는 대신, TLG는 차별화된 레이어 선택 전략을 사용합니다. 예를 들어, 서포트 브랜치는 레이어 3, 9, 12에서 특징을 추출하는 반면, 쿼리 브랜치는 레이어 0, 4, 10에서 특징을 추출합니다. 이러한 레이어 내 이질성은 저수준의 세부 사항(쿼리)과 고수준의 시맨틱(서포트)을 동시에 활용함으로써 시맨틱 풍부성을 극대화하는 동시에, 결합(concatenation) 및 상관관계 메커니즘을 통해 시맨틱 공통성을 유지합니다.
2. 이질적 운송 (Heterogeneous Transport, HT): 이질적인 특징을 집계할 때 필연적으로 발생하는 시맨틱 노이즈 문제를 해결하기 위해, HT 모듈은 **최적 운송(Optimal Transport, OT)**을 활용합니다. 이 모듈은 이질적인 시맨틱 정보의 정렬을 운송 비용 최소화 문제로 모델링하며(Sinkhorn 알고리즘을 통해 해결), 이 과정을 통해 노이즈와 중복된 특징을 억제하는 동시에 교차 주의(cross-attention) 메커니즘을 통해 문맥적 관련성을 강화합니다. 또한, 원래 입력 특징의 일부를 보존하기 위해 **이질적 잔차(Heterogeneous Residuals, HR)**를 도입하여 정렬 과정에서 표현의 다양성이 손실되지 않도록 합니다.
3. 이질적 CLIP (Heterogeneous CLIP, HC): 일반화 성능을 높이기 위해, TLG는 CLIP으로부터 멀티모달 텍스트 정보를 통합합니다. 모든 배경 사전 지식을 공통 공간으로 매핑하는 기존 방식과 달리, TLG는 최대 매칭(maximum matching) 전략을 도입합니다. LLM(예: ChatGPT)을 통한 사고의 사슬(Chain-of-Thought) 접근 방식을 사용하여 전경 객체와 함께 나타나는 특정 배경 카테고리(예: '나무'와 '하늘'이 있는 '새')를 식별합니다. 이러한 미세한 이질적 텍스트 프롬프트(예: '깃털이 있는 새')는 이질적 CLIP 어댑터를 통해 시각적 특징과 융합되어, 텍스트 사전 지식과 시각적 시맨틱 사이의 정렬을 개선합니다.

주요 기여

• 패러다임 전환: 저자들은 메타 러닝의 한계점을 식별하고, 동종적이지만 이질적인 네트워크 설계를 제안하며, 서로 다르지만 시맨틱적으로 정렬된 아키텍처가 "이질적인 것의 이질성"을 더 잘 포착한다고 주장합니다.
• 새로운 모듈: 각각 시맨틱 과잉 균질화, 이질적 집계에서의 노이즈 감소, 그리고 멀티모달 일반화를 해결하기 위한 HA, HT, HC 모듈을 도입했습니다.
• 효율성 및 성능: TLG는 현저히 줄어든 계산 자원으로 상당한 성능 향상을 달s성했습니다. 기존 SOTA 모델(특히 AFANet)의 1/24에 불과한 학습 가능한 파라미터만을 사용합니다.
• 약지도 학습의 돌파구: 본 논문은 TLG가 동일한 백본 아키텍처 하에서 완전 지도(pixel-level label) 모델의 성능을 능가하는 최초의 약지도(image-level label) 모델임을 주장합니다.

실험 결과
이미지 수준의 레이블을 사용하는 Pascal-5i 및 COCO-20i 데이터셋에 대해 광범위한 실험이 수행되었습니다.

• Pascal-5i: ResNet50 백본을 사용하여, TLG는 1-shot 설정에서 77.2 mIoU, 5-shot 설정에서 77.9 mIoU를 달성했습니다. 이는 SOTA 약지도 모델인 AFANet 대비 13.2% 향상된 수치입니다.
• COCO-20i: TLG는 1-shot에서 51.5 mIoU, 5-shot에서 51.6 mIoU를 달성하여 AFANet 대비 7.9%의 향상을 보여주었습니다.
• 경량화: 성능 향상에도 불구하고, TLG는 단 4.47M의 학습 가능한 파라미터만을 필요로 합니다(AFANet의 108.35M 대비). 또한 훨씬 낮은 FLOPs와 추론 지연 시간(예: ResNet50 기준 1-shot 추론 시 36.72ms vs 73.21ms)을 기록했습니다.
• 완전 지도 학습과의 비교: TLG는 오직 거친 이미지 수준의 레이블만을 사용했음에도 불구하고, Pascal-5i에서 완전 지도 SOTA 모델들(예: VRP-SAM, PGMA-Net)보다 우수한 성능을 보였습니다.

의의 및 주장
본 논문은 효과적인 메타 러닝의 핵심이 균일성을 강요하는 것이 아니라, **보완적인 이질성(complementary heterogeneity)**을 활용하는 데 있다고 상정합니다. 서포트와 쿼리를 서로 다른 특징 추출 경로를 가진 두 가지 관점으로 취급함으로써, TLG는 메타 러닝 모델의 잠재력을 완전히 끌어냅니다. 저자들은 TLG가 약지도 학습의 새로운 벤치마크를 설정했다고 주장하며, 이미지 수준의 감독이 이질적 네트워크 설계 및 멀티모달 사전 지식과 결합될 때 완전 지도 대응 모델을 능가할 수 있음을 입증했습니다. 이는 "이질성"이 극복해야 할 과제가 아니라, 데이터가 부족한 시나리오에서 더 나은 일반화를 위해 설계되어야 할 자원이라는 설계 철학의 변화를 시사합니다.