Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery

1. 문제 정의 (Problem Definition)

이 논문은 일반화된 카테고리 발견 (Generalized Category Discovery, GCD) 문제를 다룹니다.

• GCD 의 목표: 알려진 카테고리 (라벨이 부분적으로 주어짐) 와 알려지지 않은 카테고리 (라벨이 없음) 를 모두 식별하는 것입니다. 이는 개방형 집합 인식 (Open-set Recognition) 의 자연스러운 확장입니다.
• 기존 방법의 한계:
  • 기존 SOTA(State-of-the-Art) 방법들은 주로 단일 시각 모달리티 (Visual Modality) 에 의존하거나, 텍스트 모달리티를 활용하더라도 **모달리티 간 정렬 (Inter-modal alignment)**에만 집중합니다.
  • **모달리티 내 정렬 (Intra-modal alignment)**을 소홀히 하여, 학습된 표현 공간에서 클래스 간 분리가 불균형하게 일어나거나 (특히 알려진 카테고리가 압축됨), 시각적으로 유사한 카테고리를 구분하는 데 실패하는 문제가 발생합니다.
  • 기존 멀티모달 접근법 (CLIP-GCD, TextGCD 등) 은 텍스트와 이미지의 정렬을 강조하지만, 각 모달리티 내부의 구조적 일관성을 유지하는 적절한 손실 함수가 부족합니다.

2. 제안된 방법론 (Methodology: SSR2-GCD)

저자들은 반지도식 레이트 감소 (Semi-Supervised Rate Reduction, SSR2) 원리를 멀티모달 표현 학습에 도입하여 SSR2-GCD 프레임워크를 제안했습니다. 이 프레임워크는 크게 세 가지 모듈로 구성됩니다.

A. 검색 기반 텍스트 집계 (Retrieval-based Text Aggregation, RTA)

• 목적: 질의 이미지에 대한 풍부하고 의미 있는 텍스트 표현을 생성하여 지식 전이를 강화합니다.
• 기법:
  • 기존 TextGCD 와 유사하게 태그 (tag) 와 속성 (attribute) 어휘를 구축하고 검색합니다.
  • 개선점: CLIP 은 긴 텍스트 프롬프트 (20 토큰 이상) 처리에 한계가 있으므로, 상위 $c$개의 가장 유사한 태그와 속성을 선택합니다.
  • 가중치 부여: 가장 유사한 항목에 높은 가중치를 부여하고 나머지 후보들로부터 정보를 집계하는 전략을 사용합니다 (식 5, 6). 이를 통해 긴 프롬프트의 한계를 우회하고 풍부한 문맥 정보를 통합합니다.

B. 반지도식 레이트 감소 모듈 (Semi-Supervised Rate Reduction, SSR2)

• 핵심 아이디어: 최대 코딩 레이트 감소 (Maximal Coding Rate Reduction, MCR2) 원리를 반지도 학습에 적용합니다.
• 손실 함수 ($\mathcal{L}_{SSR^2}$):
  • 전체 임베딩의 엔트로피를 최대화하여 표현 공간을 확장합니다 ($-R(\mathbf{Z})$).
  • 각 카테고리 (알려진/알려지지 않은) 내의 임베딩이 저차원 부분 공간으로 균형 있게 압축되도록 유도합니다 ($R_c^s, R_c^u$).
• 효과:
  • 알려진 카테고리 (Known) 와 알려지지 않은 카테고리 (Unknown) 에 대한 임베딩 압축이 균형 (Balanced) 있게 이루어지도록 합니다. 기존 대비 학습 방식은 알려진 클래스만 과도하게 압축하여 새로운 클래스 발견을 방해했으나, SSR2 는 이를 해결합니다.
  • 모달리티 내 정렬 우선: 모달리티 간 정렬 (Inter-modal) 만 강조할 때 발생하는 모달리티 내 정렬 (Intra-modal) 의 붕괴를 방지하며, 각 모달리티 내부의 구조적 일관성을 명확하게 정렬합니다.

C. 훈련 전략 (Training Strategy)

• 듀얼 브랜치 분류기 (Dual-branch Classifiers): 이미지와 텍스트 임베딩을 각각 처리하는 두 개의 분류기를 동시에 학습합니다.
• 2 단계 훈련 프로세스:
  1. Warm-up Stage: 초기에는 잘못된 라벨이 학습을 방해할 수 있으므로, 비지도 항 ($R_c^u$) 을 제외하고 지도 학습 항만 사용하여 분류기를 초기화합니다.
  2. Alignment Stage: 두 분류기가 예측한 위상 (pseudo-labels) 의 순서를 맞추기 위해 Co-teaching 전략을 적용합니다. 이미지와 텍스트 분류기의 예측을 상호 보완적으로 사용하여 최종 라벨을 결정합니다.

3. 주요 기여 (Key Contributions)

1. SSR2-GCD 프레임워크 제안: GCD 를 위한 구조화된 표현 학습을 위해 반지도식 레이트 감소 원리를 도입한 새로운 프레임워크를 제안했습니다.
2. 균형 잡힌 표현 학습: 알려진/알려지지 않은 카테고리 간의 불균형한 압축 문제를 해결하고, 모달리티 내 정렬 (Intra-modal alignment) 을 강화하여 클러스터링 성능을 극대화했습니다.
3. RTA 전략: 검색 기반 텍스트 집계 전략을 통해 풍부한 의미 정보를 가진 텍스트 표현을 생성하고 지식 전이를 촉진했습니다.
4. 광범위한 실험 검증: 8 개의 벤치마크 데이터셋 (일반 및 세밀한 분류) 에서 기존 SOTA 방법들 (SimGCD, TextGCD, GET 등) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능: ImageNet-100, CIFAR-100, Stanford Cars, Flowers102 등 8 개 데이터셋에서 모든 멀티모달 베이스라인을 능가했습니다.
  • 특히 Flowers102와 Stanford Cars에서 "All" 카테고리 정확도가 각각 93.5%, 89.2% 로 기존 방법 대비 6.3%, 3.1% 향상되었습니다.
  • 알려진 ("Old") 과 알려지지 않은 ("New") 카테고리 간의 정확도 격차를 줄이는 데 성공했습니다.
• 모달리티 정렬 분석:
  • 단순히 모달리티 간 정렬 (Inter-modal) 만 강조하면 모달리티 내 정렬 (Intra-modal) 이 붕괴되어 클러스터링 성능이 저하됨을 실험적으로 증명했습니다.
  • SSR2 손실 함수를 사용할 때, 이미지 - 이미지, 텍스트 - 텍스트 간의 유사성 분포가 훈련 과정에서 잘 정렬됨을 확인했습니다 (Figure 2).
• 균형 압축 효과: 기존 대비 학습 (Contrastive Learning) 은 알려진 클래스 임베딩의 랭크 (Rank) 를 과도하게 낮추는 반면, SSR2 는 알려진/알려지지 않은 클래스 모두에서 임베딩 랭크를 균형 있게 유지하여 클래스 붕괴를 방지함을 확인했습니다 (Figure 4).

5. 의의 및 결론 (Significance)

이 논문은 멀티모달 GCD 작업에서 모달리티 간 정렬 (Inter-modal alignment) 과 모달리티 내 정렬 (Intra-modal alignment) 의 상호작용에 대한 중요한 통찰을 제공합니다.

• 기존 연구가 텍스트와 이미지의 정렬에만 집중했던 반면, **각 모달리티 내부의 구조적 일관성 (Intra-modal consistency)**이 클러스터링 성능의 핵심 요소임을 증명했습니다.
• 레이트 감소 (Rate Reduction) 이론을 반지도 학습에 적용함으로써, 알려진 데이터와 알려지지 않은 데이터 간의 불균형을 해결하고 더 견고한 표현을 학습할 수 있음을 보였습니다.
• 이 연구는 개방형 환경에서의 카테고리 발견 문제를 해결하기 위해 멀티모달 정보를 효과적으로 활용하는 새로운 패러다임을 제시하며, 실제 세계의 복잡한 데이터 혼합 상황에서 모델의 일반화 능력을 크게 향상시킵니다.