SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering

기술 요약: SPORT – 불완전 다중 뷰 클러스터링을 위한 구조 인식 프로토타입 분리 기법

문제 정의
불완전 다중 뷰 클러스터링(Incomplete Multi-View Clustering, IMVC)은 센서의 제한이나 하드웨어 결함으로 인해 샘플의 일부 뷰가 누락될 수 있는 상황에서 레이블이 없는 데이터를 분할하는 것을 목표로 한다. 최근의 프로토타입 기반 IMVC 방법론들은 누락된 뷰의 임퓨테이션(imputation)을 위해 프로토타입을 의미적 앵커(semantic anchor)로 사용하여 강건성을 개선했으나, 저자들은 기존 방식들에서 세 가지 결정적인 한계를 식별하였다:

1. 프로토타입 과잉 정렬 문제 (Prototype Over-alignment Problem, POP): 기존 방법들은 뷰 특유의 정보를 무시한 채 엄격한 교차 뷰 프로토타입 일관성을 강제한다. 이는 특정 뷰에 고유한 상보적 정보를 억제하여 다중 뷰 표현의 표현력을 제한한다.
2. 클러스터 수준의 구조 보존 결여: 대부분의 방법은 오직 쌍을 이루는 샘플 간의 정렬만을 수행하는 인스턴스 수준의 대조 학습(instance-level contrastive learning)에 의존한다. 이들은 의미적으로 유사한 인스턴스들(동일 클러스터 내의 샘플들) 사이의 관계적 구조를 보존하지 못하며, 잠재적으로 이들을 특징 공간 상에서 서로 멀어지게 만들 수 있다.
3. 부정확한 누락 뷰 임퓨테이션: 현재의 임퓨테이션 전략은 대개 전역 프로토타입에만 의존한다. 이러한 조립(coarse-grained) 접근 방식은 국소적 기하학적 이웃 구조를 간과하여, 미세한 인스턴스 수준의 일관성을 유지하지 못하는 과도하게 매끄러운(over-smoothed) 재구성을 초래한다.

방법론: SPORT 프레임워크
저자들은 교차 뷰 일관성, 뷰 특이적 의미, 그리고 구조적 관계를 공동으로 활용하도록 설계된 프레임워크인 SPORT(Structure-aware PrOtotype disentanglement foR incomplete multi-view clusTering)를 제안한다. 이 아키텍처는 네 가지 핵심 구성 요소로 이루어져 있다:

1. 특징 표현 학습 (Feature Representation Learning):
   모델은 각 뷰의 관측된 특징을 공유 잠재 서브스페이스(shared latent subspace)로 투영하기 위해 뷰 특이적 오토인코더를 사용한다. 재구성 손실($L_{REC}$)은 매핑 충실도를 보장하고 고유한 구조적 특성을 보존한다.

2. 구조 인식 관계 대조 학습 (Structure-Aware Relational Contrastive Learning):
   클러스터 수준의 구조가 무시되는 문제를 해결하기 위해, SPORT는 가중치 기반 대조 학습 메커니즘을 도입한다. 동일 샘플 쌍만을 양성(positive)으로 취급하는 하드 대조 학습과 달리, 이 모듈은 코사인 유사도에서 유도된 쌍별 유사도 가중치($w_{ij}$)를 사용한다. 이를 통해 의미적으로 유사한 샘플들(비록 동일 인스턴스는 아닐지라도)을 소프트하게 양성 쌍으로 취급함으로써, 데이터의 기하학적 구조를 보존하면서 교차 뷰 일관성을 강제한다.

3. 프로토타입 부분 정렬 (Prototype Partial Alignment - 분리):
   프로토타입 과잉 정렬 문제를 해결하기 위해, SPORT는 프로토타입을 두 개의 직교하는 성분으로 명시적으로 분해한다:

• 공유 성분 ($s_i$): 뷰 불변적인 합의 의미(view-invariant consensus semantics)를 포착하기 위해 뷰 간에 정렬된다.
• 뷰 특이적 성분 ($c_i$): 상보적이고 뷰 의존적인 정보를 보존하기 위해 뷰 간에 비상관화(decorrelated)된다.
  이 분해는 학습 가능한 직교 투영 행렬(Cayley 변환 재매개변수화를 통해)을 사용하여 수행된다. 목적 함수에는 공유 정렬 손실($L_{SHARED}$)과 뷰 특이적 비상관화 손실($L_{DE}$)이 포함된다.

4. 하이브리드 프로토타입 임퓨테이션 전략 (Hybrid Prototype Imputation Strategy):
   누락된 데이터 복구를 위해, SPORT는 전역 및 국소 정보를 통합하는 하이브리드 전략을 채택한다. 누락된 특징은 다음의 가중 합으로 재구성된다:

• 가장 관련성이 높은 프로토타입 (전역 의미적 앵커).
• 가장 유사한 이웃 샘플 (국소 기하학적 컨텍스트).
  이 접근 방식은 클러스터 수준의 의미와 국소적 구조적 일관성 사이의 균형을 맞추어, 높은 누락율에서도 재구성 품질을 향상시킨다.

전체 목적 함수는 재구성 손실, 대조 손실, 프로토타입 정렬 손실을 결합하며, 2단계 학습 과정(사전 훈련 후 미세 조정)을 통해 최적화된다.

주요 기여
본 논문은 다음과 같은 기여를 주장한다:

• 통합된 프로토타입 정렬: 프로토타입을 공유 성분과 뷰 특이적 성분으로 분해하여, 공유된 의미와 뷰 특이적 정보를 효과적으로 통합하면서도 전자는 정렬하고 후자는 비상관화하는 새로운 프레임워크를 제시한다.
• 구조 인식 특징 정렬: 인스턴스별 유사도 가중치를 도입하여 샘프 간 관계를 소프트하게 인코딩함으로써, 클러스터 수준의 관계적 구조를 보존하면서 교차 뷰 일관성을 강제하는 메커니즘을 제공한다.
• 하이브리드 임퓨테이션 전략: 매칭된 프로토타입과 이웃 샘플을 공동으로 활용하여, 전역 클러스터 의미와 국소적 구조 정보를 모두 활용하는 누락 데이터 임퓨테이션 방법을 제시한다.
• 경험적 우수성: 다양한 누락율에 걸쳐 다양한 벤치마크 데이터셋에서 SPORT가 최신 기술(SOTA) 방법론들을 능가함을 입증한다.

실험 결과
저자들은 6개의 벤치마크 데이터셋(ALOI_100, Animal1, Digit4k, 100Leaves, Reuters_21578, VGGFace2_50)에 대해 14개의 최신 IMVC 방법론들과 SPORT를 비교 평가하였다.

• 성능: SPORT는 대부분의 데이터셋과 누락율(0.1 ~ 0.7)에서 정확도(ACC), 조정 랜드 지수(ARI), F-Score 측면에서 우수한 성능을 달却했다. 예를 들어, Animal 데이터셋의 0.5 누락율에서 SPORT는 두 번째로 우수한 방법보다 ACC를 17.7% 향상시켰다.
• 강건성: 이 방법은 누락율이 증가함에 따라 탁월한 강건성을 보여주었다. 100Leaves 데이터셋에서, 누락율이 0.1에서 0.5로 상승할 때 SPORT는 다른 방법들에 비해 현저히 작은 성능 변동을 보였다.
• 절제 연구 (Ablation Studies): 세 가지 핵심 모듈(표현 학습, 구조 인식 대조 학습, 또는 프로토타입 부분 정렬) 중 하나라도 제거하면 상당한 성능 저하가 발생하였으며, 이는 각 구성 요소의 필요성과 상호 보완성을 확인시켜 준다.
• 임퓨테이션 분석: 프로토타입 또는 이웃 중 하나에만 의존하는 퇴보적 변형 모델들과 비교했을 때, 하이브리드 임퓨테이션 전략(프로토타입과 이웃의 기여도 균형)이 일관되게 더 나은 성능을 보였다.

의의 및 주장
본 논문은 SPORT가 엄격한 교차 뷰 정렬과 인스턴스 수준의 대조 학습을 넘어섬으로써, 프로토타입 기반 IMVC의 근본적인 병목 현상을 해결한다고 주장한다. 프로토타입을 공유 및 뷰 특이적 성분으로 명시적으로 분리하고 임퓨테이션 과정에 국소적 이웃 구조를 통합함으로써, 이 프레임워크는 더욱 판별력 있고 강건한 클러스터링 표현을 달성한다. 저자들은 결론적으로 SPORT가 불완전한 다중 뷰 환경에서 판별력 있는 표현을 효과적으로 학습하며, 데이터 불완전성이 보편적인 실제 시나리오에 대한 신뢰할 수 있는 솔루션을 제공한다고 밝히고 있다.