기술 요약: 불완전한 데이터에서의 자기 지도 대조 학습 기반 부분 공간 클러스터링

문제 정의

부분 공간 클러스터링(Subspace clustering)은 저차원 부분 공간들의 합집합에 놓여 있는 고차원 데이터 포인트들을 분할하는 것을 목표로 한다. 유전자 발현 분석, 하이퍼스펙트럴 이미징, 추천 시스템 등의 분야에서 효과적이지만, 기존 방법론들은 주로 데이터가 완전히 관측되었다는 가정을 전제로 한다. 실제 시나리오에서는 폐쇄, 센서 결함 또는 자원 제약으로 인해 데이터가 불완전한 경우가 빈번하다. 쌍별 유사도(pairwise affinities)나 행렬 분해에 의존하는 전통적인 방식은 누락된 항목에 취약하며, 단순한 임퓨테이션(imputation, 결측치 보간)을 사용할 경우 최적이 아닌 결과를 낳거나 대규모 데이터셋에서 확장성 문제를 겪는다. 또한, 많은 딥러닝 기반 부분 공간 클러스터링 방법들 역시 입력값이 완전하다고 가정하며, 관측된 항목에 과적합되거나 편향된 임퓨테이션 전략을 요구한다.

방법론: 대조적 부분 공간 클러스터링 (CSC)

저자들은 레이블이나 명시적인 데이터 재구성이 필요 없이 불완전한 데이터로부터 강건한 임베딩을 학습하도록 설계된 자기 지도 프레임워크인 **대조적 부분 공간 클러스터링(Contrastive Subspace Clustering, CSC)**을 제안한다.

핵심 프레임워크

파이프라인은 학습(training)과 추론(inference)의 두 단계로 작동한다.

1. 무작위 마스킹을 통한 데이터 증강 (Data Augmentation via Random Masking):
   각 부분적으로 관측된 샘플 $y_i = M_i \odot x_i$ (여기서 $M_i$는 이진 마스크)에 대해, 방법론은 원래의 불완전한 샘플에 두 개의 서로 다른 무작위 마스크($M_i^a$ 및 $M_i^b$)를 적용함으로써 두 개의 서로소인 증강된 뷰(augmented views) $y_i^a$와 $y_i^b$를 생성한다. 이 뷰들은 대조 학습을 위한 양의 쌍(positive pairs) 역할을 한다.

2. 대조 학습 (SimCLR 스타일):
   공유된 심층 신경망(백본) $f_\theta$가 두 증강 뷰를 처리하여 잠재 표현 $h_i^a$와 $h_i^b$를 생성한다. 이들은 헤드(head) $g_\phi$를 통해 잠재 공간으로 투영된다. 모델은 정규화된 온도 스케일 크로스 엔트로피(Normalized Temperature-scaled Cross-Entropy, NT-Xent) 손실 함수를 사용하여 학습된다. 이 목적 함수는 동일한 샘플에서 나온 두 뷰의 임베딩은 서로 가깝게 끌어당기고, 서로 다른 샘플의 임베딩은 서로 멀리 밀어낸다. 이는 네트워크가 누락된 항목에도 불구하고 기저의 부분 공간 구조를 포착하는 불변 특징(invariant features)을 학습하도록 유도한다.

3. 추론 및 클러스터링:
   학습 후, 투영 헤드는 제거된다. 학습된 백본 $f_\theta$는 원래의 불완전한 샘플들을 잠재 공간으로 임베딩한다. 이후 이 임베딩들은 최종 클러스터 할당을 복구하기 위해 표준 희소 부분 공간 클러스터링(Sparse Subspace Clustering, SSC) 알고리즘에 입력된다. 주목할 점은, 이 방법이 누락된 데이터를 재구성하지 않고 학습된 표현을 직접 클러스터링한다는 것이다.

주요 기여

• 불완전한 데이터를 위한 새로운 프레임워크: CSC는 결측 데이터가 있는 부분 공간 클러스터링을 위해 특별히 설계된 최초의 대조 자기 지도 프레임워크이다. 이 방법은 무작위 마스킹을 해결해야 할 문제가 아닌 데이터 증강 전략으로 취급한다.
• 결측에 대한 강건성: 마스킹된 뷰들 사이의 불변성을 학습함으로써, 개별 특징 값이 부재하더라도 부분 공간 구조를 포착한다. 이는 2단계 임퓨테이션 방식에서 발생하는 아티팩트(artifact)를 피할 수 있게 한다.
• 확장성: 친화도 행렬(affinity matrix) 구축으로 인해 샘플 수에 대해 이차적으로 스케일링되는 최적화 기반 방법들과 달리, CSC는 추론 시 순방향 패스(forward pass)만을 활용하므로 거의 즉각적인 클러스트링과 현저히 감소된 계산 요구량을 제공한다.
• 모듈성: 이 접근 방식은 표현 학습과 클러스터링 알고리즘을 분리하여, 학습된 임베딩을 k-means, 스펙트럴 클러스터링 또는 SSC와 같은 모든 표준 클러스터링 기법과 함께 사용할 수 있게 한다.

실험 결과

저자들은 MNIST, COIL20과 같은 표준 컴퓨터 비전 데이터셋과 IndianPines, Pavia University, Salinas와 같은 하이퍼스펙트럴 이미징(HSI) 데이터셋을 포함한 6개의 벤치마크 데이터셋에서 CSC를 평가하였다.

• 베이스라인 대비 성능: CSC는 클래식 방법론(예: EWZF-SSC, GSSC, MSC)과 딥러닝 베이스라인(예: DSC, MAE, DMFMC) 모두를 일관되로 능가했다.
  • MNIST에서 CSC는 모든 벤치마크보다 평균 정확도 면에서 15% 이상 높은 성능을 보였다.
  • Pavia 및 IndianPines(HSI 데이터셋)에서 각각 5%와 6% 이상의 성능 향상이 관찰되었다.
  • 높은 결측률(낮은 샘플링 비율 $\rho$)을 가진 데이터셋에서도 CSC는 안정적인 성능을 유지한 반면, 클래식 방법론과 Masked Autoencoders(MAE)는 특히 높은 노이즈 조건에서 상당한 성능 저하를 겪었다.
• 절제 연구 (Ablation Studies):
  • 모델 깊이: 네트워크 깊이가 깊어질수록 정확도가 향름되었으나 특정 지점(깊이 5 부근)에서 정체되었으며, 이는 모델 표현력의 이점을 나타낸다.
  • 잔차 연결 (Residual Connections): 잔차 연결 전략(Full, Block, 또는 None)의 선택은 성능에 미미한 영향을 미쳤으며, 대규모 데이터셋에서는 "No Residual"이 약간 더 나은 성능을 보였다.
  • 노이즈 강건성: CSC는 저노이즈 및 고노이즈 환경 모두에서 MAE보다 우수한 강건성을 입증하였으며, 샘플링 비율이 중간 또는 낮은 수준($\rho \approx 0.5$)일 때도 낮은 클러스터링 오차를 유지했다.

의의 및 주장

본 논문은 CSC가 결측 데이터가 존재하는 상황에서 부분 공간 클러스터링을 위한 확장 가능하고, 강건하며, 레이블이 필요 없는 솔루션을 제공한다고 주장한다. 그 의의는 다음과 같다:

1. 임퓨테이션 병목 현상 극복: 명시적인 재구성을 피함으로써, 높은 결측률 시나리오에서 부분 공간 기하학을 왜곡할 수 있는 임퓨테이션 단계의 문제를 우회한다.
2. 효율성: 단순한 순방향 패스를 통해 추론을 수행할 수 있는 능력은 전통적인 최적화 기반 부분 공간 클러스터링 방법보다 훨씬 효율적이다.
3. 일반화 가능성: 이 프레임워크는 백본 선택 외에 도메인 특화된 구조 변경 없이도 일반 이미지 및 고차원 하이퍼스펙트럴 데이터와 같은 다양한 데이터 모달리티에 적용 가능하다.

저자들은 결측 데이터가 있는 부분 공간 클러스터링이 특히 고차원 영역에서 여전히 도전적인 문제이지만, 제안된 대조적 접근 방식이 스트리밍 및 멀티 뷰 설정에서의 향후 연구를 위한 강력한 토대를 제공한다고 결론지었다.