Rethinking Incompleteness: Formalizing Protocol Divergence and Train-Once Learning for Robust IMVC

기술 요약: IMVC에서의 불완전성(Incompleteness)에 대한 재고

문제 정의
불완전 다중 뷰 클러스터링(Incomplete Multi-View Clustering, IMVC)은 데이터의 일부 샘플에서 뷰(모달리티)가 누락된 상황에서의 클러스터링 문제를 다룹니다. 현재 IMVC 연구의 지배적인 패러다임은 완전한 샘플을 감독(supervision)으로 사용하여 누락된 뷰를 복구하는 **교차 뷰 재구성(cross-view reconstruction)**에 의존합니다. 그러나 본 논문은 이러한 방법론들의 평가 및 이론적 이해에 있어 두 가지 결정적인 결함을 식별합니다:

1. 구성별 재학습의 함정(The Per-Configuration Retraining Trap): 기존 방법들은 일반적으로 누락된 데이터 프로토콜과 누락률의 모든 특정 조합에 대해 별도의 모델을 재학습시켜 평가됩니다. 이러한 접근 방식은 누락된 데이터 분포가 비정상적이거나 알 수 없는 경우가 많은 실제 환경 배포 시 계산적으로 매우 불가능합니다.
2. 불완전성 발산(Incompleteness Divergence): 본 논문은 "명목 누락률"($r$)이 데이터의 불완전성을 특징짓는 불충분한 지표라고 주장합니다. 동일한 명목 $r$을 가진 서로 다른 평가 프로토콜이라 할지라도, 완전하게 관측된 샘플($p_c$)의 비율은 판이하게 다를 수 있습니다. 저자들은 이를 불완전성 발산으로 공식화하며, 동일한 명목률에서 프로토콜 간의 $p_c$ 차이가 최대 50배까지 발생할 수 있음을 보여줍니다.

이론적 통찰: 학습 가능성 경계(The Trainability Bound)
저자들은 광범위한 재구성 기반 방법론 클래스(Class 1, $\mathcal{F}_{rec}$로 표기)에 대해, 완전한 샘플의 비율($p_c$)이 임계값 미만으로 떨어질 때(특히 $p_c \to 0$일 때) 학습이 **구조적으로 부적정(ill-posed)**해짐을 증명합니다.

• 메커니즘: 재구성 손실(reconstruction losses)은 주로 동일 샘플 내의 교차 뷰 공생(co-occurrence)으로부터 감독 신호를 도출합니다. 만약 샘포가 두 개 미만의 뷰를 가진다면, 해당 샘플은 재구성 목적 함수에 어떠한 그래디언트 신호도 기여하지 못합니다.
• 결과: $p_c$가 감소함에 따라 기대 그래디언트 신호는 소멸합니다. 본 논문은 $p_c \to 0$인 프로토콜의 경우, 기대 매개변수 변위(expected parameter displacement)가 $p_c$에 비례하는 항들에 의해 제한됨을 증명하며, 이는 하이퍼파라미터 튜닝과 무관하게 거의 무작위적인 클러스터링 정확도로 이어진다는 것을 보여줍니다. 이러한 붕괴는 튜닝의 문제가 아니라 손실 함수 계열의 구조적 특성입니다.
• 구분: 본 논문은 학습 실패(trainability failure)(낮은 $p_c$로 인해 그래디언트 신호가 소멸하여 $\mathcal{F}_{rec}$에 영향을 주는 현상)와 역량 실패(capability failure)(관측된 뷰가 클러스터 레이블에 대한 충분한 정보를 갖지 못해 모든 방법론에 영향을 주는 정보 이론적 한계)를 구분합니다.

방법론: CRAFT
이러한 학습 가능성 경계를 우회하기 위해, 저자들은 CRAFT(Complete-data Robust Attention-masked Fusion Transformer)를 제안합니다. CRAFT는 완전한 데이터로 학습된 단일 모델이 추론 시 모든 누락 패턴에 일반화될 수 있도록 하는 두 가지 구조적 조건을 충족하도록 설계되었습니다:

1. 샘플별 독립성 (C1): 샘플 $i$의 표현(representation)은 오직 자신의 관측된 뷰들과 공유된 매개변수만을 사용하여 계산됩니다. 이는 다른 샘플의 관측 패턴이나 교차 샘플 공생에 의존하지 않습니다.
2. 마스크 인지 가변 길이 퓨전 (C2): 누락된 뷰는 제로 패딩(zero-padding)되거나 환각(hallucination)되는 대신, **어텐션 마스킹(attention masking)**을 통해 내부 계산에서 제외됩니다. 이는 누락된 뷰가 융합된 표현에 정확히 zero 기여를 하도록 보장하여, 노이즈나 유효하지 않은 신호의 주입을 방지합니다.

아키텍처 세부 사항:

• 뷰별 인코딩(Per-View Encoding): 뷰별 MLP가 각 뷰를 공유 임베딩 공간으로 매핑합니다.
• 트랜스포머 퓨전(Transformer Fusion): 트랜스포머 인코더가 뷰 임베딩 시퀀스(학습 가능한 [CLS] 토큰 포함)를 처리합니다. 추론 시, 키-패딩 마스크(key-padding mask)는 누락된 뷰에 대한 어텐션 로짓(attention logits)을 $-\infty$로 설정하여, 이들이 어텐션 메커니즘에서 실질적으로 제거되도록 합니다.
• 완전 데이터 기반 2단계 학습:
  • 1단계: 완전한 샘플에 대해 뷰별 재구성 손실과 교차 뷰 일관성 손실(SimSiam 스타일)을 사용하여 표현을 학습합니다.
  • 2단계: 셀프 레이블링 교차 엔트로피, 엔트로피 정규화, 그리고 선택적인 마스크드 파인 튜닝(MFT)을 사용하여 클러스터 헤드를 미세 조정함으로써, 훈련 분포를 추론 시의 누락 패턴과 정렬합니다.

주요 기여

1. 불완전성 발산의 공식화: 유효 누락률($\hat{r}$)과 완전 샘플 비율($p_c$)을 별개의 인과 변수로 도입하여, 표준 프로토콜이 재구성 기반 방법론의 학습 위험을 은폐하고 있음을 밝혀냈습니다.
2. 붕괴의 이론적 증명: 재구성 기반 학습이 $p_c$에 의해 구조적으로 제한된다는 엄밀한 증명을 통해, 왜 기존 방법론들이 희소 데이터 영역($p_c < 1\%$)에서 실패하는지를 설명했습니다.
3. CRAFT 아키텍처: 손실 함수 엔지니어링이 아닌 아키텍처 설계(C1 및 C2)를 통해 견고한 IMVC를 달성하는 트랜스포머 기반 프레임워크를 제안하며, "한 번 학습하여 다수 배치(Train-Once, Deploy-Many)" 패러다임을 가능하게 합니다.
4. 실증적 검증: 4가지 서로 다른 평가 프로토콜에 걸쳐 7개의 벤치마크(CUB, HandWritten, MultiFashion, YTF-31 포함)에 대한 광범-한 실험을 수행했습니다.

결과

• 베이스라인의 붕괴: 표준 $\mathcal{F}_{rec}$ 베이스라인들(예: COMPLETER, DCP, DCG, HSACC)은 명목 누락률이 중간 수준이더라도, $p_c \to 0$인 엄격한 프로토콜 하에서 일관되게 무작위 수준의 정확도(흔히 $<40\%$)로 붕괴합니다.
• CRAFT 성능: 완전한 데이터로 한 번 학습된 단일 CRAFT 체크포인트는 테스트된 16가지 (프로토콜, 누락률) 구성 전반에서 매번 재학습된 베이스라인들을 대등하게 능가하거나 능가합니다.
• 효율성: CRAFT는 각 구성마다 별도의 모델을 재학습시키는 베이스라인 접근 방식에 비해 학습 오버헤드를 8.8배 줄입니다.
• 견고성: CRAFT는 $p_c = 0$인 상황에서도 높은 정확도를 유지하며, 데이터 누락에 대한 견고함이 아키텍처의 고유한 속성이 될 수 있음을 입증합니다.

의의 및 주장
본 논문은 현재 IMVC의 "구성별 재학습" 패러다임이 취약하며, 재구성 기반 방법론의 근본적인 취약성을 은폐하고 있다고 주장합니다. 견고함의 부담을 손실 함수에서 아키텍처로 전환함으로써, CRAFT는 특정 누락 데이터 분포을 위해 재학습하지 않고도 견고한 IMVC를 달성하는 것이 가능하다는 것을 보여줍니다. 저자들은 향후 IMVC 연구가 $p_c$를 표준 지표로 보고해야 하며, 알고리즘적 복구 메커니즘보다 아키텍처적 개선(예: 샘플별 독립성 및 마스크 인지 퓨전)을 우선시해야 한다고 제안합니다. 본 연구는 교차 뷰 재구성 손실을 사용하는 비지도 IMVC로 제한되며, 저자들은 이러한 원칙을 지도 학습 기반 다중 뷰 분류나 다른 멀티모달 설정으로 확장하는 것이 향후 연구 과제임을 명시했습니다.