기술 요약: RePercENT

문제 정의

멀티모달 머신러닝은 다양한 소스(예: 이미지, 텍스트, 오디오)로부터의 정보를 합성하고 추론하는 것을 목표로 한다. 현재의 최첨단 방식들은 교차 모달 정렬(cross-modal alignment)과 융합(fusion)에 집중하고 있으나, 이러한 방법들은 종종 공유된 정보와 모달리티 특유의 정보가 뒤섞인 얽힌 표현(entangled representations)을 생성한다. 이는 해석 가능성을 제한하며, 어떤 모달리티가 고유한 정보와 중복된 정보를 제공하는지 식별하는 능력을 저해한다.

기존의 얽힘 해제 표현 학습(disentangled representation learning)에서의 결정적인 병목 현상은 확장성이다. 대부분의 선행 연구는 두 가지 모달리티 체제에 국한되어 있다. 모달리티의 수($M$)가 증가함에 따라, 가능한 공유 및 고유 요인의 수는 기하급수적으로($O(2^M)$) 증가하여 모델링하기 어려워진다. 또한, 두 개 이상의 모달리티 간의 모든 교차 모달 상호작용을 명시적으로 규정하는 다루기 쉬운 최적화 목적 함수는 제한적이다. 실제 데이터는 중복성을 최소화하는 것과 관련 정보를 보존하는 것 사이의 트레이드오프를 제시하며, 표현 붕괴(representational collapse)를 피하기 위해서는 최소 필요 정보(Minimal Necessary Information, MNI)만을 포착하는 것이 매우 중요하다.

방법론: RePercENT

저자들은 두 개 이상의 모달리티로 확장이 가능한 자기 지도 학습 프레임워크인 RePercENT(Reduced-complexity Perceiver-based disENTanglement)를 제안한다.

핵심 아키텍처

RePercENT은 파운데이션 모델(FM)에서 추출된 임베딩 위에서 직접 작동하여 광범위한 공동 사전 학습의 필요성을 제거하며, 이로 인해 방식이 모달리티 불가지론적(modality-agnostic)이 된다.

1. 쌍별 분해 (Pairwise Decomposition): 모든 $2^M$개의 원자적 요인을 모델링하는 대신, RePercENT은 쌍별 상호작용을 모델링한다. 모든 모달리티 쌍 $(i, j)$에 대해 다음을 도출한다:
   • 고유 성분 ($u_{ij}$): $j$와 상대적으로 모달리티 $i$에 고유한 정보.
   • 공유 성분 ($s_{ij}$): $i$와 $j$ 사이에 공유되는 정보.
     이는 구성 요소의 복잡도를 $O(2^M)$에서 $O(M^2)$로 줄이면서도 모든 교차 모달 상호작용을 보존한다.
2. 분리 모듈 ($D_i$): 각 모달리티의 복합 표현 $Z_i$는 전용 모듈에 의해 처리된다. 이 모듈은 $N = 2(M-1)$개의 슬롯을 가진 학습 가능한 잠재 배열 $H_i$를 활용한다.
3. 라우팅 메커니즘:
   • 의미론적 인코딩 (Semantic Encoding): 각 잠재 슬롯은 학습 가능한 쌍 인코딩(모달리티 쌍 식별)과 유형 인코딩("고유" 또는 "공유" 식별)으로 증강된다.
   • 그룹 슬롯 어텐션 (Group Slot Attention): 특정 쌍 $(u_{ij}, s_{ij})$에 해당하는 슬롯들이 동일한 입력 임베딩을 두고 경쟁하는 구조적 라우팅 메커니즘이다. 이는 서로 다른 쌍 사이의 독립성을 유지하면서도, 쌍 내부에서의 전문화를 강제한다.
4. 확장성: 이 프레임워크는 모달리티당 단 하나의 인코더만을 필요로 하며, 별도의 표현을 위한 개별 인코더를 사용하는 방식의 $O(M^2)$ 복잡도와 비교했을 때 구조적 복잡도 측면에서 선형 확장 $O(M)$을 달enc한다.

최적화 목적 함수

본 프레임워크는 순차적 분해가 아닌, 공유 성분과 고유 성분을 동시에 도출하기 위한 결합 최적화 목적 함수를 채택한다. 각 쌍 $(i, j)$에 대해 다음을 최대화한다:
$$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$$
여기서:

• 공유 손실 ($L_{si}, L_{sj}$): 공유 표현이 교차 모달 관련성($I(s_{ij}; X_j)$)을 포착하도록 장려하는 동시에, 소스 모달리티에 의해서만 설명 가능한 정보($I(s_{ij}; X_i | X_j)$)를 최소화한다.
• 고유 손실 ($L_{ui}, L_{uj}$): 소스 모달리티 정보($I(u_{ij}, s_{ji}; X_i)$)를 보존하는 동시에, 모달리티 간의 고유 성분과 공유 성분 사이의 중복($I(u_{ij}; s_{ji})$)에 대해 페널티를 부여한다.

정보 이론적 항들은 상호 정보량(mutual information)을 위한 InfoNCE, 조건부 상호 정보량(conditional mutual information)을 위한 KL-divergence, 그리고 중복성을 위한 교차 공분산 페널티와 같은 다루기 쉬운 대리 손실(surrogate losses)을 사용하여 근사된다.

이론적 보장

논문은 다음과 같은 공식적인 최적성 보장을 제공한다:

1. 정확한 최적성 (Exact Optimality): 최소 필요 정보(MNI)를 달성할 수 있고 가중치 매개변수 $\alpha > \lambda$인 조건 하에서, 결합 목적 함수는 이상적인 단계별 최적화 도구와 동일한 전역 최적해를 갖는다.
2. 근사 최적성 (Near-Optimality): MNI를 달성할 수 없는 경우(실제 환경의 흔한 시나리오), 결합 목적 함수는 정보 격차와 관련된 다루기 쉬운 상수에 의해 제한되는 근사 최적해를 가짐이 증명되었다.

실험 결과

저자들은 합성 데이터, 비유적 언어 이해(IRFL), 다중 모달 종양학(TCGA)의 세 가지 도메인에서 RePercENT을 평가하였다.

1. 확장성 및 성분 회복 (합성 데이터):

   • RePercENT은 모달리티가 증가함에 따라($M=2$에서 $5$까지) 파라미터 수에서 선형적 확장을 보여준 반면, 베이스라인(MLP, GRU, gMLP)은 기하급수적인 증가를 요구하거나 성분 붕괴를 겪었다.
   • RePercENT은 모든 모달리티 수에 대해 경쟁력 있는 분리 성능(높은 성분 내 예측력, 낮은 성분 간 누출)을 유지했으나, GRU 및 MLP와 같은 베이스라인은 $M$이 증가함에 따라 고유 성분을 회복하는 데 실패했다.
   • 또한 gMLP와 유사한 성능을 달성하면서도 훨씬 적은 파라미터(M=3일 때 약 47% 적음)와 FLOPs를 사용했다.

2. 비유적 언어 (IRFL):

   • 비유적 텍스트(관용구, 은유, 직유)를 이미지와 매칭하는 작업에서, RePercENT은 미세 조정된 CLIP 변형 및 기타 분리 베이스라인보다 우수한 성능을 보였다.
   • 이 방법은 공유 성분을 분리하는 것이 유익한 추상적이고 문맥 의존적인 작업(관용구 및 은유)을 처리하는 데 특히 강점을 보였다.
   • 절제 연구(Ablation studies)를 통해 의미론적 인코딩과 그룹 슬롯 어텐션이 모두 성능에 결정적임을 확인했다.

3. 다중 모달 종양학 (TCGA):

   • 임상, 병리, WSI 및 분자 데이터를 포함한 임베딩을 사용하여, RePercENT은 대부분의 암 유형에 대해 기존 HONeYBEE 임베딩보다 개선된 암 유형 분류 정확도를 보였다.
   • 특히, 원시 분자 임베딩이 정보력이 낮은 암 유형(예: KIRC, LGG)의 경우, 분해된 공유 표현이 상당한 예측 구조를 회복했다.
   • 결측 모달리티에 대한 강건성: WSI 데이터를 점진적으로 제거하는 실험에서, RePercENT은 높은 Macro-F1 점수를 유지한 반면, 융합 베이스라인(드롭아웃을 포함하여 학습된 모델 포함)은 급격히 저하되었다. 이는 성분이 가용한 모달리티로부터만 도출되는 추론 구조 덕분이다.

의의 및 주장

본 논문은 RePercENT이 정보 이론적 기초와 실용적이고 확장 가능한 구현을 연결하는 원칙적인 프레임워크를 제공한다고 주장한다. 주요 기여는 다음과 같다:

• 확장성: 모달리티 개수가 늘어나도 선형 복잡도로 고유 및 공유 요인을 추출할 수 있게 함으로써, 멀티모달 분리의 기하급수적 확장 병목 현상을 성공적으로 극복했다.
• 플러그 앤 플레이 디자인: 추출된 임베딩 위에서 작동하므로 모달리티 유형과 백본 아키텍처에 구애받지 않으며, 기존 파이프라인에 쉽게 통합될 수 있다.
• 이론적 근거: 결합 최적화 접근 방식에 대해 공식적인 최적성 보장(정확한 최적성 및 근사 최적성 모두)을 제공하여, 경험적 성공과 더불어 이론적 무결성을 확보했다.
• 강건성: 이 아키텍처는 복잡한 임퓨테이션(imputation) 없이도 결측 모달리티를 본질적으로 처리할 수 있어, 데이터 완결성이 보장되지 않는 실제 임상 및 과학적 환경에 적합하다.

저자들은 RePercENT이 단순한 정렬을 넘어, 서로 다른 모달리티가 어떻게 상호작용하는지에 대한 세밀한 이해를 가능하게 함으로써, 더 신뢰할 수 있고 해석 가능하며 기계론적 근거를 갖춘 멀티모달 표현을 위한 길을 열었다고 결론짓는다.