기술 요약: 멀티모달 대조 학습의 표현력 (Expressivity)

문제 정의

대조 학습(Contrastive learning), 특히 CLIP 아키텍처는 여러 모달리티(예: 텍스트와 이미지) 간의 결합 표현(joint representation)을 학습하는 기초적인 기술이 되었습니다. 경험적으로는 매우 성공적이지만, 이의 표현력(expressivity), 즉 여러 모달리티의 임의의 결합 확률 분포를 근사할 수 있는 능력에 대한 이론적 한계는 여전히 명확히 밝혀지지 않았습니다.

기존 문헌은 주로 정보 이론적 경계(예: 상호 정보량 최대화)나 다운스트림 태스크 성능에 초점을 맞춥니다. 그러나 이러한 분석은 선택된 파라미터화가 대상 관계를 표현할 수 있다는 것을 전제로 하는 경우가 많습니다. 본 논문은 근본적인 격차를 다룹니다: 대조적 파라미터화 자체가 결합 분포를 보편적으로 근사할 수 있을 만큼 충분히 표현력이 있는가, 아니면 특정 조건부 분포만을 근사하는 데 국한되어 있는가?

저자들은 집단 수준의 밀도 추정(population-level, density-estimation) 관점을 채택합니다. 유한 샘플 추정이나 최적화 역학을 분석하는 대신, 데이터를 알려진 결합 확률 측도 $\mu$로 취급하고, 주어진 대조 아키텍처가 주변 확률의 곱 $\mu_P$를 $\mu$와 일치시키도록 조정하는 "틸팅 함수(tilting function)" $\Phi$를 학습함으로써 $\mu$를 임의로 잘 근사할 수 있는지 질문합니다. 표현력의 척도는 파라미터 공간에 대한 쿨백-라이블러(Kullback-Leibler, KL) 발산 $D_{KL}(\mu \parallel \mu_a)$의 하한(infimum)입니다.

방법론

본 논문은 대조 학습을 다음과 같이 정의되는 틸팅 함수 $\Phi$를 학습하는 과정으로 프레임화합니다:
$$\frac{d\mu_a}{d\mu_P}(x) = \frac{1}{Z} \exp(\Phi_a(x))$$
여기서 $\Phi$는 주변 확률의 곱에 대한 실제 결합 확률의 로그 밀도 비율(log-density ratio)입니다.

저자들은 다음과 같은 이론적 결과의 계층 구조를 구축합니다:

1. 손실 계층(Loss Hierarchy): 결합 KL 발산 $D_{KL}(\mu \parallel \mu_a)$를 최소화하는 것이 실제 대조 학습에서 사용되는 조건부 손실(전체 조건부 및 쌍별 조건부 모두)을 엄격하게 상회(upper-bound)함을 증명합니다. 따라서 만약 아키텍처가 결합 분포를 근사할 수 없다면, 조건부 손실을 최소화하더라도 결합 KL 발산을 0으로 줄일 수 없습니다.
2. 함수-측도 근사(Function-to-Measure Approximation): 파라미터화된 함수 군이 연속적인 틸팅 함수를 균등하게 근사할 수 있다면($C_0$에서의 보편적 근사), 유도된 함수 군이 KL 발산에 대해 실제 결합 분포를 근사할 수 있음을 입증합니다.
3. 아키텍처 분석: 이 일반적인 정리들을 특정 아키텍처에 적용합니다:
   • 이중 모달 CLIP ($m=2$): 내적 스코어링을 사용하는 표준적인 두 타워(two-tower) 아키텍처.
   • Sum-of-Pairs CLIP ($m \ge 3$): 모든 쌍의 내적 합을 스코어로 사용하는 일반적인 확장 방식.
   • Hadamard-CLIP (H-CLIP): 인코더 출력의 요소별(element-wise) 곱에 학습 가능한 가중치 벡터를 추가하는 제안된 수정 모델.

주요 기여 및 결과

1. Bimodal CLIP은 보편적 근사기(Universal Approximator)이다

두 개의 모달리티($m=2$)에 대해, 본 논문은 표준적인 두 타워 CLIP 아키텍처가 일반적인 결합 네트워크만큼 표현력이 있음을 증명합니다.

• 결과: $\Phi_{2\text{-clip}}(x_1, x_2) = \langle \bar{g}_1(x_1), \bar{g}_2(x_2) \rangle / \tau$로 정의된 함수 군은 연속 함수의 공간에서 조밀(dense)합니다.
• 시사점: 충분한 용량과 학습 가능한 온도 $\tau$가 제공된다면, bimodal CLIP은 임의의 결합 분포를 임의로 잘 근사할 수 있습니다. 이는 텍스트-이미지 태스크에서 CLIP의 경험적 성공에 대한 이론적 정당성을 제공합니다.
• 주의사항: 저자들은 이것이 차원 축소를 보장하지는 않는다고 언급합니다. 일부 경우, 완벽한 근사를 위해 필요한 잠재 차원(latent dimension)이 원래 결합 도메인의 차원과 같거나 이를 초과할 수 있습니다.

2. Sum-of-Pairs CLIP은 $m \ge 3$인 경우 실패한다

본 논문은 세 개 이상의 모달리티에 대해 CLIP을 확장하여 사용되는 방식인 쌍별 유사도의 합($\Phi_{m\text{-clip}} = \sum_{i<j} \langle \bar{g}_i, \bar{g}_j \rangle$)이 임의의 결합 분포를 보편적으로 근사할 수 없음을 보여줍니다.

• 결과: 이 아키텍처는 모든 쌍별 조건부($x_i | x_j$)는 임의로 잘 근사할 수 있지만, 구조적으로 고차 상호작용(예: $x_1 x_2 x_3$와 같은 삼자 상호작용)을 포착하는 데 실패합니다. 결과적으로, 전체 결합 분포나 전체 조건부($x_i | x_{-i}$)를 근사할 수 없습니다.
• 의의: 이는 현재의 멀티모달 관행에 존재하는 이론적 한계를 드러냅니다. 즉, sum-of-pairs 손실은 경험적 유용성에도 불구하고 세 개 이상의 모달리티 간의 복잡한 의존성을 모델링하기에는 불충분합니다.

3. Hadamard-CLIP (H-CLIP)은 보편적 근사를 복구한다

Sum-of-pairs 방식의 실패를 해결하기 위해, 저자들은 Hadamard-CLIP을 제안합니다.

• 아키텍처: 이 방법은 모든 인코더 출력의 요소별 곱에 단일 학습 가능한 가중치 벡터 $\omega \in \mathbb{R}^{d_{Lat}}$를 추가합니다:
  $$\Phi_{Had}(x_1, \dots, x_m) = \omega^\top (\bar{g}_1(x_1) \odot \dots \ \bar{g}_m(x_m))$$
• 결과: 저자들은 H-CLIP이 임의의 모달리티 수 $m$에 대해 보편적 근사를 복구함을 증명합니다. 이는 전체 결합 분포를 임의로 잘 근사할 수 있습니다.
• 효율성: 결정적으로, H-CLIP은 표준 CLIP의 추론 시 효율성을 유지합니다. 모든 모달리티의 Hadamard 곱을 미리 계산할 수 있으므로(pre-computable embeddings), 쿼리 모달리티를 제외한 나머지 모달리티의 곱을 미리 계산해 두면 표준 CLIP과 마찬가지로 단일 내적만으로 빠른 검색이 가능합니다.

의의 및 주장

본 논문은 대조 학습 아키텍처의 표현 능력에 대한 기초적인 이론적 이해를 제공한다고 주장하며, 표현력을 유한 샘플 추정 및 최적화 문제와 분리하여 고찰합니다.

• 이론적 격차: 기존의 멀티모달 확장 방식(sum-of-pairs)이 임의의 결합 분포를 모델링하는 것을 방해하는 구체적인 구조적 실패를 식별하였으며, 이는 기존 문헌에서 규명되지 않았던 격차입니다.
• 최소한의 수정: 저자들은 보편적 근사를 복구하면서도 대조 학습의 핵심인 계산 효율성(사전 계산 가능한 임베딩)을 해치지 않는, 이론적으로 타당하고 최소한의 수정안인 H-CLIP을 제안합니다.
• 범위: 저자들은 자신들의 결과가 **집단 한계(population limit, 무한 데이터)**에 국한됨을 명시합니다. 유한 샘플 일반화, 최적화 수렴, 또는 특정 다운스트림 태스크 성능 보장에 관한 문제를 해결한다고 주장하지 않으나, 이를 향후 연구를 위한 자연스러운 방향으로 제시합니다.

요약하자면, 본 논문은 bimodal CLIP은 이론적으로 보편적 근사를 위해 충분하지만, 현재의 멀티모달 확장 방식은 그렇지 않으며, 실용적인 효율성을 유지하면서도 완전한 표현력을 달aft하기 위해서는 텐서 분해(tensor decomposition)에서 영감을 얻은 단순한 퓨전 방식(H-CLIP)이 필요하다고 주장합니다.