기술 요약: KODA – 시각-언어 파운데이션 모델을 위한 대조적 표현 비교 및 정렬 (Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models)

1. 문제 정의

시각-언어 파운데이션 모델(예: CLIP, SigLIP, BLIP)은 현대 멀티모달 시스템의 핵심이지만, 이들의 표현(representation)은 일반적으로 다운스트림 태스크 성능(예: 검색 정확도, 제로샷 분류)을 통해서만 비교됩니다. 이러한 집계된 지표들은 서로 다른 모델들이 데이터를 어떻게 구조적으로 조직하거나, 이미지-텍스트 쌍의 서로 다른 그룹핑을 유도하는지에 대한 구조적 설명에는 실패합니다.

SPEC 프레임워크와 같은 기존의 해석 가능한 임베딩 비교 방법들은 커널 차이 행렬(kernel-difference matrices)을 분석하지만, 비대칭적 목적 함수를 명시적으로 강제하지는 않습니다. 결과적으로, 이러한 방법들은 두 임베딩 모두에서 공통적인 구조를 식별하거나 집계된 효과를 식별할 뿐, 한 표현에서는 **강하게 클러스터링(strongly clustered)**되어 있으나 참조 표현에서는 **약하게 클러스터링(weakly clustered)**되어 있는 특정 샘플 서브셋을 분리해내지는 못합니다. 본 논문은 대조적 임베딩 클러스터링(Contrastive Embedding Clustering) 과제를 다룹니다. 즉, 하나의 임베딩 공간에서는 일관된 구조를 보이지만, 참조 임베딩 공간에서는 확산되거나 구조가 없는 것처럼 보이는 샘플 서브셋(또는 방향)을 식별하는 것입니다.

2. 방법론: KODA 프레임워크

저자들은 제약 최적화 문제로 정식화된 커널 기반 프레임워크인 KODA (Kernel Optimization for Discrepancy Analysis) 를 제안합니다.

2.1. 핵심 최적화 정식화

두 임베딩 $A$와 $B$가 참조 데이터셋 $\{x_i\}_{i=1}^n$에 대해 정규화된 커널 유사도 행렬 $K_A$와 $K_B$를 유도할 때, KODA는 $K_A$ 하에서 클러스터링을 최대화하면서 $K_B$ 하에서는 약하게 클러스터링되도록 제약되는 방향 $x \in \mathbb{R}^n$을 찾습니다. 문제는 다음과 같이 정의됩니다:

$$\begin{aligned} \max_{x \in \mathbb{R}^n} \quad & x^\top K_A x \\ \text{s.t.} \quad & x^\top K_B x \leq \epsilon \\ & \|x\|_2^2 = 1 \\ \end{aligned}$$

여기서 $\epsilon > 0$은 참조 임베딩 $B$에서 허용되는 약한 클러스터링의 정도를 제어하는 임계값입니다.

2.2. 스펙트럼 특성을 통한 효율적 해법

이 문제는 비볼록(non-convex) 문제임에도 불구하고, 저자들은 KKT 조건을 통해 임의의 최적해 $x^*$가 다음과 같은 일반화된 고유값 방정식을 만족함을 보여줍니다:
$$(K_A - \lambda^* K_B) x^* = \nu^* x^*$$
여기서 $\lambda^* \geq 0$은 라그랑주 승수입니다. 이를 통해 KODA는 $\lambda$에 대한 1차원 탐색을 통해 문제를 해결할 수 있습니다: 각 $\lambda$에 대해 $K_A - \lambda K_B$의 주 고유벡터(leading eigenvector)를 계산하고, 이것이 $x^\top K_B x \leq \epsilon$ 제약 조건을 만족하는지 확인합니다.

여러 개의 불일치 모드(discrepancy modes)를 추출하기 위해, KODA는 이전에 발견된 방향들에 대해 직교성을 강제하는 투영 행렬 $P = I - UU^\top$를 사용하여 이 문제를 반복적으로 해결합니다.

2.3. 공분산 블록 및 랜덤 특징을 통한 확장성

$n \times n$ 커널 행렬의 직접적인 고유값 분해는 대규모 데이터셋($n \gtrsim 20,000$)에 대해 계산적으로 매우 부담스럽습니다. KODA는 명시적 특징 표현(예: 이동 불변 커널을 위한 Random Fourier Features)을 활용하여 이를 해결합니다.
만약 $K_A = \Phi_A \Phi_A^\top$이고 $K_B = \Phi_B \Phi_B^\top$이며 특징 차원이 $d_1, d_2 \ll n$이라면, $K_A - \lambda K_B$의 고유벡터 계산은 공분산 블록을 포함하는 $(d_1 + d_2) \times (d_1 + d_2)$ 크기의 고유값 문제로 축소됩니다:
$$M_\lambda = \begin{bmatrix} \Phi_A^\top \Phi_A & \Phi_A^\top \Phi_B \\ -\lambda \Phi_B^\top \Phi_A & -\lambda \Phi_B^\top \Phi_B \end{bmatrix}$$
이는 복잡도를 $O(n^2)$에서 $O(n(d_1+d_2))$로 줄여 대규모 데이터셋에 적용할 수 있게 합니다.

2.4. 멀티모달 임베딩으로의 확장

쌍을 이룬 데이터(예: 이미지-텍스트)의 경우, KODA는 곱 커널(product-kernel) 정식화를 사용하여 통합 멀티모달 커널을 구축합니다:
$$k((u, v), (u', v')) = k_x(u, u') \cdot k_t(v, v')$$
여기서 $k_x$와 $k_t$는 모달리티별 커널입니다. 결과적인 커널 행렬은 단일 모달 커널 행렬들의 아다마르 곱(Hadamard product)입니다 ($K = K_x \odot K_t$). 텐서 곱 특징 공간(크기가 $d_x d_t$로 확장됨)을 처리하기 위해, KODA는 **Joint Random Fourier Features (RFF)**를 사용합니다. 이는 곱 커널을 차원이 $2r$인 특징 맵으로 근사하며, 실제 곱 커널에 대한 주 고유 공간(leading eigenspaces)의 안정성에 대한 이론적 보장을 제공합니다.

3. 주요 기여

1. 대조적 임베딩 클러스터링 태스크: 본 논문은 한 임베딩에서는 강하게 클러스터링되어 있으나 다른 임베딩에서는 약하게 클터링되는 샘플 서브셋을 식별하는 것을 전역적 차이 분석과 구별되는 제약 최적화 문제로 정식화했습니다.
2. KODA 알고리즘: 구조화된 스펙트럼 계산을 통해 이 과제를 해결하는 커널 기반 최적화 프레임워크를 제안합니다.
3. 확장 가능한 구현: 공분산 블록 축소 및 Joint Random Fourier Feature 근사를 개발하여, 거대한 커널 행렬을 명시적으로 구축하지 않고도 대규모 시각-언어 데이터셋에 KODA를 적용할 수 있게 했습니다.
4. 해석 가능한 불일치 방향: 이 방법은 특정 샘플 서브셋 및 모달리티 상호작용과 관련된 해석 가능한 방향을 도출하며, 이는 타겟 데이터 큐레이션 및 모델 정렬을 용이하게 합니다.

4. 실험 결과

저자들은 CLIP, DINOv2, BLIP, OpenCLIP, SigLIP, SigLIP2를 포함한 모델들을 사용하여 단일 모달(ImageNet, FFHQ, AFHQ) 및 멀티모달(MS-COCO) 데이터셋에 대해 KODA를 평가했습니다.

• 불일치 발견: KODA는 일관되고 해석 가능한 불일치 구조를 성공적으로 식별했습니다. 예를 들어, FFHQ 데이터셋에서 DINOv2는 특정 얼굴 속성 등에서 샘플들을 일관되게 그룹화했지만 CLIP은 그렇지 못한 방향을 찾아냈습니다. MS-COCO에서는 BLIP이 CLIP보다 더 명확한 공동 구조(예: 야구 또는 서핑과 같은 특정 스포츠 동작)를 형성하는 이미지-텍스트 쌍을 식별했습니다.
• 베이스라인과의 비교: 단일 모달 설정에서 KODA는 여러 불일치 모드를 찾는 데 있어 SPEC 베이스라인보다 우수한 성능을 보였습니다. 정량적 지표(Generalized Rayleigh Quotient)에 따르면, KODA의 방향은 낮은 제약 분위수(low constraint quantiles)에서 SPEC에 비해 현저히 높은 비대칭 점수(예: 약 20배 더 강력함)를 나타냈습니다.
• 표현 정렬: 본 논문은 KODA로 선택된 샘플 서브셋이 **대조적 임베딩 정렬(contrastive embedding alignment)**에 사용될 수 있음을 보여줍니다. CLIP이 약하고 DINOv2/BLIP이 강한 KODA 선택 슬라이스(slice)에 대해 미세 조정을 수행하면, 해당 슬라이스에서의 정렬 지표(AMI, NMI, ARI)가 크게 향상되어 정렬된 모델의 기하학적 구조를 타겟 모델에 가깝게 만들 수 있습니다.
• 검색 분석: MS-COCO에서 KODA가 선택한 서브셋은 모델 간의 성능 격차를 증폭시켰으며(예: CLIP vs. SigLIP), 이는 SigLIP이 CLIP이 어려움을 겪는 특정 불일치 슬라이스에서 더 나은 검색 성능을 유지함을 드러냈습니다.

5. 의의 및 한계점

의의:
본 논문은 KODA가 집계된 다운스트림 지표를 넘어 파운데이션 모델을 비교하는 원칙적인 비지도 학습 방법을 제공한다고 주장합니다. 불일치를 특정 샘플 서브셋으로 국지화함으로써 다음을 지원합니다:

• 해석 가능성: 모델이 구조적으로 어디에서, 왜 다른지 이해합니다.
• 모델 선택 및 디버깅: 모델이 참조 모델에 비해 상대적으로 성능이 떨어지는 특정 데이터 슬라이스를 식별합니다.
• 타겟 정렬: 발견된 불일치 슬라이스를 표현을 정렬하기 위한 실행 가능한 데이터로 사용합니다.

한계점:
저자들은 KODA의 다음과 같은 한계를 언급합니다:

• 하위 분포에서 샘플링된 공유 참조 데이터셋이 필요합니다.
• 레이블이 있는 다운스트림 태스크를 활용하지 않고, 커널 유도 기하학에 기반한 비지도 불일치 발견에 집중합니다.
• 향후 연구 방향으로는 매칭되지 않은 데이터셋으로의 확장, 지도 학습 기반의 불일치 개념, 그리고 클러스터 해석에 대한 더 강력한 통계적 보증 등이 포함됩니다.

코드는 https://github.com/yokiwuuu/KODA에서 공개적으로 사용할 수 있습니다.