기술적 요약: Gromov-Wasserstein 거리를 통한 VLM 모델 선택 재고

1. 문제 제기

비전 - 언어 모델 (VLM) 은 일반적으로 비전 인코더와 대규모 언어 모델 (LLM) 의 표현 공간을 정렬하는 프로젝터 (projector) 를 포함하는 "사전 학습 후 파인튜닝" 패러다임을 따릅니다. 이러한 패러다임이 널리 채택되고 있음에도 불구하고, 특정 LLM 에 가장 적합한 사전 학습 비전 인코더가 무엇인지에 대한 원칙적인 이해는 부족합니다.

현재의 관행은 종종 가장 큰 모델을 선택하거나 제로샷 (zero-shot) 정확도가 가장 높은 모델을 선택하는 것과 같은 휴리스틱에 의존합니다. 그러나 저자들은 포괄적인 실험을 통해 이러한 지표들이 다음과 같은 한계를 보임을 입증했습니다:

1. VLM 정렬을 위한 최적의 비전 인코더를 일관되게 식별하지 못합니다.
2. 완전한 파인튜닝 후 최종 VLM 성능과 약한에서 중간 정도의 상관관계만 보입니다.
3. 정렬 난이도의 결정적 요인으로 추측되는 시각 및 텍스트 표현 공간 간의 "호환성" 또는 구조적 유사성을 고려하지 않습니다.

2. 방법론

본 논문은 시각 표현 분포와 텍스트 표현 분포 간의 구조적 유사성을 측정하기 위한 훈련 없이 추론만 가능한 지표로서 Gromov-Wasserstein (GW) 거리를 제안합니다.

핵심 개념: Gromov-Wasserstein 거리

공통된 주변 공간이 필요한 표준 거리 지표와 달리, GW 거리는 서로 다른 도메인에 존재하며 차원과 측도가 다를 수 있는 두 **측도 - 거리 공간 (metric-measure spaces, mm-spaces)**을 비교하도록 설계되었습니다.

• 직관: 절대적인 점의 위치를 비교하는 것 (모달리티 간에 잘 정의되지 않음) 대신, GW 거리는 각 공간 내의 내부 관계 (쌍별 거리) 를 비교합니다. 이는 시각 공간 ($d_X$) 과 텍스트 공간 ($d_Y$) 의 쌍별 거리 간의 왜곡을 최소화하는 최적 수송 계획 (coupling) $\pi$를 찾습니다.
• 정식화: GW 거리는 모든 가능한 커플링 $\pi$에 대한 기대 손실의 하한 (infimum) 으로 정의됩니다:
  $$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$$
  여기서 $L$은 페널티 함수이며 (이 작업에서는 $\ell_1$ 거리 사용) 입니다.

구현 세부 사항

1. 스케일 매칭: 모달리티 간 내재된 스케일 차이를 처리하기 위해 저자들은 **중앙값 비율 매칭 (median-ratio matching)**을 적용합니다. 시각 모달리티의 쌍별 거리 행렬을 정규화하여 대각선 외 중앙값이 텍스트 모달리티의 것과 일치하도록 합니다.
2. 최적화: 최적 수송 계획 $\pi^*$는 [40] 을 따르는 조건부 기울기 (conditional gradient) scheme 을 사용하여 해결되며, GW 목적 함수를 수송 다면체 (transport polytope) 위의 2 차 함수로 간주합니다.
3. 모델 선택 알고리즘:
   • 이미지 - 텍스트 쌍의 샘플에 대해 시각 특징 (CLS 토큰) 과 텍스트 특징 (은닉 상태) 을 추출합니다.
   • 두 모달리티에 대한 쌍별 거리 행렬을 계산합니다.
   • 거리를 정규화하고 GW 거리를 계산합니다.
   • 목표 LLM 과 최소 GW 거리를 가진 비전 인코더를 선택하여, 이것이 최고의 VLM 성능을 낼 것이라고 예측합니다.

3. 이론적 분석

본 논문은 GW 거리와 교차 모달 매핑의 학습 가능성 간의 연결을 이론적으로 정당화합니다.

• 리프시츠 상한: 저자들은 베이지안 최적 교차 모달 프로젝터 $g^*$의 리프시츠 상수 ($L_{g^*}$) 가 모달리티 간의 $\infty$-norm GW 거리 ($GW_\infty$) 에 의해 상한이 결정됨을 증명합니다.
• 함의: 더 작은 GW 거리는 더 작은 리프시츠 상수 상한을 의미합니다. 신경망의 일반화 상한이 종종 리프시츠 상수 (또는 스펙트럼 노름) 에 의존하므로, 더 작은 GW 거리는 최적 매핑이 본질적으로 더 낮은 함수 복잡성을 가진 가설로 학습하기 쉽다는 것을 시사합니다.

4. 실험 결과

저자들은 18 개의 다양한 사전 학습 비전 인코더와 두 개의 기본 LLM(Qwen-2.5-7B-Instruct 및 LLaMa-3.1-8B-Instruct) 을 사용하여 60 회 이상의 전체 VLM 학습 실행을 포함한 광범위한 실험을 수행했습니다.

주요 발견

• 우수한 선택 정확도: GW 기반 선택 전략은 "작은"(<500M 파라미터) 과 "큰"그룹 모두에서 9 개 벤치마크의 평균 점수가 가장 높은 최적의 비전 인코더를 일관되게 식별했습니다.
• 성능과의 상관관계:
  • GW 거리는 최종 VLM 성능과 피어슨 상관관계 0.6568 및 스피어만 상관관계 0.5341을 달성했습니다.
  • GW 거리와 성능 간의 선형 적합은 분산의 43% ($R^2 = 0.4314$) 를 설명했습니다.
  • 반면, 제로샷 정확도 ($R^2 \approx 0.21$), 표현 유사성 분석 (RSA), 그리고 정준 상관 분석 (CCA) 과 같은 전통적인 기준들은 약한에서 중간 정도의 상관관계를 보였습니다. 특히 MutualNN 은 높은 피어슨 상관관계를 보였지만 음의 스피어만 상관관계를 보여 허위 관계를 나타냈습니다.
• 강건성: GW 거리의 효과성은 다양한 기본 LLM 과 다른 사전 학습 데이터셋 (LAION/Conceptual Captions 대 CC3M) 에서 검증되어, 이 지표가 모달리티 호환성의 일반화 가능한 패턴을 포착함을 시사합니다.
• 효율성: GW 추정은 순수한 추론 작업입니다. 1,000 개의 이미지 - 텍스트 쌍에 대한 지표를 계산하는 데 단일 GPU 에서 약 1 분이 소요되는 반면, 전체 VLM 학습 실행에는 약 8.5 시간 (68 GPU 시간) 이 필요합니다.

5. 중요성 및 주장

본 논문은 단순한 휴리스틱을 넘어 VLM 을 위한 비전 인코더 선택을 지배하는 요인에 대한 최초의 체계적인 조사를 제공한다고 주장합니다.

• 참신성: GW 거리를 통해 공식화된 모달리티 간의 분포적 호환성 (distributional compatibility) 개념을 VLM 성공의 핵심 결정 요인으로 도입합니다.
• 실용적 영향: 고비용의 전체 파라미터 파인튜닝에 착수하기 전에 VLM 성능을 예측할 수 있는 계산적으로 효율적이고 훈련이 없는 방법을 제공합니다.
• 이론적 기여: 표현 공간의 기하학적 구조 (GW 거리로 측정) 와 정렬 프로젝터의 학습 가능성 간의 공식적인 연결을 확립합니다.

저자들은 현재 휴리스틱 (크기, 제로샷 정확도) 은 불충분하지만, GW 거리를 통한 표현 공간의 구조적 유사성을 측정하는 것이 비전 - 언어 모델의 모델 선택을 위한 견고하고 이론적으로 근거 있으며 경험적으로 검증된 대리 지표 (proxy) 를 제공한다고 결론지었습니다.