Modulating Cross-Modal Convergence with Single-Stimulus, Intra-Modal Dispersion

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 신경망은 아키텍처, 학습 목적, 데이터 모달리티 (시각, 언어 등) 가 서로 다르더라도 놀라운 수준의 표현적 수렴 (Representational Convergence) 을 보입니다. 이러한 수렴은 뇌의 표현과 정렬 (Alignment) 되는 경향과도 관련이 있으며, '플라톤적 표현 가설 (Platonic Representation Hypothesis)'에 따르면 이는 환경의 공유된 구조를 학습하기 때문으로 추정됩니다.
• 문제점: 기존 연구들은 주로 자극 (Stimulus) 집합 전체에 대한 전역적 (Global) 수렴을 분석했습니다. 그러나 개별 자극이 네트워크 간에 어떻게 수렴된 표현을 유발하는지, 혹은 어떤 자극이 오히려 분산 (Divergence) 을 일으키는지에 대한 단일 자극 (Single-stimulus) 수준의 메커니즘은 명확하지 않았습니다.
• 목표: 개별 자극 수준에서 모달 내 (Vision 모델 간) 표현의 일관성 (수렴) 과 분산을 정량화하고, 이것이 시각 - 언어 모델 간의 교차 모달 정렬에 어떤 영향을 미치는지 규명하는 것입니다.

2. 방법론 (Methodology)

이 연구는 일반화된 프로크루스테스 분석 (Generalized Procrustes Analysis, GPA) 을 기반으로 한 새로운 방법론을 제안합니다.

A. 일반화된 프로크루스테스 분석 (GPA) 적용

• 개념: 다양한 시각 모델 (ViT) 들의 표현 공간을 공통의 기준 프레임 (Joint Representation, $N_{joint}$) 에 정렬합니다.
• 수식적 정의: 각 모델 $i$의 표현 행렬 $N_i$를 직교 변환 행렬 $T_i$를 통해 회전시켜, 모든 모델의 합계 오차 (Frobenius norm) 를 최소화하는 공통 표현 $N_{joint}$를 찾습니다.
  $$\min_{N_{joint}, \{T_i\}} \sum_{i=1}^{M} \| N_i T_i - N_{joint} \|_F^2$$
• 전처리: 임베딩의 중심을 맞추고 (centering), 차원을 통일하기 위해 0 패딩 (zero-padding) 을 수행하며, 표현의 크기를 정규화합니다. 직교 변환을 사용하여 각 표현의 내부 기하학적 구조 (거리와 각도) 를 보존합니다.

B. 단일 자극 분산 (Single-Stimulus Dispersion) 정량화

• 잔차 (Residual) 계산: GPA 를 통해 얻은 공동 공간에 각 모델을 투영한 후, 개별 모델의 표현과 공동 표현 간의 유클리드 거리를 계산하여 잔차 $r_{ij}$를 구합니다.
  $$r_{ij} = \| (N_i T_i)_j - (N_{joint})_j \|_2$$
  여기서 $j$는 특정 자극을 의미합니다. 잔차가 작을수록 모델 간 합의가 높음 (낮은 분산), 클수록 합의가 낮음 (높은 분산) 을 의미합니다.
• 분산 요약 전략:
  1. 평균 분산 (Mean Dispersion): 모든 모델에 대한 잔차의 평균을 계산하여 자극을 랭킹합니다.
  2. 분산의 주성분 (PC of Dispersion): 잔차 행렬에 PCA 를 적용하여 첫 번째 주성분 (PC1) 점수를 분산 지표로 사용합니다. 이는 이상치에 덜 민감하고 모델 간 불일치의 주요 축을 포착합니다.

C. 실험 설정

• 시각 모델 (Vision Models): 다양한 학습 목적 (MAE, DINO, CLIP, CLIP+ImageNet-12K 파인튜닝) 으로 훈련된 ViT 아키텍처 (ViT-Huge) 를 사용.
• 언어 모델 (Language Models): BLOOM, OpenLLaMA, LLaMA 계열의 LLM 사용.
• 데이터셋: Wikipedia 캡션 데이터셋 (WIT) 의 1,024 개 이미지 - 캡션 쌍.
• 정렬 측정 지표: 시각과 언어 표현 간의 국소적 유사성을 측정하기 위해 Centered Kernel k-Nearest Neighbors Alignment (CKNNA) 를 사용 (전체적 유사성인 CKA 와 달리, 각 샘플과 그 이웃 간의 공분산에 초점).

3. 주요 결과 (Key Results)

• 모달 내 분산과 교차 모달 정렬의 강한 상관관계:
  • 시각 모델 간 낮은 분산 (Low Intra-modal Dispersion) 을 보이는 자극 (모델들이 이미지 해석에 동의하는 경우) 은 높은 분산을 보이는 자극에 비해 시각 - 언어 모델 간의 정렬 (Alignment) 이 현저히 높았습니다.
  • 정량적 효과: 일부 모델 조합 (예: DINOv2 와 언어 모델) 에서 낮은 분산 자극은 무작위 또는 높은 분산 자극 대비 최대 2 배까지 높은 교차 모달 정렬을 보였습니다.
• 강건성 (Robustness):
  • 자극 선택 기준 (평균 분산 랭킹 vs. PCA 기반 PC1 점수) 이 다르더라도 동일한 패턴이 관찰되었습니다.
  • 다양한 시각 모델 (MAE, DINOv2, CLIP 등) 과 다양한 언어 모델 (BLOOM, LLaMA 등) 의 조합에서도 이 현상이 일관되게 나타났습니다.
• 시사점: 특정 자극이 모델 간에 어떻게 해석되는지 (수렴 또는 분산) 가 해당 자극이 다른 모달리티 (언어) 와 얼마나 잘 정렬되는지를 결정하는 핵심 요인임을 입증했습니다.

4. 주요 기여 (Key Contributions)

1. 단일 자극 수준의 정량화 방법론 제안: 기존에 집단 평균에 의존하던 분석을 넘어, Generalized Procrustes Algorithm을 활용하여 개별 자극 수준에서 신경망 간 표현의 수렴과 분산을 정밀하게 측정하는 프레임워크를 제시했습니다.
2. 교차 모달 정렬의 조절 기제 발견: 시각 모델 간의 '일치도 (Intra-modal agreement)'가 시각 - 언어 간의 '정렬 (Cross-modal alignment)'을 강력하게 조절한다는 사실을 실험적으로 증명했습니다. 즉, 시각 모델들이 공통적으로 잘 이해하는 자극일수록 언어 모델과의 정렬도 높다는 것을 보였습니다.
3. 플라톤적 표현 가설에 대한 새로운 검증: 다양한 학습 목적을 가진 모델들이 특정 자극에 대해 어떻게 수렴하는지 분석함으로써, 환경 구조 학습의 미세한 메커니즘을 탐구하는 새로운 길을 열었습니다.

5. 의의 및 결론 (Significance)

• 신경망과 뇌 이해의 심화: 이 연구는 인공 신경망과 인간 뇌의 표현 정렬을 이해할 때, 단순히 전체 데이터셋의 평균을 보는 것이 아니라 어떤 개별 자극이 수렴을 유도하는지를 분석하는 것이 중요함을 강조합니다.
• 모델 비교 및 평가의 새로운 기준: 서로 다른 아키텍처나 학습 목표를 가진 모델들을 비교할 때, 특정 자극에 대한 분산 정도를 기준으로 모델을 평가하거나 정렬을 최적화하는 데 활용할 수 있습니다.
• 미래 연구 방향: 낮은 분산과 높은 분산을 유발하는 자극들의 공통된 특징 (예: 객체의 명확성, 맥락의 일관성 등) 을 식별하여, 왜 일부 자극은 모델 간 합의를 이루고 다른 자극은 그렇지 않은지에 대한 근본적인 원인을 규명하는 데 기여할 수 있습니다.

요약하자면, 이 논문은 **"모델들이 특정 자극을 얼마나 공유된 방식으로 해석하는지 (분산 정도)"**가 **"그 자극이 다른 모달리티 (언어) 와 얼마나 잘 연결되는지 (정렬)"**를 결정한다는 중요한 통찰을 제공하며, 이를 위해 단일 자극 수준의 정밀한 분석 도구를 개발했습니다.