Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale

1. 문제 제기 (Problem)

최근 대규모 언어 모델 (LLM) 의 성공은 "언어만으로도 세상을 이해하는 기계를 만들 수 있는가?"라는 질문을 제기하며 컴퓨터 비전 커뮤니티에 도전을 던졌습니다. Huh et al. [40] 은 **플라톤적 표현 가설 (Platonic Representation Hypothesis)**을 주장하며, 서로 다른 모달리티 (텍스트, 이미지 등) 로 훈련된 신경망이 규모가 커지고 더 많은 데이터를 소비함에 따라 결국 **동일한 현실 표현 (shared representation of reality)**으로 수렴한다고 주장했습니다.

이 가설이 사실이라면, 모델 학습 시 모달리티의 선택은 중요하지 않게 되며, 가장 접근하기 쉬운 데이터인 텍스트만으로 모든 것을 학습할 수 있다는 결론이 도출됩니다. 그러나 본 논문은 이 가설을 지지하는 실험적 증거가 취약하며, 평가 방식 (evaluation regime) 에 크게 의존하고 있음을 지적합니다. 기존 연구는 소규모 데이터셋과 일대일 (one-to-one) 매핑 가정 하에 수행되었으며, 이는 현실 세계의 다대다 (many-to-many) 관계와 대규모 데이터 환경을 반영하지 못합니다.

2. 방법론 (Methodology)

본 논문은 기존 연구의 실험 설정을 확장하고 변형하여 가설의 타당성을 검증합니다.

• 상호 k-최근접 이웃 (Mutual k-NN) 지표 재검토:
  • 기존 연구 [40] 는 소규모 갤러리 (약 1,024 개 샘플) 에서 상호 k-NN 점수를 측정했습니다. 본 논문은 갤러리 크기를 **100 만 개 (WIT-1M) 에서 1,500 만 개 (LAION-15M)**까지 확장하여 평가합니다.
  • k 값의 민감도 분석: k=1 (정확한 일치) 과 k=10 (범주적 일치) 을 모두 테스트하여, 갤러리 밀도가 증가함에 따라 점수가 어떻게 변화하는지 관찰합니다.
• 데이터 밀도 및 매핑 관계 변화:
  • 소규모 vs 대규모: 희소 (sparse) 한 갤러리에서는 의미적으로 관련 없는 샘플도 '가장 가까운 이웃'이 될 수 있어 인위적인 일치율이 높게 나올 수 있음을 시뮬레이션합니다.
  • 일대일 (Bijective) vs 다대다 (Many-to-many): 현실의 이미지 - 텍스트 데이터는 한 이미지가 여러 설명을 가지거나, 한 설명이 여러 이미지를 가질 수 있습니다. CycleReward 데이터셋과 WIT 데이터셋의 자연스러운 중복 데이터를 활용하여 일대일 가정을 완화하고, 이때 상호 k-NN 점수가 어떻게 변하는지 분석합니다.
• 모델 성능과 정렬 (Alignment) 의 상관관계 검증:
  • Huh et al. [40] 의 주장인 "더 강력한 언어 모델일수록 비전 모델과 더 잘 정렬된다"는 경향이 최신 모델들에서도 유지되는지 확인하기 위해, 55 개의 다양한 LLM 과 DINOv2(비전 인코더) 를 사용하여 대규모 벤치마크 (ARC, GSM8K, MMLU 등) 에서 성능과 정렬도를 비교합니다.
• 제어된 실험 (ImageNet):
  • ImageNet 검증 세트를 사용하여 모델이 클래스 단위 (coarse) 로는 올바른 이웃을 찾지만, 인스턴스 단위 (fine-grained) 로는 서로 다른 이웃을 찾는지를 분석합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

본 논문은 다음과 같은 핵심 발견들을 도출했습니다.

가. 규모 확장 시 정렬도 급감 (Alignment degrades with scale)

• 갤러리 크기가 1,024 개에서 100 만 개 이상으로 증가함에 따라 상호 k-NN 정렬 점수가 급격히 하락합니다.
• 소규모 데이터셋에서는 두 모델이 서로 다른 구조를 가지고 있더라도 '다른 대안이 없음' 때문에 우연히 일치하는 경우가 많았으나, 데이터가 밀집되면 각 모델이 더 정교하고 의미 있는 이웃을 찾아내면서 모달리티 간의 불일치가 드러납니다.
• 결론: 기존 연구의 높은 정렬도는 데이터의 희소성 (sparsity) 에 기인한 인위적 결과일 가능성이 높습니다.

나. 거시적 일치 vs 미시적 불일치 (Coarse agreement vs. Fine-grained divergence)

• ImageNet 실험 결과, 비전 모델과 언어 모델은 모두 **클래스 단위 (예: '자동차')**에서는 정확한 이웃을 찾아내는 능력이 향상되지만, **구체적인 인스턴스 단위 (예: '특정 각도의 특정 자동차')**에서는 서로 다른 이웃을 선택합니다.
• 이는 두 모델이 세상을 이해하는 세부 구조 (fine-grained structure) 를 서로 다르게 조직화하고 있음을 의미합니다. 즉, 표현의 질이 나쁜 것이 아니라, 정보의 배열 방식이 다릅니다.

다. 다대다 매핑의 영향 (Many-to-many correspondence reduces alignment)

• 한 이미지에 여러 설명이 가능하거나 한 설명이 여러 이미지에 적용될 수 있는 현실적인 '다대다' 관계를 도입하면, 상호 k-NN 점수는 일관되게 감소합니다.
• 기존 연구가 사용한 일대일 (bijective) 가정은 현실 세계의 다중 모달 데이터 특성을 반영하지 못하며, 이로 인해 과장된 정렬 결과가 도출되었음을 보여줍니다.

라. 최신 모델에서의 경향성 붕괴 (Trend breakdown in newer models)

• Huh et al. [40] 에서 관찰된 "LLM 의 성능이 높아질수록 비전 모델과의 정렬도가 높아진다"는 경향은 최신 모델들 (Llama-3, Gemma-2, DeepSeek 등) 에서는 성립하지 않습니다.
• 특히 추론 (Reasoning) 능력을 측정하는 벤치마크 (GSM8K, ARC 등) 에서는 오히려 성능이 좋은 모델일수록 정렬도가 낮아지거나 포화되는 양상을 보입니다.

4. 의의 및 결론 (Significance)

• 플라톤적 가설의 재고: 신경망이 규모가 커진다고 해서 모든 모달리티가 단일한 '플라톤적 이상형 (Platonic Ideal)'으로 수렴한다는 주장은 현재 증거로는 지지받기 어렵습니다.
• Umwelten (환경) 개념의 대안: 저자들은 생물학자 폰 윅크 (von Uexküll) 의 Umwelten 개념을 차용합니다. 각 모델은 훈련된 모달리티 (텍스트 또는 이미지) 에 따라 고유한 지각 세계를 구성하며, 이는 관찰자 독립적인 단일 현실이 아니라 각기 다른 '지각의 동굴'에 머무는 것과 같다는 것입니다.
• 모달리티의 중요성: 텍스트만으로는 시각적 세부 사항이나 공간적 구조를 완벽하게 포착할 수 없으며, 모달리티의 선택은 여전히 중요합니다. 저자는 "언어만 있으면 된다 (Language is all you need)"는 주장이 평가 방식의 한계에서 비롯된 오해일 수 있음을 경고합니다.
• 향후 연구 방향: 단순한 정렬도 측정을 넘어, 모달리티 간의 진정한 대응 관계 (bijection) 가 존재하는지, 혹은 어떤 부분이 일치하고 어떤 부분이 고유한지 분리하여 연구할 필요가 있음을 제안합니다.

요약하자면, 이 논문은 대규모 멀티모달 모델이 서로 다른 모달리티를 통해 학습하더라도 동일한 표현 공간으로 수렴하지 않으며, 오히려 각 모달리티의 고유한 특성에 따라 **서로 다른 구조화된 표현 세계 (Umwelten)**를 형성한다는 것을 실험적으로 증명했습니다. 이는 컴퓨터 비전과 언어 모델의 융합 연구 방향성에 중요한 시사점을 제공합니다.