A quantitative analysis of semantic information in deep representations of text and images

이 논문은 정보 불균형 (Information Imbalance) 지표를 활용해 텍스트와 이미지 표현 간의 의미적 정합성을 분석한 결과, 언어와 모달리티, 아키텍처를 초월한 의미적 수렴이 발생하지만 예측 방향성은 레이어 깊이, 모델 규모, 언어에 따라 크게 달라진다는 것을 밝혔습니다.

핵심

🧠 핵심 주제: "모든 AI 는 결국 같은 '의미'를 공유한다?"

연구자들은 거대한 AI 모델들이 서로 다른 언어 (영어, 한국어 등) 나 다른 감각 (이미지, 텍스트) 을 처리할 때, 그 내부에서 **의미 (Semantic Information)**가 어떻게 저장되고 전달되는지 분석했습니다. 마치 서로 다른 언어를 쓰는 사람들이 같은 생각을 할 때, 뇌의 어떤 부분이 활성화되는지 확인하는 것과 비슷합니다.

이 연구는 **"정보 불균형 (Information Imbalance)"**이라는 새로운 측정 도구를 사용했습니다.

비유: 두 사람 (A 와 B) 이 있다고 칩시다. A 가 B 의 말을 들으면 B 의 마음을 100% 알 수 있지만, B 가 A 의 말을 들어도 A 의 마음을 50% 만 안다면, A 는 B 보다 더 '정보력'이 뛰어난 것입니다. 이 연구는 AI 의 각 층 (Layer) 에서 누가 누구를 더 잘 예측하는지, 즉 누가 더 많은 의미를 담고 있는지를 측정했습니다.

---

🔍 주요 발견 4 가지 (일상적인 비유로)

1. 의미는 '한 글자'가 아니라 '온 문장'에 퍼져 있다

기존에는 AI 가 문장의 마지막 단어만 보고 전체 의미를 파악한다고 생각했습니다. 하지만 이 연구는 의미는 문장 전체에 흩어져 있다고 밝혔습니다.

비유: 문장을 한 편의 영화라고 생각해보세요. 마지막 장면 (마지막 단어) 만 보고 줄거리를 다 알 수 있나요? 아닙니다. 영화의 전체적인 흐름을 이해하려면 중간중간의 장면들 (여러 토큰) 을 모두 봐야 합니다. 연구 결과, AI 도 문장의 중간 부분의 여러 단어들을 평균내어 볼 때 가장 정확한 의미를 파악한다는 것을 발견했습니다.

2. AI 의 '뇌'에는 의미의 중심지가 있다

AI 는 여러 층 (Layer) 으로 이루어진 거대한 신경망입니다. 연구자들은 이 층들 중 어디에 '진짜 의미'가 가장 잘 모여 있는지 찾아냈습니다.

비유: AI 는 거대한 도서관 같습니다.

• 입구 (초기 층): 책장 번호나 표지 디자인 같은 표면적인 정보만 있습니다.
• 출구 (최종 층): 책을 정리하거나 다음 책을 추천하는 업무에 집중합니다.
• 중앙 (중간 층): 바로 여기가 진짜 이야기의 핵심이 모여 있는 곳입니다.
  연구에 따르면, 서로 다른 언어 (예: 영어와 이탈리아어) 로 된 문장을 비교할 때, AI 의 중간 층에서 두 언어의 의미가 가장 잘 맞물려 (정렬되어) 있었습니다. 즉, AI 는 중간 단계에서 언어를 넘어선 '보편적인 의미'를 이해하는 것입니다.

3. 영어가 '우월'하고, 큰 모델이 '똑똑하다'

의미가 공유되지만, 완전히 대칭적이지는 않았습니다.

비유:

• 언어 불균형: 영어는 전 세계적으로 학습 데이터가 압도적으로 많기 때문에, AI 가 영어로 생각할 때 다른 언어보다 더 선명하고 정확한 의미를 만들어냅니다. 마치 영어를 쓰는 사람이 다른 언어를 쓰는 사람보다 더 많은 정보를 가지고 있는 것과 같습니다.
• 모델 크기 불균형: 거대한 모델 (DeepSeek-V3) 은 작은 모델 (Llama3) 보다 훨씬 더 많은 정보를 담고 있습니다. 큰 모델이 작은 모델을 예측하는 것은 쉽지만, 작은 모델이 큰 모델을 예측하는 것은 어렵습니다. 이는 규모 (Size) 가 곧 지능임을 보여줍니다.

4. 이미지와 텍스트도 '혼자서' 잘 통한다?

이미지 인식 AI 와 텍스트 생성 AI 를 따로 훈련시켰을 때, 서로의 의미를 얼마나 잘 이해하는지 비교했습니다.

비유:

• CLIP(기존 방식): 이미지와 텍스트를 함께 훈련시켜 서로를 이해하도록 만든 모델입니다. (비유하자면, 어릴 때부터 함께 자란 쌍둥이)
• DeepSeek-V3 & DinoV2(이 연구): 이미지와 텍스트를 각자 따로 훈련시킨 모델들입니다. (비유하자면, 각자 다른 환경에서 자란 두 친구)

놀랍게도, 각자 따로 훈련된 두 거대 모델이 서로의 의미를 이해하는 정도가, 함께 훈련된 CLIP 모델보다 더 뛰어났습니다.
결론: "함께 훈련해야 통한다"는 고정관념을 깨뜨렸습니다. 모델이 충분히 크고 똑똑하다면, 따로 훈련되어도 서로의 '의미'를 자연스럽게 이해하게 된다는 것입니다.

---

💡 결론: AI 는 어떻게 세상을 이해할까?

이 논문은 AI 가 단순히 데이터를 외우는 기계가 아니라, **서로 다른 언어와 감각을 넘어선 '보편적인 의미의 지도'**를 그리는 존재임을 보여줍니다.

1. 의미는 중앙에 있다: AI 는 문장이나 이미지의 중간 처리 단계에서 가장 순수한 의미를 파악합니다.
2. 규모가 중요하다: 모델이 클수록, 그리고 학습 데이터가 풍부할수록 (영어처럼) 의미 전달이 더 명확해집니다.
3. 혼자서도 통한다: 거대한 모델끼리는 따로 훈련되어도 서로의 마음을 잘 이해합니다.

이 연구는 AI 가 인간처럼 '의미'를 공유하는 보편적인 지능을 향해 나아가고 있음을, 그리고 그 지능이 어디에 숨어 있는지 찾아내는 데 중요한 이정표를 제시했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 대규모 언어 모델 (LLM) 및 멀티모달 모델에서 서로 다른 입력 (동일한 의미의 다른 언어, 이미지와 캡션 등) 을 처리할 때, 그 내부 표현 (representation) 이 서로 정렬 (align) 되는 현상이 관찰되었습니다. 이를 '플라톤적 표현 가설 (Platonic Representation Hypothesis)' 이라고 부르며, 의미적으로 관련된 입력들은 모델의 크기가 커질수록 공유된 매니폴드 (manifold) 상에서 유사한 구조로 수렴한다는 이론입니다.
• 문제: 기존 연구들은 이러한 표현의 정렬을 주로 대칭적인 지표 (예: CKA, Neighborhood Overlap) 로 측정했습니다. 그러나 이러한 지표들은 표현 간의 방향성 있는 예측 가능성 (directed predictability) 이나 정보 비대칭성을 포착하지 못합니다. 또한, 고차원 공간에서 교차 엔트로피 (cross-entropy) 를 직접 계산하는 것은 계산적으로 불가능합니다.
• 목표: 본 연구는 심층 신경망의 다양한 층 (layer), 모델 규모, 언어, 모달리티 (텍스트/이미지) 간에 의미 정보가 어떻게 분포하고 상호 예측 가능한지를 정량적으로 분석하기 위해 비대칭 통계량인 '정보 불균형 (Information Imbalance, II)' 을 도입하여 적용합니다.

2. 방법론 (Methodology)

• 핵심 지표: 정보 불균형 (Information Imbalance, II)
  • 두 표현 공간 $X$와 $Y$의 이웃 구조를 비교하는 비대칭 척도입니다.
  • $X$에서의 최근접 이웃이 $Y$에서도 얼마나 가까운지 (평균 순위) 를 측정합니다.
  • 값이 0 에 가까울수록 $X$가 $Y$를 잘 예측함 (정보 공유가 높음) 을 의미하며, 1 에 가까울수록 예측 불가능함을 의미합니다.
  • $\Delta(X \to Y) \neq \Delta(Y \to X)$ 이므로, 어떤 표현이 다른 표현보다 더 많은 정보를 가지고 있는지 방향성을 파악할 수 있습니다.
• 데이터셋 및 모델:
  • 텍스트: Opus Books 에서 추출한 6 개 언어 (영어, 스페인어, 이탈리아어, 독일어, 프랑스어, 네덜란드어, 헝가리어) 의 병렬 코퍼스.
    • 모델: DeepSeek-V3 (671B 파라미터, MoE), Llama3 (1B, 3B, 8B).
  • 이미지: ImageNet-1k (동일 클래스의 서로 다른 인스턴스 쌍) 및 Flickr30k (이미지 - 캡션 쌍).
    • 모델: DinoV2-large (인코더 기반), ImageGPT-large (자기회귀 기반), CLIP.
• 표현 방식 비교:
  • 문장 표현을 위해 (1) 마지막 토큰, (2) 토큰 연결 (concatenation), (3) 토큰 평균 (averaging) 을 비교 분석했습니다.
• 실험 설계:
  • 번역된 문장 쌍, 동일 클래스 이미지 쌍, 이미지 - 캡션 쌍에 대해 층별 (layer-by-layer) 로 II 를 계산하여 의미 정보의 집중 위치와 예측력을 분석했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 텍스트 표현 분석 (번역 간 비교)

• 의미 정보의 분산: 의미 정보는 마지막 토큰에만 집중되지 않고 많은 토큰에 분산되어 있습니다. 여러 토큰의 평균 (averaged tokens) 을 취했을 때 번역 간의 예측력 (II 값 최소화) 이 가장 높았습니다.
• 층별 수렴: 모든 언어 쌍에서 중앙 층 (middle layers) 에서 의미 정보의 예측력이 가장 강하게 나타났습니다. 이는 초기 층 (언어 특이적 정보) 과 최종 층 (다음 토큰 예측 등) 을 제외한 중간 영역에서 의미적 수렴이 발생함을 시사합니다.
• 정보 비대칭성 (Information Asymmetries):
  • 언어 간: 영어 표현이 다른 언어 (스페인어, 이탈리아어 등) 표현보다 더 예측력이 높았습니다. 특히 초기와 최종 층에서 이 비대칭성이 두드러졌으며, 중앙 층에서는 대칭에 가까웠습니다.
  • 모델 규모 간: 거대 모델인 DeepSeek-V3의 표현이 작은 모델 (Llama3-8b) 의 표현을 더 잘 예측했습니다. 이는 모델 규모가 커질수록 의미 표현이 더 풍부해짐을 보여줍니다.

3.2 시각 표현 분석 (이미지 및 멀티모달)

• 모델 아키텍처에 따른 의미 정보 위치:
  • 자기회귀 모델 (ImageGPT): 텍스트 LLM 과 유사하게 중앙 층에서 의미 정보가 가장 강하게 집중되었습니다.
  • 인코더 모델 (DinoV2): 최종 층에서 의미 정보가 가장 강하게 집중되었습니다.
• 멀티모달 정렬 (이미지 - 텍스트):
  • 이미지와 캡션 간의 정렬은 이미지 모델의 의미 정보가 가장 집중된 층 (DinoV2 의 경우 최종 층, ImageGPT 의 경우 중앙 층) 에서 가장 강력하게 나타났습니다.
  • 놀라운 발견: 명시적으로 이미지와 텍스트를 정렬하도록 훈련된 CLIP 모델보다, 별도로 훈련된 DeepSeek-V3(텍스트) 와 DinoV2(이미지) 의 조합이 더 강한 교차 모달 예측력 (더 낮은 II 값) 을 보였습니다. 이는 모델 규모 (Scale) 가 명시적인 멀티모달 훈련보다 더 중요한 요소일 수 있음을 시사합니다.
  • 모델 규모 효과: DinoV2 의 규모 (Large, Base, Small) 가 커질수록 II 값이 감소하여 교차 모달 정렬이 향상되었습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 플라톤적 표현 가설의 검증: 서로 다른 언어, 모달리티, 아키텍처를 가진 모델들이 의미적으로 유사한 입력을 처리할 때, 특정 중간 처리 단계에서 표현이 수렴한다는 가설을 지지합니다.
• 새로운 분석 도구: 대칭적인 지표의 한계를 극복하고, 표현 간의 방향성 있는 정보 흐름과 비대칭성을 정량화할 수 있는 '정보 불균형 (II)'의 유효성을 입증했습니다.
• 실용적 통찰:
  • 의미 정보는 토큰 전체에 분산되어 있으므로, 마지막 토큰만 사용하는 것보다 토큰 평균을 사용하는 것이 더 나은 표현을 제공합니다.
  • 모델의 규모가 커질수록 의미 표현의 품질이 향상되며, 이는 멀티모달 정렬에서도 결정적인 역할을 합니다.
  • 의미적 수렴은 모든 층에서 균일하게 발생하는 것이 아니라, 모델 아키텍처 (인코더 vs 디코더/자기회귀) 에 따라 특정 층 (중앙 vs 최종) 에서 집중적으로 발생합니다.

이 연구는 대규모 AI 모델 내부에서 의미 정보가 어떻게 인코딩되고, 서로 다른 시스템 간에 어떻게 공유되는지에 대한 더 정교한 이해를 제공하며, 향후 모델 설계 및 멀티모달 학습 전략 수립에 중요한 기초를 마련했습니다.