Symmetry in language statistics shapes the geometry of model representations

이 논문은 자연어 데이터의 통계적 대칭성이 고차원 언어 모델의 내부 표현에 원, 매니폴드 등 기하학적 구조를 형성하고 이를 설명하는 보편적인 원리임을 이론적으로 증명하고 실증적으로 검증합니다.

핵심

이 논문은 **"AI 가 언어를 배울 때, 왜 단어들의 의미가 기하학적 모양 (원, 선, 구 등) 을 띠게 되는가?"**라는 아주 흥미로운 질문에 답합니다.

간단히 말해, **"AI 는 단순히 단어를 외우는 게 아니라, 단어들이 서로 얼마나 자주 함께 등장하는지 그 '통계적 규칙'을 통해 우주의 지도를 그리는 것"**이라고 설명할 수 있습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 핵심 아이디어: "단어의 춤"과 "통계적 규칙"

AI 가 언어를 배울 때, 단어들은 서로 고립되어 있는 게 아니라 함께 춤을 추는 파트너처럼 행동합니다.

• 예시: "겨울"이라는 단어는 "눈", "스키", "코트"와 자주 함께 등장합니다. 반면 "여름"은 "해변", "모래", "선풍기"와 자주 나옵니다.
• 규칙: 이 논문은 이 '함께 등장하는 빈도'에 숨겨진 **대칭성 (Symmetry)**을 발견했습니다. 마치 시계 바늘이 12 시에서 1 시로, 1 시에서 2 시로 이동할 때의 간격이 일정하듯, 언어 속에서도 시간이나 공간의 거리가 같은 단어들은 비슷한 확률로 함께 등장한다는 것입니다.

2. AI 의 머릿속 지도: 원과 선이 왜 생길까?

AI 는 이 통계적 규칙을 바탕으로 단어들을 3 차원 공간에 배치합니다. 이때 놀라운 기하학적 모양들이 나타납니다.

🌕 원형 (Circle): 계절과 요일

• 현상: AI 는 '1 월, 2 월, ... 12 월'이나 '월요일, 화요일, ... 일요일'을 배치할 때, 이를 원 (Circle) 모양으로 배치합니다.
• 비유: 시계를 생각해보세요. 12 시와 1 시는 가깝고, 12 시와 6 시는 멀지만, 12 시와 다시 12 시 (다음 해) 는 연결됩니다. AI 는 이 '순환성'을 깨닫고, 단어들을 원형으로 배치합니다. 그래야 "12 월 다음 달은?"이라는 질문을 할 때 1 월로 자연스럽게 넘어갈 수 있기 때문입니다.
• 논문이 말해주는 것: 이 원형 구조는 AI 가 직접 "원"을 그리라고 지시받은 게 아니라, **단어들이 함께 등장하는 통계적 규칙 (12 월과 1 월이 자주 함께 언급됨)**이 자연스럽게 원 모양을 만들어낸 것입니다.

📏 직선 (Line): 역사와 숫자

• 현상: '1700 년, 1701 년, 1702 년...'이나 '1, 2, 3...' 같은 개념은 매끄러운 직선을 이룹니다.
• 비유: 이는 마치 긴 줄에 구슬을 꿰어 놓은 것과 같습니다. 거리가 멀수록 (예: 1700 년과 2020 년) 단어들이 함께 등장할 확률이 급격히 떨어지기 때문에, AI 는 이를 직선으로 배치하여 거리를 정확히 표현합니다.

🗺️ 지도 (Map): 지리적 위치

• 현상: 미국의 주 (State) 이름들을 배치하면, 실제 지리 지도와 매우 흡사한 모양이 나옵니다. 뉴욕은 펜실베이니아와 가깝고, 캘리포니아는 멀리 떨어집니다.
• 비유: AI 는 텍스트 속의 "뉴욕은 펜실베이니아 옆에 있다"는 문장들을 통해, 실제 지리적 거리와 똑같은 거리를 머릿속에 그립니다.

3. 놀라운 사실: "일부 정보를 지워도 모양은 유지된다"

이 논문에서 가장 놀라운 발견 중 하나는 **Robustness (견고함)**입니다.

• 실험: 연구자들은 AI 가 학습한 데이터에서 '12 월'과 '1 월'이 함께 나오는 문장을 모두 지워버렸습니다. (예: "12 월과 1 월은 겨울이다" 같은 문장 삭제)
• 결과: 놀랍게도 AI 는 여전히 12 월과 1 월을 원형으로 배치했습니다!
• 이유 (비유): 마치 오케스트라와 같습니다.
  • 만약 바이올린 소리만 지워도 오케스트라가 멈출까요? 아닙니다. 다른 악기 (첼로, 트럼펫 등) 들도 같은 곡을 연주하고 있기 때문에 전체적인 멜로디 (원형 구조) 는 유지됩니다.
  • 언어에서도 '12 월'과 '1 월'이 직접적으로 언급되지 않아도, '스키', '눈', '추위' 같은 계절 관련 단어들이 이 두 달을 연결해 주기 때문에 AI 는 원형 구조를 잃지 않습니다.
  • 즉, 이 기하학적 구조는 특정 단어 몇 개에 의존하는 게 아니라, 수천 개의 단어가 만들어내는 집단적 효과입니다.

4. 결론: AI 는 왜 이렇게 똑똑한 모양을 그릴까?

이 논문의 결론은 매우 심플합니다.

"AI 가 그리는 복잡한 기하학적 모양 (원, 선, 지도) 은 AI 가 스스로 발명한 것이 아니라, 우리가 쓰는 언어 (자연어) 에 이미 숨겨져 있던 '통계적 대칭성'을 AI 가 그대로 반영한 결과다."

우리가 매일 쓰는 언어를 분석해보면, 시간과 공간의 흐름이 규칙적으로 반복됩니다. AI 는 이 규칙을 찾아내어, 단어들을 가장 효율적으로 배치할 수 있는 기하학적 지도를 자동으로 그려낸 것입니다.

한 줄 요약:

AI 는 단어들을 단순히 나열하는 게 아니라, 단어들이 서로 얼마나 자주 손을 잡는지 (함께 등장하는지) 를 분석하여, 시간과 공간의 흐름을 자연스럽게 표현할 수 있는 '기하학적 지도'를 스스로 그려냅니다.

기술 요약

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 과 단어 임베딩 모델은 훈련 과정에서 놀라운 기하학적 구조를 가진 내부 표현을 학습합니다.

• 관측된 현상:
  • 원 (Circles): 요일, 월, 색상 등 주기적인 개념은 표현 공간에서 원형 구조를 이룹니다.
  • 1 차원 매니폴드 (1D Manifolds): 역사적 연도나 수선과 같은 연속적인 개념은 "물결 (ripples)"이 있는 매끄러운 1 차원 곡선으로 조직화됩니다.
  • 선형 디코딩 (Linear Decoding): 지리적 좌표 (위도/경도) 나 역사적 연도는 선형 프로브 (linear probe) 를 통해 쉽게 디코딩될 수 있습니다.
• 미해결 과제: 이러한 구조가 다양한 모델 아키텍처와 작업에서 보편적으로 나타나는 이유는 무엇이며, 이를 설명하는 통합된 원리 (organizing principle) 는 무엇인가? 기존 연구는 이러한 현상을 기술적으로 기록했으나, 그 기저에 있는 수학적 원인을 규명하지 못했습니다.

2. 방법론 (Methodology)

저자들은 단어 간 공출현 (co-occurrence) 통계의 대칭성이 이러한 기하학적 구조를 결정한다는 가설을 세우고 이를 분석적으로 증명했습니다.

• 핵심 가정 (Translation Symmetry):
  • 자연어에서 두 단어의 공출현 확률은 두 단어 사이의 의미적 거리 (시간적, 공간적 간격) 에만 의존하며, 절대적인 위치에는 의존하지 않는 **병진 대칭성 (Translation Symmetry)**을 가집니다.
  • 예: "1 월"과 "3 월"이 함께 나오는 빈도는 "2 월"과 "4 월"이 함께 나오는 빈도와 동일합니다 (시간 간격이 2 개월이므로).
• 수학적 모델링:
  • 공출현 행렬 ($M^\star$): 단어 임베딩 모델 (word2vec 등) 은 정규화된 공출현 행렬 (PMI 와 유사) 의 고유벡터를 학습함을 선행 연구 (Karkada et al., 2025) 를 통해 인용합니다.
  • 대칭성과 푸리에 해석: 공출현 통계가 병진 대칭성을 가진다면, 공출현 행렬은 순환 행렬 (Circulant matrix) 또는 Toeplitz 행렬의 성질을 띠게 됩니다. 이는 고유벡터가 **푸리에 모드 (Fourier modes)**가 됨을 의미합니다.
  • 이론적 유도:
    • 주기적 경계 조건 (Periodic BC): 달력 월과 같은 경우, 행렬이 순환적이 되어 고유벡터가 사인 (sin) 과 코사인 (cos) 쌍으로 구성됩니다. 이는 표현 공간에서 원 (Circle) 기하학을 생성합니다.
    • 개방 경계 조건 (Open BC): 역사적 연도와 같은 경우, 행렬이 Toeplitz 형태를 띠며 고유벡터는 특정 양자화 조건을 만족하는 삼각함수 형태가 됩니다. 이는 리사주 곡선 (Lissajous curves) 형태의 1 차원 매니폴드를 생성합니다.
• 실험적 검증:
  • Wikipedia 로 학습된 단어 임베딩 모델 (word2vec) 과 Gemma 2 2B 와 같은 대규모 LLM 의 내부 표현을 분석하여 이론적 예측과 비교했습니다.
  • 공출현 통계를 인위적으로 교란 (예: 월별 공출현 제거) 했을 때의 강건성 (robustness) 을 검증했습니다.

3. 주요 기여 (Key Contributions)

1. 통일된 원리 제시: 언어 통계의 병진 대칭성이 표현 공간의 기하학 (원, 1 차원 곡선, 선형 좌표) 을 결정한다는 단일 원리를 제시했습니다.
2. 분석적 유도: 공출현 통계의 대칭성으로부터 표현 기하학을 직접 유도하는 수학적 식을 도출했습니다.
   • 주기적 개념 $\rightarrow$ 푸리에 모드 $\rightarrow$ 원형 구조.
   • 연속적 개념 $\rightarrow$ 고조파 (ripples) 포함 $\rightarrow$ 1 차원 매니폴드.
3. 선형 좌표 디코딩의 이론적 설명: 왜 적은 차원의 임베딩으로도 시간/공간 좌표를 선형적으로 디코딩할 수 있는지, 그리고 그 오차가 어떻게 스케일링되는지 (Proposition 4) 를 증명했습니다.
4. 강건성 (Robustness) 의 기작 규명: 특정 단어 쌍의 공출현 통계가 제거되더라도 (예: 월 - 월 공출현 삭제) 표현 기하학이 유지되는 이유를 잠재 변수 (latent variable) 모델로 설명했습니다. 많은 단어가 공통의 잠재 변수 (계절, 지리 등) 에 의해 영향을 받기 때문에, 공출현 행렬의 주요 고유값 (large eigenvalues) 이 유지되어 기하학이 보존됨을 보였습니다.
5. 실증적 검증: 단어 임베딩 모델과 최신 LLM (Gemma 2) 에서 이론적 예측 (리사주 곡선, PCA 축의 구조 등) 이 정확히 일치함을 실험으로 확인했습니다.

4. 주요 결과 (Results)

• 기하학적 일치: 이론적으로 유도된 푸리에 기반의 표현 기하학 (예: 월별 표현의 원형 구조, 연도 표현의 리사주 곡선) 은 Wikipedia 단어 임베딩과 Gemma 2 의 내부 표현과 매우 높은 일치도를 보였습니다.
• 리사주 곡선 (Lissajous Curves): 1 차원 연속체 (역사적 연도) 를 표현하는 벡터를 주성분 (PCA) 2 개로 투영하면, 이론이 예측한 대로 리사주 곡선 형태가 나타났습니다. 이는 3D 시각화에서 관찰되는 "물결 (ripples)" 현상의 기원이 대칭성임을 설명합니다.
• 강건성 실험:
  • 월별 단어 간의 직접적인 공출현을 모두 제거하고 학습하더라도, 다른 계절적 단어 (예: '스키', '꽃', '허리케인' 등) 를 통해 학습된 잠재 변수 (계절) 의 영향으로 인해 월별 표현의 원형 구조가 복원되었습니다.
  • 이는 표현 기하학이 개별 단어 쌍의 통계가 아니라, **집단적 현상 (collective phenomenon)**으로서 많은 단어가 공유하는 잠재 변수에 의해 결정됨을 시사합니다.
• 선형 디코딩: 선형 프로브를 사용하여 연도나 좌표를 디코딩할 때, 사용하는 주성분의 수 ($r$) 가 증가함에 따라 오차가 $r^{-1/D}$ 비율로 감소함을 이론적으로 증명하고 실험적으로 확인했습니다.

5. 의의 및 결론 (Significance)

• 데이터 구조와 학습 표현의 연결: 이 연구는 자연어 데이터의 저차원 상관관계 (단어 간 공출현) 에 내재된 대칭성이 신경망이 학습하는 표현의 기하학적 구조를 직접적으로 형성함을 보여줍니다.
• 보편성 설명: 다양한 모델 아키텍처 (단순 임베딩부터 Transformer 기반 LLM 까지) 에서 관찰되는 유사한 기하학적 패턴이 모델의 설계가 아닌, 데이터 통계의 보편적 속성에서 비롯됨을 설명합니다.
• 신경과학적 유사성: 연구는 포유류의 내후각피질 (entorhinal cortex) 에 있는 그리드 셀 (grid cells) 이 공간 인코딩을 위해 푸리에 모드의 간섭 패턴을 사용한다는 사실과 유사하다고 지적하며, 기계 학습과 생물학적 학습 간의 깊은 연결 고리를 시사합니다.
• 해석 가능성 (Interpretability): 모델이 어떻게 시간과 공간을 추상화하여 계산하는지 이해하는 데 중요한 이론적 토대를 제공하며, 모델의 내부 작동 원리를 해석하는 데 기여합니다.

요약하자면, 이 논문은 **"언어 모델의 복잡한 내부 표현 기하학은 단순한 단어 통계의 대칭성에서 자연스럽게 도출된다"**는 강력한 주장을 수학적 증명과 실험적 증거로 뒷받침하여, 언어 모델의 표현 학습에 대한 새로운 이론적 패러다임을 제시합니다.