World Properties without World Models: Recovering Spatial and Temporal Structure from Co-occurrence Statistics in Static Word Embeddings

이 논문은 LLM 의 내부 상태에서 지리적·시간적 구조가 선형적으로 복원 가능하다는 사실이 반드시 '세계 모델'을 의미하는 것은 아니며, 정적 단어 임베딩에서도 텍스트의 공출현 통계만으로도 이러한 구조가 충분히 보존되어 있음을 보여줍니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 세상을 이해한다고 말하는 것이 정말 맞을까?"**라는 흥미로운 질문에서 시작합니다.

최근 연구들은 AI 가 지도상의 위치나 역사적 연도를 예측할 수 있다는 점을 들어, AI 가 마치 인간처럼 '세상의 모델 (World Model)'을 머릿속에 가지고 있다고 주장했습니다. 하지만 이 논문의 저자는 **"잠깐만요, 그 정보는 AI 가 새로 배운 게 아니라, 원래 텍스트 속에 이미 숨어있었을지도 모릅니다"**라고 반박합니다.

이 복잡한 논리를 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 핵심 비유: "수프의 맛"과 "요리사의 재능"

상상해 보세요. 어떤 사람이 **"이 수프를 맛보니, 이 수프를 만든 요리사가 바다 근처에서 자랐을 거야!"**라고 말합니다.
그 이유는 수프에 '바다 냄새'가 나기 때문입니다.

• 기존의 주장 (LLM 연구): "우리가 만든 최신 AI(요리사) 가 바다 냄새를 맡고 위치를 맞췄으니, 이 AI 는 세상을 이해하는 능력을 갖췄다!"
• 이 논문의 주장 (이 연구): "아니요, 그 수프에 들어간 재료 (단어) 들 자체가 이미 바다 근처에서 자란 사람들과 자주 함께 언급되었기 때문입니다. AI 가 똑똑해서가 아니라, 원래 재료 (텍스트) 에 그 정보가 이미 녹아있었기 때문입니다."

📚 이 연구가 무엇을 했나요?

저자는 최신 AI(거대 언어 모델) 대신, 아주 오래되고 단순한 **'고정된 단어 벡터 (Static Embeddings)'**라는 도구를 사용했습니다. 이 도구는 문맥을 이해하지 못하고, 단순히 **"어떤 단어들이 자주 함께 쓰이는가?"**만 통계적으로 계산합니다. 마치 단어들의 '친구 관계'를 기록한 명부 같은 거죠.

그리고 이 단순한 명부에 **리니어 회귀 (선형 회귀)**라는 간단한 수학적 도구를 대입해 보았습니다.

1. 놀라운 결과: "단어 명부"에서 지도가 나왔다!

이 단순한 명부만으로도 다음을 꽤 정확하게 예측할 수 있었습니다.

• 🌍 지리적 위치: 뉴욕, 런던, 서울 같은 도시의 위도, 경도.
• 🌡️ 기후: 그 도시의 평균 기온 (뜨거운 곳 vs 추운 곳).
• ⏳ 역사: 유명한 인물들이 살았던 시대 (고대 vs 현대).

비유: 단어 명부를 보면, "코코넛", "사이클론" 같은 단어와 자주 함께 나오는 도시들은 남쪽 (뜨거운 곳) 에 있고, "스키", "바이올리니스트" 같은 단어와 함께 나오는 도시들은 북쪽 (추운 곳) 에 있다는 것을 AI 가 알아낸 게 아니라, 단어들이 저절로 그렇게 모여 있었기 때문이라는 뜻입니다.

2. 하지만 모든 게 다 된 건 아닙니다.

반면, 해발 고도나 GDP(부유함), 인구 수는 예측하지 못했습니다.
왜일까요? 텍스트 속에서 "높은 산"이나 "부자 나라"라는 단어가 특정 도시와 통계적으로 강하게 연결되지 않았기 때문입니다. 즉, AI 가 무작위로 모든 정보를 다 알아낸 게 아니라, 텍스트에 이미 녹아있는 정보만 찾아낸 것입니다.

🔍 왜 중요한가요? (핵심 메시지)

이 연구는 우리에게 두 가지 중요한 교훈을 줍니다.

1. "AI 가 세상을 이해한다"는 증거는 부족합니다.
최근 AI 가 지도를 그릴 수 있다는 게 AI 가 '세상 모델'을 갖췄다는 증거라고들 합니다. 하지만 이 연구는 **"아니요, 그건 AI 가 새로 배운 게 아니라, 텍스트라는 원재료에 이미 지도가 그려져 있었기 때문"**이라고 말합니다.

비유: 요리사가 수프를 맛보고 재료를 고른 게 아니라, 재료 자체가 이미 그 맛을 가지고 있었던 것입니다. 따라서 단순히 "예측이 잘 된다"는 것만으로 AI 가 인간처럼 생각한다고 단정할 수 없습니다.

2. 언어는 세상을 압축한 보물상자입니다.
우리는 언어를 단순히 기호의 나열로 생각하지만, 이 연구는 자연어 텍스트 자체가 지리, 기후, 역사의 관계를 이미 압축해서 담고 있다는 놀라운 사실을 보여줍니다.

• "열대 우림"이라는 단어와 "코코넛"이 자주 함께 쓰이는 패턴은, AI 가 배운 게 아니라 인간이 글을 쓸 때 이미 그렇게 표현해 왔기 때문입니다.
• 아주 단순한 통계 모델조차 이 '숨겨진 지도'를 찾아낼 수 있다는 것은, 텍스트가 가진 힘이 우리가 생각하는 것보다 훨씬 강력하다는 뜻입니다.

🎯 결론

이 논문은 **"AI 가 세상을 이해하는지 확인하는 새로운 기준"**을 제시합니다.

• 과거의 생각: "AI 가 위치를 맞췄으니, AI 는 세상을 이해한다!"
• 이 논문의 결론: "잠깐, 그 정보는 원래 텍스트에 있었으니, AI 가 진짜로 이해했는지 확인하려면 단순한 통계로 풀 수 없는 더 복잡한 일을 해내야 한다."

결국, 이 연구는 AI 의 능력을 과대평가하지 말자고 경고하면서도, 우리가 쓰는 언어가 얼마나 풍부한 세상 정보를 담고 있는지에 대한 경이로움을 다시 한번 일깨워줍니다.

한 줄 요약: "AI 가 지도를 그릴 수 있다는 게 AI 가 똑똑해서가 아니라, 원래 쓰인 글 (텍스트) 에 이미 지도가 숨어있었기 때문일 수 있습니다."

기술 요약

1. 문제 제기 (Problem)

최근 대규모 언어 모델 (LLM) 의 숨겨진 상태 (hidden states) 에서 지리적 좌표나 시간적 변수가 선형적으로 복원 가능하다는 연구 결과 (Gurnee & Tegmark, 2024) 가 발표되었습니다. 이는 LLM 이 단순한 텍스트 통계 이상으로 '세계 모델 (World Model)'과 유사한 구조화된 내부 표현을 학습했음을 시사하는 증거로 해석되었습니다.

하지만 저자는 이 해석에 의문을 제기하며, LLM 에서 발견된 이러한 공간 및 시간 구조가 사실은 텍스트 자체에 내재된 통계적 규칙성 (co-occurrence statistics) 에서 이미 기원한 것일 수 있다는 가설을 검증합니다. 즉, 컨텍스트 처리나 계층적 추론이 전혀 없는 단순한 정적 (static) 단어 임베딩에서도 동일한 구조가 복원된다면, 선형 프로브 (linear probe) 를 통한 복원 가능성만으로는 LLM 이 텍스트를 넘어선 표현을 학습했다고 단정할 수 없다는 논지를 펼칩니다.

2. 방법론 (Methodology)

2.1 모델 및 데이터

• 임베딩 모델: 컨텍스트 처리가 없고 오직 코퍼스 (Corpus) 의 공발생 통계에 기반한 두 가지 정적 임베딩 모델을 사용했습니다.
  • GloVe: 60 억 토큰 (Wikipedia, Gigaword) 기반, 300 차원 벡터.
  • Word2Vec (Google News): 약 1,000 억 토큰 기반, 300 차원 벡터.
• 데이터셋:
  • 세계 도시 (World Cities): 100 개 도시 (6 대륙) 에 대한 위도, 경도, 연평균 기온, 설립 연도, 고도, 1 인당 GDP, 인구 데이터.
  • 역사적 인물 (Historical Figures): 고대부터 20 세기까지의 194 명 인물에 대한 출생/사망 연도.

2.2 프로브 (Probe) 아키텍처

• 리지 회귀 (Ridge Regression): 모든 실험은 선형 리지 회귀 모델을 사용하여 임베딩 벡터 ($x$) 에서 목표 변수 ($y$) 를 예측합니다.
  • 목적 함수: $\hat{y} = w^T x + b$
  • 정규화 파라미터 $\lambda$ 는 5 폴드 교차 검증을 통해 선택.
• 제어 변수: LLM 연구와 동일한 선형 프로브를 사용하여 비교의 공정성을 확보했습니다. 비선형 프로브는 사용하지 않아 신호가 표현 기하학에서 기인한 것인지, 프로브의 유연성에서 기인한 것인지 명확히 구분했습니다.

2.3 분석 기법

1. 예측 성능 평가: 위도, 경도, 기온, 연도 등에 대한 $R^2$ (결정 계수) 및 MAE(평균 절대 오차) 측정.
2. 의미적 유사성 분석 (Semantic Similarity Analysis): 도시 임베딩과 어휘 간의 코사인 유사도를 계산하여, 어떤 단어들이 지리적/기후적 특성과 상관관계를 가지는지 데이터 주도적으로 탐색.
3. 의미적 부분 공간 제거 (Semantic Subspace Ablation): 특정 의미 범주 (국가명, 기후 용어 등) 에 해당하는 단어들의 벡터가 형성하는 주성분 (PCA) 을 임베딩에서 제거한 후, 예측 성능이 얼마나 떨어지는지 측정. 이는 무작위 차원 제거와 비교하여 통계적 유의성을 검증했습니다.

3. 주요 결과 (Key Results)

3.1 공간 및 시간 구조의 복원 가능성

• 지리적 좌표: GloVe 와 Word2Vec 모두에서 위도와 경도를 높은 정확도로 예측 가능 ($R^2 \approx 0.71 \sim 0.87$).
• 기후 (기온): 연평균 기온도 유의미하게 예측 가능 ($R^2 \approx 0.47 \sim 0.62$).
• 시간적 구조: 역사적 인물의 출생/사망 연도 예측 가능 ($R^2 \approx 0.46 \sim 0.52$). 다만, 이는 정밀한 날짜보다는 시대별 (고대, 중세, 현대) 대략적인 구분 수준입니다.
• 부정적 통제 (Negative Controls): 고도, 1 인당 GDP, 인구는 예측이 불가능하거나 ($R^2 \le 0$ 또는 음수) 매우 낮았습니다. 이는 프로브가 임의의 세계 속성을 추출하는 것이 아니라, 텍스트 공발생 패턴에 체계적으로 존재하는 구조만 선택적으로 복원함을 의미합니다.

3.2 의미적 해석 가능성 및 부분 공간 분석

• 어휘 기반 상관관계:
  • 더운 도시와 강한 상관관계를 가진 단어: 'dengue(뎅기열)', 'cyclone(사이클론)', 'tropical(열대)', 'coconut(코코넛)' 등.
  • 추운 도시와 강한 상관관계를 가진 단어: 'chemist(화학자)', 'physicist(물리학자)', 'skiing(스키)', 'polar(극지방)' 등.
  • 이는 임베딩 공간이 기후 관련 어휘와의 공발생 빈도를 통해 지리적 위치를 인코딩하고 있음을 보여줍니다.
• 부분 공간 제거 실험 (Ablation Study):
  • 국가명 (Country names): 지리적 신호 (위도, 기온) 의 가장 강력한 원천. 이를 제거하면 위도 예측 $R^2$ 가 0.71 에서 0.27 로 급감.
  • 기후 및 날씨 용어: 기온 예측에 결정적 역할. 제거 시 예측력이 상수 예측기보다도 낮아짐 ($R^2$ 음수).
  • 무작위 제거 대조군: 동일한 차원의 무작위 벡터를 제거했을 때는 성능 저하가 미미하여, 신호가 특정 의미적 하위 공간에 집중되어 있음을 입증.

4. 주요 기여 (Contributions)

1. 정적 임베딩의 놀라운 능력: 컨텍스트 처리가 없는 단순한 공발생 통계 기반 모델 (GloVe, Word2Vec) 만으로도 텍스트에서 지리적 좌표, 기후, 시대별 구조를 선형적으로 복원할 수 있음을 증명했습니다.
2. 해석 가능한 구조: 복원된 구조가 무작위 통계가 아니라, 국가명, 기후 용어 등 해석 가능한 어휘의 공발생 패턴에 의해 매개됨을 데이터 주도적 분석과 부분 공간 제거 실험을 통해 입증했습니다.
3. LLM 해석에 대한 방법론적 경고: LLM 에서의 선형 복원 가능성만으로는 모델이 텍스트를 넘어선 '세계 모델'을 학습했다고 결론 내릴 수 없음을 시사합니다. 텍스트 자체에 이미 풍부한 구조가 내재되어 있기 때문입니다.
4. 텍스트의 본질에 대한 통찰: 자연어 공발생 패턴 자체가 지리, 기후, 역사의 압축된 관계 지도를 포함하고 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 **"World Properties without World Models"**라는 제목이 시사하듯, LLM 이 복잡한 내부 세계 모델을 구축했다는 주장에 대한 강력한 반박을 제시합니다.

• 해석의 재평가: LLM 의 숨겨진 상태 (hidden states) 에서 공간/시간 정보가 선형적으로 복원된다는 사실은, 모델이 텍스트를 넘어선 추상적 표현을 학습했음을 의미하지 않을 수 있습니다. 오히려 이는 텍스트 코퍼스 자체에 이미 이러한 구조가 압축되어 있었음을, 그리고 LLM 이 이를 단순히 더 정교하게 (더 큰 데이터, 더 높은 차원, 컨텍스트 처리를 통해) 재현했을 뿐일 수 있음을 보여줍니다.
• 텍스트의 풍부함: 가장 중요한 발견은 단순한 분포적 모델조차 텍스트만으로부터 지리적, 환경적, 역사적 구조를 얼마나 잘 보존하는지 보여준다는 점입니다. 언어는 단순한 기호의 층위가 아니라, 지리·기후·문화·역사 간의 밀도 높은 관계의 잔재입니다.
• 향후 연구 방향: LLM 이 정말로 '세계 모델'을 구축했는지 증명하려면, 단순한 선형 복원 가능성 이상으로, 공발생 통계만으로는 설명할 수 없는 비선형적 구조, 구성적 추론, 또는 일반화 능력을 입증해야 합니다.

결론적으로, 이 논문은 텍스트 기반 모델의 해석에 있어 "선형 복원 가능성"이 충분한 증거가 될 수 없음을 경고하며, 텍스트 자체의 통계적 구조가 가진 놀라운 표현력을 재조명합니다.