Simon's model does not produce Zipf's law: The fundamental rich-get-richer mechanism for any power-law size ranking

이 논문은 시몬의 기존 모델이 Zipf 의 법칙을 설명하지 못함을 지적하고, 모든 파워-레그 크기 순위 시스템을 지배하는 근본적인 메커니즘으로 로그 함수에 반비례하는 시간 의존적 혁신율 ($\rho_t \propto 1/\ln N$) 을 제안합니다.

핵심

이 논문은 복잡한 세상에서 **'누가 더 많이 가지는가'**에 대한 오래된 수수께끼를 풀고, 기존의 유명한 이론이 왜 틀렸는지를 지적한 매우 흥미로운 연구입니다.

간단히 말해, **"부자는 더 부자가 되는 현상 (Rich-get-richer)"**이 어떻게 작동해야 진짜 세상의 법칙 (예: 단어 사용 빈도, 도시 인구, 기업 규모 등) 과 일치하는지 설명하는 새로운 규칙을 찾아냈습니다.

이 내용을 일상적인 비유로 쉽게 풀어보겠습니다.

---

1. 문제: "영웅이 너무 커져버린 이야기"

우리가 세상을 보면, 아주 드물게 아주 큰 것들이 있고, 나머지는 작습니다.

• 단어: 'the', 'a' 같은 단어는 엄청나게 많이 쓰이지만, 'quintessential' 같은 단어는 거의 안 쓰입니다.
• 도시: 뉴욕, 서울 같은 초대형 도시가 있고, 작은 마을은 많습니다.
• 기업: 애플, 구글 같은 거대 기업이 있고, 작은 가게는 많습니다.

이런 현상을 **지프의 법칙 (Zipf's Law)**이라고 합니다. "순위 1 위인 것은 2 위인 것보다 2 배, 3 위인 것보다 3 배 더 크다"는 규칙입니다.

오랜 시간 동안 과학자들은 **시몬 (Simon)**이라는 학자가 1955 년에 제안한 이론을 믿어왔습니다.

시몬의 이론 (구식): "새로운 단어가 나올 확률 (혁신) 은 항상 일정하다."

하지만 이 논문은 "그건 틀렸습니다!"라고 외칩니다.
시몬의 이론대로라면, 새로운 단어가 나올 확률이 0 에 가까워질수록 (즉, 새로운 게 거의 안 나올 때), 가장 먼저 나온 '첫 번째 단어'가 모든 것을 독점해버려야 합니다.

비유로 설명하면:

한 파티에 사람이 하나씩 들어옵니다.

• 시몬의 규칙: "새로운 사람이 들어올 확률은 항상 10% 입니다."
• 결과: 시간이 지나면 파티에 100 명이 왔을 때, 첫 번째로 온 사람이 100 명 중 90 명을 차지하고, 나머지는 아주 작게 나뉩니다.
• 문제: 실제 세상은 그렇게 극단적이지 않습니다. 1 위가 2 위보다 2 배 정도 크지, 100 배는 아닙니다. 시몬의 이론은 '첫 번째 사람'이 너무 커져서 (승자 독식) 현실과 맞지 않습니다.

2. 해결책: "새로운 친구를 데려오는 속도를 조절하라"

저자들은 시몬의 이론을 고쳐서, 실제 세상의 법칙 (지프의 법칙) 을 완벽하게 설명할 수 있는 새로운 규칙을 찾아냈습니다.

핵심은 **"새로운 것 (혁신) 이 나올 확률을 고정하지 말고, 시스템이 커질수록 천천히 줄여야 한다"**는 것입니다.

창의적인 비유: "도서관의 책장"

상상해 보세요. 거대한 도서관이 생기고 책이 하나씩 들어옵니다.

• 시몬의 방식: "새로운 책 (장르) 이 나올 확률은 항상 10%." -> 결국 첫 번째 책이 도서관을 다 차지합니다.
• 새로운 방식 (이 논문의 제안): "도서관이 작을 때는 새로운 장르가 자주 나오지만, 도서관이 커질수록 새로운 장르가 나오는 속도를 조용히 늦추세요."

특히 **지프의 법칙 (1 위가 2 배 크다)**을 만들려면, 새로운 책이 나올 확률이 **"도서관의 크기 (책 수) 의 로그 (log) 값에 반비례"**해야 합니다.

• 쉽게 말해, 도서관이 10 권일 때는 새로운 장르가 자주 나오지만, 100 만 권이 되면 새로운 장르가 나오는 속도가 아주 아주 느려져야 합니다. 하지만 완전히 0 이 되면 안 됩니다. 아주 조금씩 계속 새로운 것이 들어와야 1 위와 2 위가 적당하게 균형을 이룹니다.

3. 왜 이 발견이 중요한가?

이 논문은 단순히 수학을 고친 것이 아니라, 세상의 작동 원리를 다시 보게 합니다.

1. 시몬의 모델은 '승자 독식'을 부추겼다: 기존 이론은 새로운 것이 아예 나오지 않을 때, 첫 번째 것이 모든 것을 다 가져가는 '패배적인' 결과를 낳았습니다.
2. 새로운 규칙은 '균형'을 잡는다: 새로운 것이 아주 천천히, 하지만 멈추지 않고 들어오게 하면, 1 위부터 N 위까지 자연스럽게 줄어드는 '지프의 법칙'이 나옵니다.
3. 실제 데이터로 검증: 이 논문의 새로운 규칙을 8 개의 유명한 소설 (《프랑켄슈타인》, 《돈키호테》, 《울리시스》 등) 에 적용해 보니, 실제 단어 사용 빈도와 완벽하게 일치했습니다. 반면 시몬의 구식 이론은 실패했습니다.

4. 결론: "세상은 어떻게 성장하는가?"

이 논문의 핵심 메시지는 다음과 같습니다.

"부자가 더 부자가 되는 현상 (Rich-get-richer) 은 사실입니다. 하지만 그 과정이 완벽하려면, '새로운 것'이 들어오는 속도가 시스템이 커질수록 아주 정교하게 조절되어야 합니다."

마치 식물이 자랄 때처럼, 처음에는 싹이 많이 트지만 (새로운 단어/도시/기업이 많이 생김), 나중에는 자라는 속도가 느려지지만 (새로운 것이 드물어짐) 완전히 멈추지는 않아야, 숲이 균형 잡힌 모습 (지프의 법칙) 을 유지할 수 있다는 뜻입니다.

이 새로운 규칙은 앞으로 언어, 경제, 생태계 등 어떤 복잡한 시스템이든 그 성장 과정을 이해하는 데 가장 기초가 되는 '표준 모델'이 될 것입니다.

---

한 줄 요약:
"기존 이론은 '새로운 것'이 아예 안 나오면 '첫 번째 것'이 독점해서 망한다고 했지만, 이 논문은 '새로운 것이 아주 천천히, 하지만 멈추지 않고 계속 들어와야 세상이 자연스럽게 균형 잡힌다'는 새로운 규칙을 찾아냈습니다."

기술 요약

논문 요약: 시몬 (Simon) 모델의 한계와 새로운 동적 혁신률의 도출

1. 문제 제기 (Problem)

복잡계 (Complex Systems) 에서 관찰되는 가장 보편적인 패턴 중 하나는 '파워 법칙 크기 순위 (Power-law size ranking)'입니다. 즉, 구성 요소의 크기 $S$가 순위 $r$의 역수 거듭제곱 ($S \propto r^{-\alpha}$) 으로 감소하는 현상입니다. 특히 $\alpha=1$인 경우를 '지프의 법칙 (Zipf's law)'이라고 하며, 언어의 단어 빈도, 도시 인구, 기업 규모 등 다양한 분야에서 나타납니다.

이러한 현상을 설명하는 가장 영향력 있는 이론은 1955 년 허버트 시몬 (Herbert Simon) 이 제안한 '부익부 빈익빈 (Rich-get-richer)' 모델입니다. 시몬의 모델은 새로운 토큰 (예: 단어) 이 시스템에 추가될 때, 기존 유형을 강화할 확률 $(1-\rho)$과 새로운 유형을 도입할 확률 $\rho$를 가정합니다. 시몬은 이 모델이 지수 $\alpha = 1 - \rho$를 생성한다고 주장했습니다.

핵심 문제점:
본 논문은 시몬의 모델이 $\rho \to 0$ (혁신이 거의 없는) 극한에서 치명적인 오류를 범한다고 지적합니다.

• 시몬의 분석에 따르면 $\rho \to 0$일 때 $\alpha \to 1$이 되어 지프의 법칙을 회복해야 하지만, 실제로는 초기 진입자 우위 (First-mover advantage) 가 $1/\rho$ 배로 발산합니다.
• 결과적으로 $\rho = 0$일 때 모델은 '승자 독식 (Winner-takes-all)' 시스템으로 붕괴하여 $\alpha \to \infty$가 됩니다. 즉, 시몬의 모델은 $\alpha \ge 1$인 영역 (지프의 법칙 포함) 을 설명할 수 없으며, 이는 실제 관측 데이터와 불일치합니다.

2. 방법론 (Methodology)

저자들은 시몬의 모델을 수정하여 모든 $\alpha \ge 0$에 대해 파워 법칙 크기 순위를 올바르게 생성할 수 있는 **시간 의존적 혁신률 (Time-dependent innovation rate, $\rho_{t,\alpha}$)**을 유도했습니다.

• 기존 모델의 재검토: 시몬의 고정된 혁신률 $\rho$ 대신, 시스템이 성장함에 따라 변화하는 $\rho_{t,\alpha}$를 도입했습니다.
• 유도 과정:
  1. $r$번째 유형이 등장하는 시간 $t^{init}_r$을 기준으로 성장 방정식을 설정했습니다.
  2. 파워 법칙 꼬리 ($S_r \sim r^{-\alpha}$) 를 얻기 위해서는 유형 등장 시간이 $t^{init}_r \sim r^\alpha$로 성장해야 함을 보였습니다.
  3. 이를 통해 총 유형 수 $N_{t,\alpha}$와 시간 $t$의 관계를 분석하고, 이를 역으로 풀어 동적 혁신률 $\rho_{t,\alpha}$를 도출했습니다.
• 수식적 일반화:
  • $\alpha \ll 1$인 경우: 시몬의 상수 $\rho = 1-\alpha$로 수렴합니다.
  • $\alpha = 1$ (지프의 법칙) 인 경우: 혁신률이 $\rho_{t,1} \to 1/\ln N_{t,1}$로 감소해야 함을 발견했습니다.
  • $\alpha \gg 1$인 경우: 헤이프스 법칙 (Heaps' law) 과 일치하는 형태로 도출됩니다.

3. 주요 기여 (Key Contributions)

1. 시몬 모델의 근본적 오류 규명: 시몬의 모델이 $\rho \to 0$일 때 지프의 법칙을 생성하지 못하고 오히려 승자 독식 구조로 변질됨을 수학적으로 증명했습니다.
2. 보편적 동적 혁신률 도출: 모든 $\alpha \ge 0$에 대해 파워 법칙을 생성하는 새로운 혁신률 식 (Eq. 17) 을 제시했습니다.
   $$\rho_{t,\alpha} = \frac{1-\alpha}{1 + \alpha(1-\alpha)\zeta(\alpha)(N_{t,\alpha}+1)^{\alpha-1}}$$
3. 지프의 법칙의 조건 규명: 지프의 법칙 ($\alpha=1$) 이 성립하기 위해서는 혁신률이 0 이 되어서는 안 되며, 유형 수 $N$의 로그에 반비례하여 ($1/\ln N$) 서서히 감소해야 함을 밝혔습니다.
4. 메커니즘 무관성 (Mechanism Independence): 이 동적 혁신률은 '부익부 빈익빈' 메커니즘뿐만 아니라, 파워 법칙 크기 순위를 따르는 어떤 성장 시스템에서도 필수적으로 나타나는 보편적 특성임을 보였습니다.

4. 결과 (Results)

• 시뮬레이션 검증: 제안된 일반화된 모델은 $\alpha$의 모든 범위 (0 에서 무한대까지) 에서 이상적인 크기 순위 분포를 정확하게 재현했습니다. 반면, 기존 시몬 모델은 $\alpha \ge 1$ 영역에서 실패했습니다.
• 실제 데이터 적용: 5 개 언어, 8 권의 유명 소설 (《프랑켄슈타인》, 《돈키호테》, 《율리시스》등) 의 단어 빈도 데이터를 분석했습니다.
  • 제안된 모델은 실제 텍스트의 단어 순위 분포를 매우 정확하게 예측했습니다.
  • 시몬의 모델은 실제 데이터와 큰 오차를 보였습니다.
• 지프의 법칙의 재해석: 지프의 법칙은 혁신이 멈출 때 ($\rho=0$) 생기는 것이 아니라, 혁신률이 매우 느리게 ($1/\ln N$) 감소할 때 발생한다는 것을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 복잡계 과학에서 70 년 이상 통용되어 온 시몬의 모델을 근본적으로 수정하고 확장했습니다.

• 이론적 의의: 파워 법칙 크기 순위의 생성 메커니즘에 대한 새로운 표준 모델 (Drosophila-like model) 을 제시했습니다.
• 실용적 의의: 언어학, 생태학, 도시 계획, 사회 네트워크 등 다양한 분야에서 관찰되는 스케일 프리 (Scale-free) 현상을 이해하는 데 더 정확한 기준을 제공합니다.
• 미래 전망: 제안된 동적 혁신률 메커니즘은 실제 시스템에서 혁신이 어떻게 일어나야 하는지에 대한 새로운 통찰을 제공하며, 향후 다양한 복잡계 현상의 모델링 기초가 될 것입니다.

결론적으로, 이 연구는 "부익부 빈익빈" 메커니즘이 지프의 법칙을 생성하기 위해서는 혁신률이 고정된 상수가 아니라 시스템의 성장에 따라 로그적으로 감소해야 함을 증명함으로써, 복잡계의 스케일링 법칙에 대한 이해를 한 단계 끌어올렸습니다.