Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

기술 요약: 구성 요소 시스템에서의 보편적 다양성 스케일링에 대한 대안적 경로

문제 제기
게놈과 프로테옴, 언어, 레고 구조물, 그리고 거대 언어 모델(LLM)에 이르기까지 복잡한 "구성 요소 시스템(component systems)"은 다양성에 관한 매우 일관된 통계적 법칙을 보여준다. 두 가지 주요 규칙성이 관찰된다:

1. 힙의 법칙(Heaps' Law): 고유 구성 요소의 수(어휘 크기, $h$)는 전체 시스템 크기($m$)에 따라 아선형(sublinearly)으로 성장하며, 일반적으로 $\langle h \rangle \propto m^\nu$ ($0 < \nu < 1$)의 형태를 띤다.
2. 이차 변동 스케일링(Quadratic Fluctuation Scaling): 어휘의 분산은 평균에 대해 이차적으로 스케일링된다 ($\sigma_h^2 \propto \langle h \rangle^2$). 이는 비자기평균적(non-self-averaging) 행동을 나타내며, 단순 샘플링 모델(포아송 스케일링, $\sigma_h^2 \propto \langle h \rangle$)과는 대조적이다.

이러한 패턴은 흔히 "혁신(innovation)" 메커니즘(시스템이 성장함에 따라 새로운 구성 요소가 발견되는 과정)의 징후로 해석되지만, 두 법칙을 동시에 생성하기 위해 필요한 최소한의 구성 요소가 무엇인지는 여전히 명확히 밝혀지지 않았다. 또한, 이러한 통계적 법칙이 생성 메커니즘을 고유하게 식별하는지, 아니면 대안적인 프레임워크(예: 잠재적 이질성)가 동일한 거시적 징후를 만들어낼 수 있는지도 불분명하다.

방법론
저자들은 두 가지 광범위한 설명적 프레임워크를 비교하기 위해 수학적 모델링 접근법을 사용한다:

1. 순차적 성장 모델 (혁신-복제): 이 모델들은 기존 구성 요소의 복제 또는 새로운 구성 요소의 발견(혁신)을 통해 토큰이 추가됨으로써 시스템이 성장한다고 가정한다. 저자들은 일반적인 클래스의 모델에 대한 분석적 조건을 도출하며, 특히 혁신 확률 $p_n(h, m)$을 조사한다. 이들은 연속 시간 근사법과 평균장 궤적(mean-field trajectory)의 안정성 분석을 사용하여 평균과 분산의 점근적 거동을 분석한다.
2. 잠재적 이질성을 가진 샘플링 모델: 이 모델들은 구현체들이 (텍스트의 주제나 게놈의 분류군과 같이) 변동하는 구성 요소 빈도 분포(흔히 멱법칙/지프 분포)로부터 샘플링된다고 가정한다. 저자들은 전체 분산을 내적(within-topic) 성분과 외적(between-topic) 성분으로 분해하기 위해 **전체 분산의 법칙(law of total variance)**을 활용한다.

본 연구는 이론적 예측을 네 가지 서로 다른 데이터셋을 통해 검증한다:

• 프로젝트 구텐베르크 도서 및 위키피디아: 단어 다양성을 분석하기 위해 텍스트 코퍼스 분석.
• 레고 구조물: 테마별로 주석이 달린 브릭 유형 다양성 분석.
• 프로테옴: 분류학적 클레이드로 주석이 달린 박테리아 게놈의 단백질 도메인 패밀리 다양성 분석.
• 거대 언어 모델(LLM): 무작위 프롬프트를 사용하여 GPT-2 및 Llama-3 모델이 생성한 텍스트 분석.

주요 기여 및 결과

1. 혁신 모델을 위한 필요 조건
저자들은 일반적인 혁신-복제 모델이 힙의 법칙과 이차 변동 스케일링을 모두 재현하기 위해서는 혁신 확률이 다음과 같은 특정 점근적 의존성을 만족해야 함을 도출했다:
$$p_n \sim \frac{h}{m}$$
이는 **"다양성이 다양성을 생성한다(diversity-generates-diversity)"**는 메커니즘을 나타내며, 새로운 구성 요소를 발견할 확률이 현재의 다양성($h$)에는 선형적으로 비례하고 시스템 크기($m$)에는 반비례함을 의미한다.

• 만약 $p_n$이 $m$에만 의존한다면(예: 표준 Yule-Simon 모델), 시스템은 아선형 성장은 재현할 수 있으나 포아송 스크일링($\sigma_h^2 \leq \langle h \rangle$)에 갇히게 되어 관찰된 이차 변동을 포착하지 못한다.
• 저자들은 이 클래스의 모델 내에서 이러한 선형 의존성이 필요 조건임을 입증한다. 다른 함수 형태들은 관찰된 경험적 스케일링 지수를 공동으로 재현하는 데 실패한다.

2. 거대 언어 모델에서의 스케일링 출현
연구는 LLM에서 "다양성이 다양성을 생성한다"는 가설을 테스트한다. GPT-2와 Llama-3의 출력 어휘를 분석함으로써, 저자들은 유효 혁신 확률이 실제로 현재 어휘 크기에 선형적($p_n \propto h/m$)임을 발견했다. 이는 LLM의 복잡성에도 불구하고, 그들의 생성 과정이 관찰된 통계적 법칙을 생성하는 데 필요한 특정 혁신 규칙을 효과적으로 구현하고 있음을 시사한다.

3. 대안적 경로로서의 잠재적 이질성
저자들은 명시적인 혁신 메커니즘 없이도 잠재 변수(예: 주제)를 가진 샘플링 모델에서 이차 변동 스케일링이 자연스럽게 발생함을 입증한다.

• 전체 분산의 법칙을 사용하여, 평균 어휘 크기가 잠재 변수에 의존할 경우($\langle h \rangle_t = k(t)m^\nu$), 구현체 간의 분산은 잠재 변수의 분산에 비례하는 항을 포함하게 됨을 보여준다: $\sigma_h^2 \approx \langle h \rangle + \text{CV}^2[k(t)] \langle h \rangle^2$.
• 충분히 큰 시스템 크기에서 이 이차 항이 지배적이 되어 경험적 스케일링을 재현한다.
• 결정적으로, 이 프레임워크에서 데이터로부터 추론된 "유효" 혁신 확률($p_n \approx d\langle h \rangle/dm$) 역시 명시적인 규칙 때문이 아니라 잠재적 이질성의 통계적 결과로서 선형 형태($p_n \sim h/m$)로 수렴한다.

4. 경험적 검증 및 구별 불가능성
게놈(분류학적 그룹)과 레고 세트(테마)에 대한 분석은 알려진 주석을 기준으로 구현체들을 서로 다른 다양성 수준(다른 프리팩터 $k(t)$)을 가진 그룹으로 분리할 수 있음을 보여주지만, 그룹 내에서도 멱법칙 성장은 유지된다. 그러나 주석을 적용한 후에도 잔여 이차 변동이 지속되는데, 이는 알려진 주석이 잠재적 구조의 일부만을 포착하고 있음을 시사한다.

• 메커니즘에 대한 결론: 논문은 힙의 법칙, 변동 스케일링, 그리고 추론된 혁신 확률만을 근거로 할 때, 혁신 기반 성장 모델과 잠재 변수 샘플링 모델이 현상학적으로 구별 불가능하다고 결론짓는다. 두 경로 모두 동일한 거시적 통계 법칙으로 이어진다.

의의 및 주장
본 논문은 구성 요소 시스템의 다양성 스케일링에 대한 더 명확한 해석을 제공함으로써 다음과 같은 개념적 이중성을 밝혀냈다고 주장한다:

• 고유 식별 불가: 관찰된 통계 법칙(힙의 법칙과 이차 변동)은 밑바탕이 되는 생성 메커니즘을 고유하게 식별하지 못한다. 이는 명시적인 "부익부 빈익빈(rich-get-richer)" 혁신 과정으로부터 발생할 수도 있고, 이질적인 잠재 상태의 통계적 집합으로부터 발생할 수도 있다.
• 통합된 통계적 관점: 저자들은 잠재 구조가 구성 요소 빈도, 평균 다양성, 그리고 다양성 변동을 설명하는 통합된 관점을 제안한다. 성장 모델에서 관찰되는 "다양성이 다양성을 생성한다"는 메커니즘은 잠재적 이질성의 하부 구조에 대한 하나의 효과적인 기술(effective description)일 수 있다.
• 주의 사항: 본 연구의 결과는 다양성 스케일링을 특정 혁신 과정의 결정적 증거로 해석하는 것에 대한 경고 역할을 한다. 순차적 혁신이 자연스러운 설명이 아닌 레고 구조물이나 유전자 발현 프로파일과 같은 시스템에서는 잠재 변수가 더 간결한 설명을 제공한다.
• 향후 방향: 논문은 두 메커니즘을 구별하기 위해 2차 통계량 이상의 관측량(예: 고차 상관관계)이나 완전히 특성화된 잠재 변수를 가진 시스템이 필요함을 지적한다.

이 연구는 복잡계 이론, 통계 물리학, 생물학을 연결하며, 다양성 스케일링의 보편성이 특정 역학적 규칙보다는 일반적인 통계적 원리(예: 전체 분산의 법칙)에서 기인할 수 있음을 시사한다.