Task Ecologies and the Evolution of World-Tracking Representations in Large Language Models

이 논문은 대규모 언어 모델 (LLM) 을 진화하는 모델 생물체 (model organisms) 로 간주하여, ** autoregressive next-token 학습이 언제 '세계 추적 (world-tracking)' 표현을 선택하는지**를 연구합니다. 저자는 특정 훈련 생태계 (training ecology) 하에서 베이지안 최적 (Bayes-optimal) 다음 토큰 손실이 어떻게 분해되는지 수학적으로 증명하고, 이를 통해 모델이 세계의 상태를 얼마나 정확하게 추적하는지 (ecological veridicality) 를 정의합니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

최근 LLM 연구는 최적화가 모델을 '세계의 구조'를 추적하는 내부 표현으로 이끌는지, 아니면 단순히 예측에 국소적으로 유용한 구분만 학습시키는지 논쟁하고 있습니다.

• 핵심 질문: 고정된 훈련 생태계에서 autoregressive 모델이 베이지안 최적의 다음 토큰 손실을 달성하기 위해 반드시 보존해야 하는 잠재적 구분 (latent distinctions) 은 무엇인가?
• 목표: 거대 규모의 최첨단 시스템을 직접 모델링하는 것이 아니라, 작은 언어 모델을 '실험실 생물체'로 사용하여 표현 선택에 대한 이론을 검증하는 것입니다.

2. 방법론 (Methodology)

논문은 작은 규모의 고정된 (frozen) autoregressive transformer(microGPT 유사 구현) 를 실험실 모델 생물체로 사용합니다.

• 모델 생물체 접근법: 실제 LLM 의 복잡한 최적화 과정을 거치지 않고, 유도된 분할 (induced partitions), 유한한 생태계 양자, 집단 수준의 선택 궤적 등을 직접 관찰하고 이론과 비교할 수 있는 환경을 조성합니다.
• 데이터: 《이상한 나라의 앨리스》, 《신곡》, 《공산당 선언》과 같은 다국어 코퍼스를 사용하여 '세계 상태 (world states)'를 언어 및 언어 그룹으로 정의하고, 보이스니치 필사본 (Voynich manuscript) 등을 통해 생태계 외부 (off-ecology) 테스트를 수행합니다.
• 이론적 프레임워크: 진화적 지각 (evolutionary perception) 분야의 '생태적 진실성 (ecological veridicality)' 개념을 LLM 에 적용합니다. 즉, 태스크 생태계가 구분하지 않는 상태는 병합하고, 생태계가 구분하는 상태는 분리하는 인코딩을 '진실한 (veridical)' 것으로 정의합니다.

3. 주요 기여 및 핵심 결과 (Key Contributions & Results)

A. 손실 분해 정리 (Loss Decomposition Theorem)

• 정리: 베이지안 최적의 다음 토큰 교차 엔트로피 손실은 **비가역적 조건부 엔트로피 (irreducible conditional entropy)**와 **Jensen-Shannon 초과 손실 (excess term)**로 정확히 분해됩니다.
• 결과: 이 초과 손실 (excess loss) 은 인코딩이 훈련 생태계의 동치 클래스 (equivalence classes) 를 보존할 때만 0 이 됩니다. 즉, 모델이 훈련 데이터가 구분하지 못하는 상태들을 합치더라도 손실은 증가하지 않지만, 훈련 데이터가 구분하는 상태를 합치면 손실이 발생합니다.

B. 고정된 Transformer 에 대한 적용 (Application to Frozen Transformers)

• 인지적 비관통성 (Cognitive Impenetrability): 가중치가 고정된 Dense Transformer 와 Mixture-of-Experts (MoE) Transformer 는 단일 고정된 인코딩을 가지므로 위 이론이 적용됩니다.
• 제약 조건: In-context learning (ICL) 은 분리 집합 (separation set) 을 확장하지 않으며, 태스크별 적응 (per-task adaptation, 예: Fine-tuning) 은 인코딩을 변경하므로 정적 이론의 전제를 깨뜨립니다.

C. 최소 복잡성 해 (Minimum-Complexity Solution)

• 정리: 초과 손실이 0 인 해 중 가장 간단한 (최소 복잡성) 인코딩은 훈련 생태계의 **몫 분할 (quotient partition, $W/\sim_\mu$)**입니다.
• 의미: 모델은 태스크에 필요한 구분만 보존하고, 그 외의 모든 불필요한 세부 사항을 제거하는 방향으로 진화합니다. 이는 '단순성 압력 (simplicity pressure)'이 낮은 예측 이득 (predictive gain) 을 가진 구분들을 먼저 제거한다는 것을 의미합니다.

D. 두 생태계 메커니즘 (Two-Ecology Mechanism)

• 토큰 생태계 vs 평가 생태계: 토큰 예측 훈련 ($\mu_{tok}$) 과 평가/배포 기준 ($\mu_{eval}$) 이 다를 수 있습니다. 토큰 예측만으로는 구분하기 어렵지만 평가에서는 중요한 구분 (gap distinctions) 이 존재할 수 있습니다.
• 해결책: 사후 학습 (post-training) 이나 생태계 주입 (ecology injection) 을 통해 평가 생태계의 신호를 훈련 과정에 주입하면, 이러한 '간극 (gap)'을 해결할 수 있습니다.

E. 실험적 검증

• 미세 실험: 제어된 microGPT 실험을 통해 정적 분해 정리, 분할 - 병합 임계값 (split-merge threshold), 생태계 외부 실패 패턴, 그리고 두 생태계 메커니즘을 직접 관측 가능한 양으로 검증했습니다.
• 결과: 훈련 생태계와 다른 언어 (Voynich 등) 에서는 손실이 증가하고 모델 간 불일치가 커지는 등 이론이 예측한 실패 패턴이 관찰되었습니다.

4. 의의 및 결론 (Significance & Conclusion)

1. 이론적 명확성: LLM 이 '세계 모델'을 학습하는지 여부에 대한 논쟁을, '어떤 구분 (distinctions) 이 보존되어야 하는가'라는 정량적이고 검증 가능한 문제로 환원했습니다.
2. 실패 모드 예측:
   • 단순성 압력: 예측 이득이 낮은 구분들은 먼저 제거되어 모델이 특정 태스크에서는 최적일지라도, 더 정교한 생태계에서는 실패할 수 있음을 예측합니다.
   • 생태계 불일치: 훈련 데이터가 구분하지 못하는 중요한 세계 상태 (예: 논리적 일관성, 코드 정확성 등) 는 평가 단계에서 실패를 유발할 수 있습니다.
3. 방법론적 혁신: 거대 모델의 블랙박스 특성을 우회하여, 작은 모델을 실험실 생물체로 사용하여 표현 학습의 진화적 동역학을 직접 관찰하고 검증하는 새로운 접근법을 제시했습니다.
4. 한계: 이 프레임워크는 표현의 '위상 (topology, 어떤 것을 구분하는가)'에 대한 것은 증명하지만, 표현 공간 내에서의 '기하학적 거리 (geometry, 얼마나 멀리 떨어뜨리는가)'에 대해서는 아직 해결되지 않았습니다. 또한, 모델이 생성한 텍스트가 다시 훈련 데이터가 되는 '니치 건설 (niche construction)' 효과는 장기적인 진실성에 영향을 미칠 수 있습니다.

요약하자면, 이 논문은 LLM 의 표현 학습이 단순히 예측을 위한 것이 아니라, 훈련된 생태계가 요구하는 '세계의 구분'을 보존하려는 진화적 압력을 받으며, 이 과정에서 단순성 압력과 생태계 간 불일치가 모델의 한계와 실패를 결정한다는 것을 수학적으로 증명하고 실험적으로 검증했습니다.