Learning is Forgetting: LLM Training As Lossy Compression

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 성능은 비약적으로 향상되었으나, 모델이 어떻게 정보를 표현하고 학습하는지에 대한 구조적 이해는 여전히 제한적입니다. 기존의 해석 방법 (행동 실험, 프로빙, 인과적 개입 등) 은 모델의 개별 구성 요소 (뉴런, 헤드, 회로) 에 초점을 맞추거나 하류 태스크의 행동 결과만 분석할 뿐, 모델 전체의 표현 공간 (representational space) 이 어떻게 구조화되어 있고, 어떤 정보가 학습 과정에서 보존되거나 제거되는지에 대한 통합된 이론적 틀을 제공하지 못합니다.

2. 방법론 (Methodology)

이 논문은 LLM 의 훈련 과정을 손실 압축 (Lossy Compression) 의 관점에서 재해석하고, 이를 정보 병목 (Information Bottleneck, IB) 이론과 율 왜곡 이론 (Rate Distortion Theory, RDT) 을 통해 정량화합니다.

핵심 개념

• 손실 압축 관점: LLM 은 방대한 훈련 데이터에서 목표 (다음 토큰 예측) 와 관련된 정보만 보존하고 나머지는 '망각' (압축) 함으로써 최적의 표현을 학습한다고 가정합니다.
• 정보 평면 (Information Plane):
  • 복잡도 (Complexity): 입력 $X$와 표현 $Z$ 간의 상호 정보량 $I(X; Z)$. (얼마나 많은 입력 정보를 보존하는가)
  • 표현력 (Expressivity): 예측 대상 $Y$와 표현 $Z$ 간의 상호 정보량 $I(Y; Z)$. (얼마나 정확하게 타겟을 예측할 수 있는가)
  • 최적 압축 한계 (Optimal Bound): $I(X; Z)$와 $I(Y; Z)$ 사이의 이론적 최적 곡선. 모델이 이 곡선에 가까울수록 압축이 최적화됨을 의미합니다.

기술적 구현

1. 소프트 엔트로피 추정 (Soft Entropy Estimation):
   • 기존 이진화 (binning) 기반 엔트로피 추정법은 LLM 의 고차원 임베딩 공간에 적용 시 메모리 및 계산 비용이 너무 큽니다.
   • 본 논문은 Conklin (2025) 의 '소프트 엔트로피 추정기'를 도입했습니다. 이는 임베딩을 단위 구 (unit sphere) 상의 랜덤 포인트들에 대해 '소프트하게' 할당 (softmax) 하여 엔트로피를 추정하는 미분 가능한 방법입니다. 이를 통해 대규모 모델에서도 효율적으로 상호 정보량을 계산할 수 있습니다.
2. 백오프 (Back-off) 전략:
   • 모든 가능한 문맥을 고려하는 것은 불가능하므로, n-gram (토큰, 바이그램, 트라이그램, 쿼드그램) 단위로 문맥을 조건부로 설정하여 상호 정보량을 추정합니다.
3. 데이터:
   • OLMo2 시리즈 (1B, 7B, 32B) 의 훈련 중 체크포인트 분석.
   • 다양한 오픈 가중치 모델 (Llama, Gemma, Qwen 등 6 개 패밀리, 총 75 개 모델) 의 최종 훈련 상태 분석.
   • 데이터셋: C4 (인터넷 크롤링), Tulu (선호도 데이터).

3. 주요 기여 및 발견 (Key Contributions & Results)

1) LLM 훈련의 두 단계 역학 (Two-Phase Trajectory)

• 적합 단계 (Fitting Phase): 훈련 초기에는 모델이 출력 정보 $I(Y; Z)$를 증가시키며 데이터를 '적합'합니다.
• 압축 단계 (Compression Phase): 훈련이 진행됨에 따라 입력 정보 $I(X; Z)$가 감소하면서 모델은 최적 압축 한계 (IB Bound) 에 접근합니다.
• 결과: OLMo2 7B 모델은 훈련 중 손실 (Loss) 이 포화되기 시작할 때, 정보 평면에서 최적 압축 한계에 근접하는 경향을 명확히 보였습니다. 이는 LLM 이 훈련 데이터를 최적의 손실 압축으로 학습함을 시사합니다.

2) 스케일의 영향 (Effect of Scale)

• 대규모 모델 (7B 이상): 명확한 두 단계 역학을 보이며 최적 압축 한계에 성공적으로 수렴합니다.
• 소규모 모델 (1B 미만): 초기 적합 단계는 수행하지만, 후속 압축 단계에서 한계에 도달하지 못하고 진동하거나 한계에서 멀어지는 경향을 보입니다. 이는 특정 데이터 복잡도를 압축하기 위해서는 일정 이상의 파라미터 수가 필요함을 의미합니다.

3) 표현 구조와 하류 성능의 상관관계

• 압축 최적성 (Optimality): 모델이 최적 압축 한계에 얼마나 가까운지 (Expressivity/Complexity 비율) 는 다양한 벤치마크 (MMLU Pro, BBH, Math 등) 에서의 성능과 강한 양의 상관관계를 보입니다 ($r=0.52, p<0.001$).
• 맥락 정보의 중요성: 단순 토큰 정보보다는 로컬 문맥 (바이그램, 트라이그램 등) 정보를 더 많이 보존하는 모델이 하류 태스크에서 더 좋은 성능을 발휘합니다.
• 선호도 정보 (Preference Information): 사전 훈련 (Pre-training) 이후의 정렬 (Alignment) 과정에서 모델이 인간 선호도 정보를 얼마나 많이 보존하는지 ($I(Z; \text{preferred})$) 는 하류 성능을 강력하게 예측합니다 ($r=0.76$). 특히 지시 따르기 (Instruction Following) 태스크는 선호도 정보와 밀접하게 연관되어 있습니다.

4) 다양한 모델 패밀리 간의 수렴

• 서로 다른 아키텍처, 데이터, 훈련 레시피를 가진 6 개 패밀리, 75 개의 오픈 가중치 모델 모두 훈련 종료 시점에 동일한 최적 압축 한계 근처에 수렴하는 패턴을 보였습니다. 이는 LLM 의 학습이 특정 모델의 우연이 아니라, 데이터와 목적 함수에 기반한 보편적인 압축 과정임을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

• 통합된 이론적 틀 제공: LLM 의 학습을 인간 학습 및 정보 이론의 기존 프레임워크 (손실 압축, 정보 병목) 와 연결하여, 모델의 내부 표현 구조를 '부분'이 아닌 '전체 시스템'의 관점에서 해석할 수 있는 길을 열었습니다.
• 실용적 통찰:
  • 성능 예측: 모델의 실제 벤치마크 성능을 평가하기 전에, 훈련 데이터 (C4 등) 를 기반으로 한 정보 이론적 지표 (압축 최적성, 선호도 정보량) 만으로도 하류 태스크 성능을 예측할 수 있습니다.
  • 훈련 최적화: 압축 최적성 지표는 훈련 중단 (Early Stopping) 이나 체크포인트 선택을 위한 새로운 기준으로 활용될 수 있습니다.
• 학습의 본질: "학습은 망각이다"라는 제목처럼, LLM 의 뛰어난 일반화 능력은 불필요한 세부 정보를 잊어버리고 (압축), 작업 수행에 필수적인 정보만 남기는 과정의 결과임을 보여줍니다.

이 연구는 대규모 언어 모델의 블랙박스 성격을 정보 이론적 관점에서 해석함으로써, 모델의 행동과 내부 표현 구조 사이의 인과적 관계를 규명하는 데 중요한 기여를 했습니다.