Adam's Law: Textual Frequency Law on Large Language Models

논문 개요: Adam 의 법칙 (Textual Frequency Law)

이 논문은 대규모 언어 모델 (LLM) 의 성능에 텍스트의 빈도 (Frequency) 가 미치는 영향을 규명하고, 이를 활용하여 프롬프트 엔지니어링 및 파인튜닝 전략을 최적화하는 새로운 프레임워크를 제안합니다. 저자들은 의미는 동일하지만 표현 방식이 다른 병렬 문장 (Paraphrases) 중에서도 문장 수준의 빈도가 높은 텍스트를 선택하여 모델에 입력하거나 학습시키는 것이 성능 향상에 결정적임을 주장합니다.

---

1. 문제 제기 (Problem)

• 배경: 텍스트 빈도는 인간의 인지 및 독서 속도와 밀접한 관련이 있음이 입증되었습니다. 그러나 LLM 에서는 텍스트 빈도가 성능에 어떤 영향을 미치는지에 대한 연구가 부족합니다.
• 현황: 기존 연구는 데이터의 품질 (Quality) 과 양 (Quantity) 에 집중해 왔습니다. 또한, 동일한 의미를 가진 다른 프롬프트 (Paraphrase) 가 모델의 성능에 큰 차이를 만든다는 사실은 알려져 있으나, 어떤 요인이 이를 결정하는지에 대한 명확한 결론은 없었습니다.
• 핵심 질문: 의미는 동일하지만 언어적 표현 (빈도) 이 다른 데이터가 있을 때, LLM 은 어떤 표현을 더 잘 처리하며, 이를 학습에 어떻게 활용해야 할까요?
• 가설: 사전 학습 (Pre-training) 단계에서 고빈도 데이터가 더 많이 노출되었기 때문에, LLM 은 고빈도 텍스트를 더 쉽게 이해하고 처리할 수 있을 것이다.

---

2. 제안 방법론 (Methodology)

저자들은 텍스트 빈도 법칙 (TFL) 을 기반으로 한 3 단계 프레임워크를 제안합니다.

가. 텍스트 빈도 법칙 (Textual Frequency Law, TFL)

• 정의: 의미가 동일한 병렬 문장 (Paraphrases) 중에서는 문장 수준의 빈도가 높은 텍스트를 프롬프트 입력이나 파인튜닝 데이터로 선호해야 한다는 법칙입니다.
• 빈도 추정: 많은 LLM 의 학습 데이터가 비공개이므로, 온라인 오픈소스 코퍼스를 활용하여 단어 수준의 빈도를 기반으로 문장 수준의 빈도를 추정합니다.
  • 수식: $sfreq(x, D) = \sqrt[K]{\prod_{k=1}^{K} wfreq(x_k, D)}$ (단어 빈도의 기하평균)

나. 텍스트 빈도 증류 (Textual Frequency Distillation, TFD)

• 목적: 온라인 코퍼스로 추정한 빈도 ($F_1$) 가 실제 LLM 의 학습 데이터 분포와 다를 수 있는 문제를 해결하기 위해 제안되었습니다.
• 방식: 대상 LLM 에게 학습 데이터의 문장을 기반으로 "스토리 완성 (Story Completion)"을 수행하도록 요청하여, 모델이 생성한 텍스트를 수집합니다. 이를 통해 모델이 실제로 인식하는 빈도 ($F_2$) 를 추정합니다.
• 최종 빈도 계산: 온라인 추정치 ($F_1$) 와 모델 증류 추정치 ($F_2$) 를 하이퍼파라미터를 통해 가중합하여 최종 빈도 $F(x)$ 를 산출합니다. 이는 폐쇄형 모델의 학습 데이터에 접근하지 않더라도 모델 특유의 빈도 특성을 반영합니다.

다. 커리큘럼 텍스트 빈도 학습 (Curriculum Textual Frequency Training, CTFT)

• 방식: 파인튜닝 시 데이터를 문장 빈도가 낮은 순서에서 높은 순서로 정렬하여 학습시킵니다.
• 동기부여: 저빈도 표현은 더 다양하고 복잡할 수 있으므로, 이를 먼저 학습시킨 후 고빈도 (더 일반적이고 모델이 익숙한) 데이터로 학습하는 것이 모델의 수렴과 일반화에 도움이 된다는 아이디어입니다.

라. 구축된 데이터셋 (TFPD)

• Textual Frequency Paired Dataset: GSM8K (수학 추론), FLORES-200 (기계 번역), CommonsenseQA (상식 추론) 등을 기반으로 GPT-4o-mini 를 이용해 문장을 재작성 (Paraphrasing) 하고, 인간 어노테이터를 통해 의미 동일성을 검증하여 고빈도/저빈도 쌍으로 구성된 데이터셋을 구축했습니다.

---

3. 주요 기여 (Key Contributions)

1. 텍스트 빈도 법칙 (TFL) 제안: 의미 보존 하에 고빈도 텍스트가 LLM 의 프롬프트 및 파인튜닝에 더 유리함을 이론적으로 정립하고 실험적으로 입증했습니다.
2. 텍스트 빈도 증류 (TFD) 방법론: 폐쇄형 LLM 의 학습 데이터 접근 불가 문제를 해결하기 위해, 모델 생성을 통한 빈도 추정 (증류) 기법을 개발했습니다.
3. 커리큘럼 빈도 학습 (CTFT): 학습 순서를 빈도 기준으로 재배열하는 새로운 파인튜닝 전략을 제안하여 성능을 극대화했습니다.
4. 광범위한 실험 검증: 수학 추론, 기계 번역 (100 개 이상 언어), 상식 추론, 에이전트 도구 호출 등 다양한 태스크와 모델 (GPT-4o, DeepSeek-V3, Llama-3 등) 에서 일관된 성능 향상을 보였습니다.

---

4. 실험 결과 (Results)

• 프롬프트 성능 향상 (Prompting):

  • 수학 추론 (Math Reasoning): 모든 모델 (DeepSeek-V3, GPT-4o-mini, Llama-3) 에서 고빈도 프롬프트 사용 시 정확도가 유의미하게 증가했습니다. (예: Llama-3.3-70B 는 80.49% → 88.75% 향상)
  • 기계 번역 (Machine Translation): 100 개 언어 쌍에 대한 실험에서 BLEU, chrF, COMET 점수 모두 고빈도 입력이 저빈도 입력보다 우세했습니다. 특히 DeepSeek-V3 에서 99/100 언어 쌍에서 BLEU 점수가 향상되었습니다.
  • 상식 추론 및 도구 호출: 고빈도 파티션이 모든 베이스라인 모델에서 더 높은 정확도를 기록했습니다.

• 파인튜닝 성능 향상 (Fine-tuning):

  • CTFT 의 효과: 고빈도 데이터로만 학습하는 것보다, **저빈도에서 고빈도로 순차적으로 학습 (CTFT)**하는 것이 번역 성능 (BLEU, chrF) 에서 가장 우수한 결과를 보였습니다.
  • TFD 의 중요성: 증류 (TFD) 를 적용하지 않은 경우보다 적용했을 때 성능이 더욱 향상되었으며, 특히 COMET 점수에서 모든 언어 쌍에서 개선을 보였습니다.

• 분석 (Analysis):

  • 텍스트의 복잡도 (의존 트리 깊이 등) 와 빈도는 상관관계가 약하여, TFL 이 기존의 '쉬운 것에서 어려운 것'으로 가는 커리큘럼 학습과는 다른 차원의 원리임을 확인했습니다.
  • 고빈도 프롬프트가 모델의 사고 과정 (Chain-of-Thought) 을 개선하여 최종 성능 향상을 이끌었습니다.

---

5. 의의 및 결론 (Significance)

• 새로운 학습 패러다임: 데이터의 양과 품질뿐만 아니라 **데이터의 '빈도'**가 LLM 성능의 핵심 변수임을 규명했습니다.
• 실용적 가이드: 제한된 컴퓨팅 자원 하에서 파인튜닝이나 프롬프트를 작성할 때, 의미는 유지하되 더 일반적이고 빈번하게 사용되는 표현을 선택하는 것이 효율적임을 제시합니다.
• 이론적 기반: Zipf 의 법칙과 교차 엔트로피 손실 최소화 이론을 결합하여, 고빈도 문장이 모델의 손실 (NLL) 을 낮추고 결과적으로 태스크 성능을 높인다는 이론적 증명을 시도했습니다.
• 폐쇄형 모델 대응: 학습 데이터가 공개되지 않은 모델에 대해서도 '증류 (Distillation)' 기법을 통해 빈도 정보를 추정하고 활용할 수 있는 방법을 제시하여, 실제 산업 적용 가능성을 높였습니다.

이 논문은 LLM 의 동작 원리를 이해하는 데 있어 텍스트 빈도의 중요성을 부각시켰으며, 향후 데이터 선별, 프롬프트 최적화, 학습 전략 수립에 있어 중요한 기준이 될 것으로 기대됩니다.