Not-Just-Scaling Laws: Towards a Better Understanding of the Downstream Impact of Language Model Design Decisions

이 논문은 92 개의 오픈소스 언어 모델을 메타 분석하여 모델 크기와 학습 토큰 수 외에 데이터 구성과 아키텍처 설계 결정이 하류 작업 성능에 미치는 영향을 정량화함으로써, 단순한 확장 법칙을 넘어선 모델 설계의 중요성을 규명했습니다.

핵심

이 논문은 **"큰 언어 모델 (LLM) 의 성능은 단순히 '크기'와 '학습량'만으로 결정되는 것이 아니다"**라는 놀라운 사실을 밝혀냈습니다.

기존의 통념은 "모델이 더 크고, 더 많은 데이터를 학습할수록 똑똑해진다"는 것이었습니다. 마치 **"책이 두꺼울수록 지식이 많고, 독서 시간이 길수록 지혜가 깊어진다"**고 믿는 것과 비슷하죠. 하지만 이 연구는 **"책의 두께나 독서 시간도 중요하지만, 그 책이 '무엇'에 대해 쓰였는지 (내용의 구성) 와 '어떤 방식'으로 읽혔는지 (설계)"**가 훨씬 더 중요할 수 있다고 말합니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드릴겠습니다.

---

1. 비유: "요리사 (모델) 와 레시피 (학습 데이터)"

이 연구를 요리사에 비유해 보겠습니다.

• 기존의 생각 (스케일링 법칙): "요리사가 더 큰 부엌 (큰 모델) 에서 더 많은 식재료를 (많은 데이터) 사용하면, 당연히 더 맛있는 요리를 할 거야."
• 이 연구의 발견: "아니요! 부엌이 작아도 올바른 레시피와 고급 식재료를 쓰면, 거대한 부엌에서 아무거나 섞어 만든 요리보다 훨씬 맛있는 요리를 할 수 있어요."

연구진들은 2019 년부터 2024 년까지 공개된 92 개의 다양한 AI 모델을 모아 분석했습니다. 마치 수백 명의 요리사들의 레시피와 재료 목록을 모아 비교한 것과 같습니다.

2. 주요 발견: "무엇을 먹였느냐가 더 중요하다"

연구진은 모델의 성능을 예측할 때, 단순히 '크기'와 '데이터 양'만 보는 것이 아니라 데이터의 구성 비율과 모델의 설계를 함께 보았습니다. 그 결과, 예측 정확도가 3% 에서 28% 까지 크게 향상되었습니다.

🍳 비유: "코딩 (Code) 과 일반 텍스트 (Web) 의 균형"

• 발견: 모델에게 코딩 데이터 (프로그래밍 언어) 를 얼마나 섞어주느냐에 따라 성능이 달라집니다.
• 비유: 요리사가 **매운 고추 (코드 데이터)**를 얼마나 넣느냐에 따라 요리가 달라집니다.
  • 고추를 전혀 안 넣으면: 매운맛 (코딩 능력) 이 부족합니다.
  • 고추를 너무 많이 넣으면: 매워서 다른 맛 (일반 대화, 논리 추론) 을 망칩니다.
  • 최적의 비율: 연구에 따르면, 전체 식재료의 15~25% 정도를 고추 (코드) 로 섞었을 때, 매운맛 (코딩) 과 다른 맛 (일반 언어) 을 모두 살리는 '황금 레시피'가 됩니다.

🌐 비유: "인터넷 뉴스 (Web) 와 진실 (Truthfulness)"

• 발견: 인터넷 웹 데이터 (뉴스, 블로그, SNS 등) 가 너무 많으면 모델이 거짓말을 잘하게 됩니다.
• 비유: 인터넷은 소문과 가짜 뉴스가 넘치는 광장과 같습니다. 이 광장에서만 너무 오래 지내면, 모델은 "사실일 수도 있는 소문"을 진짜 사실로 믿게 되어 **진실성 (Truthfulness)**이 떨어집니다. 반면, 교과서나 백과사전 같은 '신뢰할 수 있는 자료'를 더 많이 학습해야 정확한 답을 합니다.

3. 설계의 중요성: "요리 도구의 차이"

데이터만 중요한 게 아닙니다. 모델을 만드는 **설계 (아키텍처)**도 중요합니다.

• 비유: 같은 재료를 써도, 칼을 어떻게 쓰는지 (레이어 정규화 방식), **냄비 뚜껑을 언제 닫는지 (위치 인코딩)**에 따라 요리 맛이 달라집니다.
• 연구에 따르면, 모델의 크기나 데이터 양만큼은 아니지만, 이러한 설계 선택들도 성능에 영향을 미칩니다.

4. 결론: "단순한 크기 경쟁은 끝났다"

이 논문의 핵심 메시지는 다음과 같습니다.

"더 큰 모델을 만들고 더 많은 데이터를 학습시키는 것만으로는 한계가 있습니다. 어떤 데이터를 얼마나 섞어서, 어떤 설계로 학습시키느냐가 훨씬 더 중요합니다."

이 연구는 AI 개발자들에게 **"무작정 크게 만드는 것보다, 레시피를 잘 짜는 것이 더 중요하다"**는 교훈을 줍니다. 마치 거대한 식재고를 가진 요리사보다, 적은 재료로도 최고의 요리를 해내는 명장이 더 존경받는 것과 같습니다.

요약

• 기존 생각: 모델이 크고 데이터가 많으면 무조건 좋다.
• 새로운 발견: 데이터의 **비율 (코드 vs 일반 텍스트)**과 **출처 (웹 vs 교과서)**가 성능을 좌우한다.
• 비유: 거대한 부엌보다 올바른 레시피가 더 중요하다.
• 효과: 이 새로운 방식을 적용하면 모델의 성능을 훨씬 더 정확하게 예측할 수 있다.

이 연구는 앞으로 AI 를 개발할 때, 단순히 '크기'에 집착하기보다 **'데이터의 질과 구성'**을 신중하게 설계해야 함을 보여줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 언어 모델 (LLM) 성능 향상은 주로 **모델의 크기 (파라미터 수)**와 **학습 데이터의 양 (토큰 수)**이라는 두 가지 요소에 기반한 '스케일링 법칙 (Scaling Laws)'으로 설명되어 왔습니다. 그러나 최근 연구들은 단순히 규모만 키운다고 해서 모든 하위 작업 (Downstream tasks) 의 성능이 비례하여 향상되는 것은 아니며, 작은 모델이 잘 정제된 데이터나 다른 아키텍처 결정으로 더 큰 모델을 능가하는 경우가 있음을 보여주고 있습니다.

기존의 스케일링 법칙 기반 예측은 다음 한계를 가집니다:

• 데이터 구성 (Data Composition) 의 간과: 학습 데이터의 도메인 비율 (예: 코드, 웹, 학술 자료 등) 이 성능에 미치는 영향을 고려하지 않음.
• 아키텍처 결정의 무시: 레이어 정규화 (LayerNorm) 유형, 위치 인코딩 (Positional Encoding) 방식 등 세부적인 설계 선택이 성능에 미치는 영향이 설명되지 않음.
• 작업별 예측 실패: 특정 작업 (예: 추론, 코딩, 사실성 등) 에 따라 스케일링 법칙이 일관되게 적용되지 않거나, 역전 (Inverse scaling) 현상이 발생함.

따라서, **모델의 설계 결정 (아키텍처 및 데이터 구성) 을 포함한 더 포괄적인 요소들을 통해 하위 작업 성능을 더 정확하게 예측하고 이해할 수 있는가?**가 본 연구의 핵심 질문입니다.

2. 방법론 (Methodology)

저자들은 2019 년부터 2024 년까지 공개된 92 개의 오픈 소스 프리트레인 (Pretrained) 언어 모델을 대상으로 메타 분석 (Meta-analysis) 을 수행했습니다.

2.1 데이터베이스 구축

• 대상 모델: 11M 에서 110B 파라미터까지의 다양한 규모를 가진 디코더 전용 (Decoder-only) 베이스 모델 92 개.
• 특성화 (Featurization): 각 모델을 설명하는 3 가지 차원의 특징을 추출했습니다.
  1. 아키텍처 특징 (A): 총 파라미터 수, 임베딩 차원, 어텐션 헤드 수, 레이어 정규화 유형, 위치 인코딩 방식 (RoPE, ALiBi 등) 등.
  2. 데이터 특징 (D): 학습 토큰 수, 학습 데이터 내 웹/코드/책/학술 자료 등의 비율, 영어 비율 등.
  3. 생성 기반 특징 (F): 모델이 생성한 텍스트 (프롬프트 없이 시퀀스 시작 토큰만으로 생성) 를 분석하여 추출한 특징. (예: 질문 단어 비율, 웹 유사 텍스트 비율, 문법적 깊이 등). 이는 공식 문서에 없는 데이터 구성 정보를 추정하는 데 사용되었습니다.

2.2 예측 모델링

• 회귀 분석 (Regression): 추출된 특징들을 입력으로 받아 12 가지 주요 LLM 벤치마크 (ARC Challenge, GSM8K, HumanEval, TruthfulQA 등) 의 성능을 예측하는 회귀 모델을 학습시켰습니다.
• 모델 선택: 복잡한 특징 간 상호작용을 포착하기 위해 XGBoost 기반의 트리 기반 회귀 모델을 사용했습니다.
• 비교 대상:
  1. Baseline: 학습 세트의 중앙값 예측.
  2. Log-Linear Baseline: 파라미터와 토큰 수에 대한 로그 - 선형 함수.
  3. Scaling Laws Only: 파라미터 수와 토큰 수만 입력한 모델.
  4. All Features: 아키텍처, 데이터 구성, 생성 기반 특징을 모두 포함한 모델.

2.3 검증 실험

• 메타 분석 결과를 검증하기 위해, 460M 파라미터 규모의 모델을 사용하여 Dolma 데이터셋으로 통제된 프리트레인 실험을 추가로 수행했습니다. (코드 데이터 비율과 웹 데이터 비율을 변형하여 학습).

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 예측 정확도 향상

• 스케일링 법칙의 한계 극복: 모든 벤치마크에서 '전체 특징 (All Features)'을 포함한 예측 모델이 '스케일링 법칙만 (Scaling Laws Only)'을 사용한 모델보다 **상대적으로 3% 에서 28% 까지 더 낮은 평균 절대 오차 (MAE)**를 보였습니다.
• 작업별 민감도: 언어 모델링 및 상식 추론 (Lambada, 28% 개선), 코드 생성 (HumanEval, 15% 개선) 작업에서 비스케일링 (Non-scale) 특징의 예측력이 특히 강력했습니다.

3.2 설계 결정에 대한 통찰 (Feature Importance Analysis)

SHAP 값을 통한 특징 중요도 분석을 통해 다음과 같은 구체적인 인사이트를 도출했습니다:

• 코드 데이터의 최적 비율: 학습 데이터 내 코드 비율은 **15~25%**일 때 가장 균형 잡힌 성능을 보입니다.
  • 코드 비율이 20~25% 를 초과하면 코딩 작업 (HumanEval) 성능은 향상되지만, 자연어 추론 (NLI, Lambada 등) 성능은 저하됩니다.
  • 반대로 코드가 너무 적으면 코딩 능력이 부족해집니다.
• 웹 데이터와 사실성 (Truthfulness): 학습 데이터 내 웹 기반 텍스트 (Web-like data) 의 비율이 높을수록 TruthfulQA(사실성) 성능은 부정적인 상관관계를 보였습니다.
• 생성 패턴의 반영: 모델이 생성한 텍스트에서 '질문 단어 (Question words)'의 비율이 높으면 추론 작업 (ARC Challenge 등) 성능이 좋았고, '웹 유사 텍스트' 비율이 높으면 사실성 성능이 나빴습니다. 이는 모델의 생성 패턴이 프리트레인 데이터의 편향을 반영하여 하위 작업 성능에 영향을 줌을 시사합니다.
• 아키텍처의 영향: 레이어 정규화 (LayerNorm) 유형이나 위치 인코딩 방식과 같은 아키텍처 세부 사항도 일부 작업에서 유의미한 영향을 미쳤으나, 데이터 구성에 비해 그 영향력은 상대적으로 작았습니다.

3.3 통제 실험을 통한 검증

• 460M 파라미터 모델을 이용한 추가 실험에서, 코드 데이터 비율 15~25% 가 자연어 및 코딩 작업 간 균형에 최적임을, 그리고 웹 데이터 비율 증가가 사실성 저하와 연결됨을 재확인하여 메타 분석의 결과를 실험적으로 뒷받침했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 체계적인 설계 가이드 제공: 단순한 "더 큰 모델 = 더 좋은 성능"이라는 통념을 넘어, 어떤 데이터 구성과 아키텍처 선택이 특정 작업에 유리한지에 대한 체계적인 가이드를 제공합니다.
• 커뮤니티 자원: 92 개의 모델에 대한 상세한 설계 결정과 성능 데이터를 공개하여, 향후 모델 개발자들이 집단적 경험에서 학습할 수 있는 실용적인 자원을 마련했습니다.
• 미래 연구 방향:
  • 희소 모델 (MoE) 이나 상태 공간 모델 (SSM) 등 다양한 아키텍처로 연구 범위 확장.
  • 통제된 실험을 통해 인과관계 (Causality) 를 명확히 규명.
  • 다국어 모델 및 안전성 (Safety) 과 같은 윤리적 측면으로의 확장 필요성 제기.

요약하자면, 이 논문은 언어 모델의 성능이 단순히 규모 (Scale) 에만 의존하지 않으며, 데이터의 구성 (특히 코드와 웹 데이터의 비율) 과 아키텍처적 선택이 하위 작업 성능을 결정하는 핵심 요소임을 실증적으로 증명하고, 이를 정량화하여 예측 가능한 프레임워크를 제시했다는 점에서 큰 의의가 있습니다.