💬 NLP

LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws

본 논문은 대규모 언어 모델에서 손실 대 손실 스케일링 법칙의 주요 결정 요인이 사전 학습 데이터임을 입증하는 반면, 모델 크기, 아키텍처, 하이퍼파라미터와 같은 요인들은 미미한 영향을 미치므로 하류 작업 성능을 최적화하기 위해 아키텍처 선택보다 데이터 선별이 더 중요함을 시사합니다.

원저자: Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

게시일 2026-05-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prasanna Mayilvahanan, Thaddäus Wiedemer, Sayak Mallick, Matthias Bethge, Wieland Brendel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

완벽한 빵 한 덩이를 굽으려 한다고 상상해 보세요. 수년 동안 과학자들은 이 레시피에 매료되어 왔습니다. "밀가루 100 그램과 물 500 그램을 사용하면 특정 식감을 얻을 수 있다"는 것입니다. 이는 현재 우리가 대규모 언어 모델 (LLM) 을 구축하는 방식과 유사합니다. 우리는 사용 가능한 컴퓨터 성능에 기반하여 모델의 크기와 학습에 필요한 데이터 양을 알려주는 "스케일링 법칙"을 가지고 있습니다.

하지만 함정이 하나 있습니다. 모델이 레시피를 완벽하게 학습했다고 해서 그것이 훌륭한 케이크를 굽는다는 것 (실제 세계의 작업에서 잘 수행한다는 것) 을 의미하지는 않습니다.

이 논문인 **"LLMs on the Line: Data Determines Loss-to-Loss Scaling Laws"**는 단순한 질문을 던집니다. 모델이 학습을 마친 후 새로운 작업에서 실제로 얼마나 잘 수행하는지를 결정하는 것은 무엇일까요?

저자들은 수십 가지 변수를 테스트했습니다. 모델의 뇌 구조, 모델의 크기, 텍스트를 읽는 데 사용되는 도구, 그리고 모델을 가르치는 데 사용된 수학까지 변경해 보았습니다. 그들은 하나의 거대하고 놀라운 진실을 발견했습니다. 데이터만이 실제로 중요한 유일한 요소입니다.

간단한 비유를 사용하여 이를 분해해 보겠습니다.

1. "손실 대 손실 (Loss-to-Loss)" 선

학생을 훈련시킨다고 상상해 보세요. 연습 시험 (훈련 손실) 을 준 다음 기말고사 (테스트 손실) 를 치르게 합니다.

발견: 연습 시험에서 얼마나 잘하는지와 기말고사에서 얼마나 잘하는지 사이에는 매우 예측 가능하고 직선적인 연결선이 존재합니다.
비유: 학생이 연습 시험에서 90% 를 맞으면, 빨간 셔츠를 입든 파란 셔츠를 입든 기말고사에서도 거의 확실히 90% 를 맞을 것입니다. 이 논문은 이를 "이동된 멱법칙 (shifted power law)"이라고 부릅니다. 이는 거의 모든 것에 걸쳐 유효한 신뢰할 수 있는 규칙입니다.

2. "빅 3" 요소 (그리고 왜 중요하지 않은지)

연구자들은 훈련 과정에서 "매드립스 (Mad Libs)" 게임을 하듯 다양한 재료를 교체하여 최종 결과가 어떻게 변하는지 확인했습니다. 그들은 세 가지 주요 범주가 그 예측 가능한 선에 거의 영향이 없음을 발견했습니다.

아키텍처 (뇌 구조): 그들은 Llama(표준 인간 뇌와 같은 트랜스포머) 와 Mamba(완전히 다른 유형의 외계인 뇌와 같은 상태 공간 모델) 를 비교했습니다.
- 결과: 두 뇌에 정확히 같은 교과서를 공급하면, 둘은 정확히 같은 성능 선에 도달합니다. 뇌가 트랜스포머 모양이든 Mamba 모양이든 상관없습니다. 데이터가 같다면 결과도 같습니다.
토크나이저 (사전): 이는 문장을 단어나 조각으로 나누는 도구입니다. 그들은 다양한 사전 (128,000 단어짜리, 50,000 단어짜리 등) 을 시도해 보았습니다.
- 결과: 사전을 바꾸는 것은 교과서의 글꼴을 바꾸는 것과 같았습니다. 이는 학생이 자료를 얼마나 잘 학습했는지에는 영향을 미치지 않았습니다.
설정 (학습 습관): 그들은 모델의 크기 (작음 vs 큼), 문장의 길이 (컨텍스트 길이), 그리고 실수를 수정하는 데 사용된 수학 (옵티마이저) 을 변경했습니다.
- 결과: 학생이 10 분 동안 공부하든 10 시간 동안 공부하든, 빨간 펜을 쓰든 파란 펜을 쓰든, 연습 점수와 기말 점수 사이의 관계는 동일하게 유지되었습니다.

3. 중요한 "단 하나의 것": 데이터

뇌 구조, 사전, 학습 습관은 중요하지 않았지만, 교과서 자체는 모든 것을 변화시켰습니다.

비유: 두 명의 학생을 상상해 보세요. 학생 A 는 요리에 관한 교과서를 읽고, 학생 B 는 천체물리학에 관한 교과서를 읽습니다.
- 학생 A 가 슈퍼컴퓨터 뇌를 가지고 있고 학생 B 가 간단한 계산기 뇌를 가지고 있더라도, 학생 A 는 요리는 훌륭하지만 천체물리학은 형편없을 것입니다. 학생 B 는 그 반대일 것입니다.
- 이 논문은 **사전 학습 데이터 (교과서)**를 변경하면 전체 성능 선이 이동한다는 것을 발견했습니다. 고품질의 교육 데이터 (예: "FineWeb-Edu") 로 학습하면 모델은 실제 세계 작업에서 더 잘 수행합니다. 반면, 엉망인 데이터로 학습하면 수행 능력이 떨어집니다.

실무자를 위한 교훈

이 논문은 AI 를 구축하는 모든 사람에게 명확한 메시지로 결론을 내립니다.

아키텍처에 집착하는 것을 멈추고 데이터에 집착하기 시작하세요.

실제 세계의 작업에서 잘 수행되는 모델을 원한다면 새로운 유형의 뇌를 발명하거나 수학 설정을 조정할 필요가 없습니다. 더 나은 데이터셋을 선별 (큐레이션) 해야 합니다.

데이터가 운전수입니다. 이는 목적지를 결정합니다.
아키텍처와 설정은 단지 자동차일 뿐입니다. 더 효율적이거나 저렴한 여행을 위해 페라리나 혼다로 차를 교체할 수는 있지만, GPS 에 잘못된 지도 (데이터) 를 넣으면 여전히 잘못된 곳에 도착하게 됩니다.

간단히 말해: 데이터가 목적지를 결정합니다. 나머지는 단지 그곳에 얼마나 효율적으로 도달하는지 결정할 뿐입니다.

기술 요약: LLMs on the Line: 데이터가 손실 - 손실 스케일링 법칙을 결정한다

문제 제기

스케일링 법칙은 전통적으로 모델 크기, 토큰 수, 계산 예산 (FLOPs 로 측정) 간의 최적 균형을 추정하여 훈련 또는 검증 손실을 최소화함으로써 대규모 언어 모델 (LLM) 개발을 안내해 왔습니다. 그러나 이러한 "계산 - 손실" 법칙은 하류 작업 성능을 신뢰할 수 있게 예측하지는 못합니다. 최근 연구들은 일반화를 더 잘 이해하기 위해 훈련/검증 손실과 하류 테스트 손실 간의 관계를 나타내는 "손실 - 손실" 스케일링 법칙을 도입했지만, 기존 연구들은 대부분 단일 아키텍처 설정이나 훈련 구성에 국한되어 있습니다. 따라서 아키텍처, 토크나이저, 모델 크기, 최적화 설정과 같은 요인들 중 어떤 것이 이러한 손실 - 손실 스케일링 경향의 형태와 전이성에 인과적으로 영향을 미치는지는 여전히 불분명합니다.

방법론

저자들은 6,000 개 이상의 모델 체크포인트를 포함하는 대규모 인과 분석을 수행하여 손실 - 손실 스케일링을 주도하는 요인들을 조사했습니다. 그들의 접근 방식은 다양한 아키텍처와 훈련 설정에 걸쳐 여러 변수를 체계적으로 개입함으로써 이전 연구 (Brandfonbrener et al., 2024; Du et al., 2025) 를 확장합니다.

실험 설정:

아키텍처: 이 연구는 Transformer 기반 모델 (Llama-3, GPT 변형) 과 상태 공간 모델 (Mamba, Mamba2) 을 비교합니다.
토크나이저: tiktoken(128k 어휘) 과 gpt2/gpt-neox(약 50k 어휘) 토크나이저 간 비교가 이루어집니다.
개입: 저자들은 다음에 대한 제거 실험을 수행합니다:
- 사전 훈련 데이터 분포.
- 토크나이저 선택.
- 모델 아키텍처 (Transformer 대 상태 공간).
- 모델 크기 (깊이와 너비 변화).
- 컨텍스트 길이 (1024, 2048, 3076 토큰).
- 최적화 설정 (Adam 대 AdamW, 학습률, 가중치 감쇠, 그리고 Cosine 및 WSD 와 같은 학습률 스케줄).
평가: 성능은 하류 작업 (예: HellaSwag, ARC, MMLU) 과 검증 세트에서의 손실로 측정됩니다. 토크나이저 간 공정한 비교를 보장하기 위해 손실은 바이트당 비트 (BPB) 로 정규화됩니다.
모델링: 저자들은 다음 공식에 따라 데이터를 이동된 멱법칙 (shifted power laws) 에 적합시킵니다:
$L_y \approx K \cdot (L_x - E_{x|p})^\kappa + E_{y|p}$
여기서 $L_x$ 와 $L_y$ 는 서로 다른 데이터셋의 손실이며, $E$ 는 불가피한 오차를 나타냅니다.

주요 기여 및 결과

1. 손실 - 손실 스케일링은 이동된 멱법칙을 따릅니다

모든 아키텍처, 데이터셋, 훈련 구성에서 훈련/검증 손실과 하류 테스트 손실 간의 관계는 일관되게 이동된 멱법칙을 따릅니다. 모델이 높은 정확도를 달성하지 못하는 데이터셋 (예: ARC-Challenge 에서의 Mamba) 의 경우에도 이것이 사실로 입증되어, 일반화 행동을 측정하는 지표로서 손실 - 손실 스케일링의 견고성이 확인되었습니다.

2. 사전 훈련 데이터가 지배적인 요인입니다

가장 중요한 발견은 사전 훈련 데이터 분포가 손실 - 손실 스케일링 경향의 주요 결정 요인이라는 것입니다.

사전 훈련 데이터셋을 변경하는 것 (예: FineWeb-Edu 에서 C4 나 The Pile 로) 은 스케일링 곡선에서 상당한 이동을 초래합니다.
The Pile 의 중복 제거와 같은 미묘한 변화조차도 기본 분포를 변경하여 스케일링 법칙을 이동시키기에 충분합니다.
이는 일반화를 지배하는 "유도적 편향"이 주로 모델 아키텍처가 아닌 데이터 분포에 인코딩되어 있음을 시사합니다.

3. 아키텍처, 토크나이저, 하이퍼파라미터는 미미한 영향을 미칩니다

데이터와 대조적으로, 다른 설계 선택들은 스케일링 경향에 최소 또는 전혀 영향을 미치지 않습니다:

아키텍처: Llama(Transformer) 와 Mamba(상태 공간 모델) 와 같이 근본적으로 다른 유도적 편향을 가진 모델들도 동일한 데이터와 토크나이저로 훈련될 때 거의 동일한 손실 - 손실 스케일링 곡선을 보입니다.
토크나이저: 손실을 바이트로 정규화하는 경우, 토크나이저를 변경하는 것 (예: tiktoken 대 gpt2) 은 스케일링 곡선에서 미미한 변이만 초래합니다.
모델 크기 및 컨텍스트 길이: 파라미터 수 (~60M 에서 ~2.8B 로) 와 컨텍스트 길이 (1024 에서 3076 으로) 를 변화시키는 것은 스케일링 관계를 의미 있게 변경하지 않습니다.
최적화: 옵티마이저 (Adam/AdamW), 학습률, 가중치 감쇠, 스케줄의 변경은 스케일링 계수에 영향을 미치지 않습니다.

4. 점별 일반화

이 연구는 두 개의 서로 다른 훈련 설정 (예: 다른 아키텍처 또는 크기) 이 동일한 사전 훈련 데이터에서 유사한 훈련 손실을 달성하면, 그들은 밀접하게 일치하는 하류 테스트 성능을 보일 것임을 입증합니다. 이는 현재 LLM 아키텍처가 동일한 데이터를 주어진다면 유사한 해에 수렴하여 일반화에 관해 유사한 유도적 편향을 공유할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 일반화를 개선하기 위한 아키텍처 혁신에 대한 분야의 초점이 잘못되었을 수 있다고 주장합니다. 대신 저자들은 데이터 선별이 하류 성능과 견고성의 주요 동인이라고 주장합니다.

실무자를 위해: 이 발견들은 실무자가 하류 성능을 최적화하기 위해 사전 훈련 데이터셋의 신중한 선별을 우선시해야 함을 시사합니다. 고품질 데이터셋이 선택되면, 아키텍처와 훈련 설정은 하류 일반화에 부정적인 영향을 미칠까 봐 두려워하지 않고 훈련 효율성을 위해 자유롭게 최적화될 수 있습니다 (예: Mamba 와 같은 빠른 아키텍처 선택 또는 하이퍼파라미터 조정).
이론적 함의: 결과는 서로 다른 아키텍처가 일반화에 관해 서로 다른 유도적 편향을 인코딩한다는 개념에 도전합니다. 대신, 데이터 분포가 일반화 행동을 규정하는 반면, 아키텍처는 주로 해당 데이터에 대한 효율적인 함수 근사기로 작용함을 시사합니다.

저자들은 자신의 결론이 탐색된 특정 설정 (표준 손실 함수, 전통적인 훈련) 에 기반한다는 점을 인정하며 겸손한 입장을 유지합니다. 그들은 혁신적인 훈련 패러다임 (예: 구조화된 성장 또는 다른 손실 함수) 이 여전히 새로운 스케일링 행동을 유도할 수 있음을 지적하지만, 현재 최선의 실천 범위 내에서는 데이터가 결정적인 요인이라고 강조합니다.