💬 NLP

Neural Neural Scaling Laws

본 논문은 다운스트림 태스크 성능 예측을 시계열 외삽 문제로 재구성하여 다양한 모델 계열과 태스크에 걸쳐 기존 매개변수 기반 모델보다 낮은 오차율과 제로샷 일반화를 달성하는 신경망 기반 접근법인 뉴뉴 (NeuNeu) 를 소개한다.

원저자: Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

학생이 매일 하는 숙제를 통해 기말고사에서 얼마나 잘할지 예측한다고 상상해 보세요.

오랜 기간 동안 연구자들은 이러한 예측을 위해 간단한 경험칙 (이를 "스케일링 법칙"이라고 부릅니다) 을 사용해 왔습니다. 그들은 단순히 학생의 평균 숙제 점수만 보면 기말 성적을 예측할 수 있는 매끄럽고 예측 가능한 곡선을 그릴 수 있다고 가정했습니다. 그들은 "평균 점수가 오르면 기말 성적도 깔끔한 직선으로 따라 올라갈 것"이라고 생각했습니다.

하지만 이 논문의 저자인 마이클 Y. 후 (Michael Y. Hu) 와 그의 팀은 이 간단한 규칙이 깨졌다고 말합니다. 그 이유와 그들이 이를 어떻게 고쳤는지 살펴봅시다.

문제: "평균"은 거짓말을 합니다

이 논문은 평균 점수를 보는 것이 진실을 가린다고 주장합니다.

비유: 두 명의 학생이 모두 평균 점수 80% 를 받았다고 상상해 보세요.
- 학생 A는 한 문제를 제외하고 모든 문제를 맞혔습니다. 그들의 성취는 안정적이고 신뢰할 수 있습니다.
- 학생 B는 절반의 문제에서는 100% 를, 나머지 절반에서는 60% 를 받았습니다. 그들의 성취는 혼란스럽고 예측 불가능합니다.
- 만약 "80% 평균"만 본다면 두 학생의 차이를 알 수 없습니다. 하지만 개별 문제 ("토큰 수준" 데이터) 를 살펴보면 학생 A 가 학생 B 보다 기말고사에서 더 잘할 가능성이 높다는 것을 알 수 있습니다.

기존 방법들 (이를 "로지스틱 스케일링 법칙"이라고 부릅니다) 은 이러한 상세한 정보를 모두 버렸습니다. 그들은 단순히 평균을 내고, 이를 매끄럽게 만든 뒤, 간단한 수학적 곡선을 맞추려 했습니다. 저자들은 학생 (또는 AI 모델) 이 때로는 더 좋아지거나, 때로는 더 나빠지거나, 정체기에 빠지는 등 이상하게 행동하기 시작하면 이 방법이 실패한다는 것을 발견했습니다.

해결책: NEUNEU (신경망 예측기)

이 팀은 NEUNEU(Neural Neural Scaling Laws) 라는 새로운 도구를 개발했습니다. NEUNEU 를 단순한 계산기가 아니라 매우 예리한 가정교사로 생각하세요.

NEUNEU 는 단순히 평균 점수를 보는 대신 다음을 살펴봅니다:

역사: 학생의 성적이 시간에 따라 어떻게 변해 왔는지.
상세 정보: 평균이 아닌 모든 개별 문제의 구체적인 성취도.

작동 원리 (비유):
장거리 여행을 할 때 자동차가 어떻게 수행할지 예측한다고 상상해 보세요.

기존 방식: 지금까지의 평균 속도를 확인하고, 그 속도가 영원히 유지될 것이라고 가정합니다.
NEUNEU 방식: 엔진의 진동, 연료 혼합비, 운전자의 반응 시간, 그리고 자동차가 방금 지나친 도로의 특정 요철을 살펴봅니다. 그리고 수천 대의 다른 자동차에서 학습한 스마트 컴퓨터 (신경망) 를 사용하여 이 특정 자동차가 여행의 나머지 부분을 어떻게 처리할지 정확히 예측합니다.

그들이 발견한 것들

이 팀은 NEUNEU 를 많은 오픈소스 AI 모델 (서로 다른 학교의 학생들) 의 데이터로 훈련시켰습니다. 그리고 과학 질문 답변, 이야기 작성, 논리 퍼즐 해결 등 66 가지 다른 작업으로 이를 테스트했습니다.

그들의 주요 발견 사항은 다음과 같습니다:

훨씬 더 정확함: NEUNEU 는 기존의 "평균 기반" 방법보다 44% 더 정확했습니다. AI 가 미래에 얼마나 잘할지 예측할 때 실수를 더 적게 했습니다.
이상한 상황을 처리함: 때로는 AI 를 더 크게 만들거나 더 오래 훈련시키면 특정 작업에서 나빠지는 경우 (이를 "역스케일링"이라고 부릅니다) 가 있습니다. 기존 방법들은 이를 예측하지 못했고, 무조건 상황이 나아질 것이라고만 가정했습니다. NEUNEU 는 이러한 패턴을 찾아내고 정확하게 예측하는 법을 배웠습니다.
"제로샷" 천재: NEUNEU 는 특정 모델과 작업 세트로 훈련되었습니다. 하지만 그들이 NEUNEU 에게 아직 본 적 없는 새로운 유형의 모델이나 새로운 작업을 보여줬을 때, 여전히 기존 방법들보다 더 잘 작동했습니다. 마치 가정교사가 학생의 학습 습관만 보고도 전혀 공부해 본 적 없는 새로운 과목을 가르칠 수 있는 것과 같습니다.
추측할 때를 안다: NEUNEU 는 하나의 답만 주지 않습니다. 대신 가능성의 범위를 제시합니다 (예: "점수가 75 에서 85 사이일 확률이 90% 입니다"). 이를 통해 연구자들은 언제 예측을 신뢰할 수 있고 언제 주의해야 하는지 알 수 있습니다.

결론

이 논문은 기존의 "평균 점수" 방법과 같은 단순한 사전 작성된 공식을 사용하여 AI 모델의 미래 성능을 예측하려는 시도는 막다른 길이라고 주장합니다. 대신, 모델이 실제로 어떻게 행동하는지에 대한 복잡하고 상세한 데이터에서 직접 학습하는 스마트하고 유연한 컴퓨터 시스템 (NEUNEU) 을 사용해야 합니다.

이렇게 함으로써 그들은 훨씬 더 높은 정확도로 AI 의 미래 성능을 예측할 수 있게 되었고, 연구자들이 시간과 비용을 들여 구축할 가치가 있는 AI 모델을 결정하는 데 도움을 줄 수 있게 되었습니다.

기술 요약: 뉴럴 뉴럴 스케일링 법칙 (NEUNEU)

문제 제기

기존의 뉴럴 스케일링 법칙은 컴퓨팅, 데이터, 파라미터 증가에 따른 언어 모델 (LM) 성능 향상을 예측하며, 일반적으로 훈련 손실과 하류 성능 간의 관계를 간단한 매개변수 형태 (예: 멱법칙 또는 로지스틱 함수) 로 모델링합니다. 그러나 저자들은 현재 접근 방식에서 두 가지 중요한 한계를 지적합니다:

신호 은폐: 평균 검증 손실과 같은 집계 지표는 풍부한 토큰 수준 손실 분포를 평균화하여 하류 능력을 예측할 수 있는 신호를 흐리게 만듭니다.
기능적 경직성: 개별 하류 작업은 단조 개선, 정체, 또는 역스케일링과 같은 다양한 스케일링 행동을 보이며, 이는 단일 매개변수 계열로 포착할 수 없습니다.

따라서 고정된 함수 형태를 사용하여 검증 손실로부터 하류 성능을 예측하는 방법은 높은 편향을 겪으며, 보지 못한 모델 아키텍처, 파라미터 수, 또는 작업에 대한 일반화 성능이 떨어집니다.

방법론: NEUNEU

저자들은 **뉴럴 뉴럴 스케일링 법칙 (NEUNEU)**을 제안합니다. 이는 스케일링 법칙 예측을 시계열 외삽 문제로 프레임하는 신경망 접근법입니다. 매개변수 기반 방법과 달리 NEUNEU 는 특정 함수 형태를 가정하지 않고 미래 성능을 예측하도록 학습합니다.

아키텍처 및 입력 표현

NEUNEU 는 관찰된 정확도 궤적에서 얻은 시간적 맥락과 토큰 수준의 검증 정보를 결합합니다.

손실 표현: 분포 정보를 보존하고 무제한 크로스 엔트로피 손실을 처리하기 위해, 모델은 토큰별 손실 ( $\ell$ ) 을 토큰별 확률 ( $p = e^{-\ell}$ ) 로 변환합니다.
입력 시퀀스: 모델은 검증 세트에서 얻은 토큰 확률 벡터 ( $p_t$ $p_{t}$ ) 와 함께, 과거 하류 정확도 ( $y_{1:t}$ $y_{1 : t}$ ) 및 컴퓨팅 간격 ( $g_{1:t}$ $g_{1 : t}$ ) 의 시퀀스를 처리합니다.
- 간격: 평가 단계 간의 컴퓨팅 간격은 다양한 모델 규모에 걸친 불변성을 보장하기 위해 추상화됩니다.
- 토큰 확률: 모델은 단일 평균화된 손실 값 대신 $N=256,000$ 개의 토큰 확률 벡터 (약 1 개의 미니배치 크기) 를 입력받습니다.
모델 구성 요소:
1. 손실 인코더: 계층적 1D CNN(4 층) 이 토큰 확률 벡터를 처리하여 임베딩 $e$ 를 생성합니다.
2. 트랜스포머 백본: [CLS] 토큰, 손실 임베딩 $e$ , 그리고 투영된 정확도와 간격을 연결하여 형성된 컨텍스트 토큰으로 구성된 시퀀스를 처리하는 표준 BERT 스타일 트랜스포머 (6 층, 양방향 어텐션, RoPE) 입니다.
3. 예측 헤드: [CLS] 토큰의 출력은 **양분량 회귀 (quantile regression)**를 사용하여 미래 정확도 분포를 예측하도록 투영됩니다. 모델은 5 개의 양분량 ( $\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$ ) 을 출력합니다.

훈련 전략

데이터: 모델은 HuggingFace 의 오픈 소스 언어 모델 훈련 궤적, 구체적으로 DataDecide 모델 스위트에 완전히 의존하여 훈련됩니다. 여기에는 6 가지 모델 크기 (90M~1B 파라미터) 와 24 개의 데이터셋에 걸친 144 개의 고유한 사전 훈련 궤적이 포함됩니다.
목적 함수: 모델은 보정된 불확실성 추정을 생성하기 위해 5 개의 양분량에 걸쳐 합산된 **핀볼 손실 (pinball loss)**을 사용하여 훈련됩니다.
증강: 누락된 데이터에 대한 견고성을 보장하기 위해 훈련 과정에서 정확도 시퀀스에서 튜플이 무작위로 제거되어 간격이 이전 튜플에 흡수됩니다.

주요 기여

매개변수 없는 예측: NEUNEU 는 특정 함수 형태에 대한 매개변수 가정이나 사전 지식 없이 하류 스케일링 성능을 예측하는 최초의 모델입니다.
우수한 정확도: 66 개의 하류 작업에서 NEUNEU 는 평균 절대 오차 (MAE) **1.99%**를 달성하여 널리 사용되는 로지스틱 스케일링 법칙 (3.56% MAE) 대비 44% 감소된 오차를 보입니다.
불확실성 보정: 양분량 회귀를 활용함으로써 NEUNEU 는 보정된 불확실성 추정을 제공합니다. 예측된 10%-90% 양분량 구간은 실제 데이터의 77.6% 를 포착하여 기대되는 80% 와 밀접하게 일치합니다.
제로샷 일반화: 이 모델은 다음에 대해 제로샷으로 일반화됩니다:
- 보지 못한 랜덤 시드.
- 보지 못한 사전 훈련 데이터셋 (예: C4).
- 훈련 중에 보지 못한 모델 계열 및 아키텍처 (비트랜스포머 모델인 OLMo-Hybrid-7B 포함) 및 더 큰 파라미터 수 (최대 12B).
- 보지 못한 하류 작업 (메타 훈련 중 홀드아웃된 작업).

결과 및 평가

저자들은 NEUNEU 를 여러 베이스라인과 비교 평가했습니다:

로지스틱 스케일링 법칙: 작업별 매개변수 피팅.
BNSL (Broken Neural Scaling Laws): 체제 전환을 허용하는 매개변수 모델.
LC-PFN: 컨텍스트 내 학습 곡선 외삽을 위한 메타 학습된 트랜스포머.
Ablations: 평균 손실만 사용하는 NEUNEU 변형 (AVERAGE) 또는 손실 정보 없이 사용하는 변형 (NOLOSS).

주요 발견:

일반화: NEUNEU 는 분포 외 (OOD) 평가에서 모든 베이스라인을 크게 능가하며, 특히 매개변수 법칙이 치명적으로 실패하는 (~4 배 더 높은 오차 발생) 새로운 아키텍처 (Pythia, OLMo-Hybrid) 에서 두드러집니다.
작무 무관성: 각 작업별로 별도의 모델을 피팅해야 하는 로지스틱 스케일링 법칙과 달리, 단일 NEUNEU 모델은 훈련 중 보지 못한 작업을 포함한 모든 작업에 대한 정확도를 예측하며, 종종 해당 특정 작업에 직접 피팅된 로지스틱 법칙보다 우수한 성능을 보입니다.
의사 결정 유용성: NEUNEU 는 경쟁 모델 구성의 최종 성능을 76.6% 정확도로 올바르게 순위 매기며, 이는 로지스틱 스케일링 법칙 대비 12.9% 개선된 것입니다. 이는 NEUNEU 가 리소스 할당 및 하이퍼파라미터 선택을 효과적으로 안내할 수 있음을 시사합니다.
정보 가치: AVERAGE 및 NOLOSS 절단 실험은 전체 NEUNEU 보다 낮은 성능을 보여, 토큰 수준 손실 분포가 평균화로 인해 폐기되는 예측 신호를 포함하고 있음을 확인시켜 줍니다.

중요성 및 주장

이 논문은 기존 스케일링 법칙의 한계가 예측 문제의 근본적인 것이 아니라 제한된 가설 클래스 (즉, 특정 함수 형태를 가정함) 의 산물이라고 주장합니다. 다양한 오픈 소스 궤적으로 훈련된 신경망의 유연성으로 매개변수 편향을 대체함으로써 NEUNEU 는 데이터에서 직접 하류 스케일링을 예측하는 것이 매개변수 대안보다 우월함을 입증합니다.

저자들은 NEUNEU 를 "훈련 역학의 기초 모델"을 향한 한 걸음으로 위치시킵니다. 언어 모델을 블랙박스로 취급하는 대신, NEUNEU 는 현재 성능과 컴퓨팅 조치에 기반하여 미래 상태를 시뮬레이션할 수 있는 훈련 역학의 초기 모델로 작용합니다. 이 기능은 실무자가 실제 훈련 실행의 prohibitive 한 비용 없이 하이퍼파라미터 공간과 아키텍처 선택을 탐색할 수 있게 할 수 있습니다. 이 작업은 컴퓨팅과 데이터에 따라 확장되는 방법이 인간이 설계한 구조에 의존하는 방법보다 우세하다는 원칙과 부합합니다.