🤖 machine learning

Unified Neural Scaling Laws

본 논문은 모델 크기, 데이터, 연산량, 하이퍼파라미터 등 여러 동시 차원에 걸쳐 다양한 심층 신경망의 성능을 정확하게 모델링하고 외삽하는 기능적 형태인 통합 신경 확장 법칙 (UNSL) 을 소개하며, 이는 기존 확장 법칙보다 비전, 언어, 수학, 강화 학습 작업 전반에 걸쳐 더 높은 정확도로 성능을 예측한다.

원저자: Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ethan Caballero, Priyank Jaini, David Krueger, Irina Rish

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "Unified Neural Scaling Laws(통합 신경 확장 법칙)" 논문을 쉬운 언어와 창의적인 비유로 설명한 내용입니다.

큰 그림: AI 의 미래를 예측하기

요리사가 수프가 얼마나 맛있을지 예측하려고 한다고 상상해 보세요. 물을 더 넣거나, 소금을 더 넣거나, 더 오래 끓이면 맛이 변한다는 것은 알고 있습니다. 하지만 세 가지 모두를 동시에 바꾸면 어떻게 될까요? 소금을 두 배로 늘리면서 물을 절반으로 줄이면 맛이 좋아질까요, 나빠질까요?

인공지능 (AI) 세계에서도 연구자들은 비슷한 문제에 직면합니다. 신경망이라는 "똑똑한" 컴퓨터 프로그램의 크기를 바꾸거나, 먹이는 데이터의 양을 조절하거나, 훈련 시간을 변경하거나, 사용하는 특정 설정 (하이퍼파라미터) 을 바꿀 때 그 프로그램이 어떻게 수행될지 알고 싶어 합니다.

현재 과학자들은 결과를 추측하기 위한 "레시피"(수학적 공식) 를 가지고 있지만, 이러한 레시피는 여러 재료를 동시에 바꿀 때 종종 실패합니다. 작은 냄비로 수프를 끓일 때는 작동할지 몰라도, 만찬을 요리하려고 하면 처참하게 실패할 수 있습니다.

이 논문은 **UNSL(Unified Neural Scaling Law, 통합 신경 확장 법칙)**이라는 새로운, 초급식 (super-recipe) 을 소개합니다. 이 도구는 여러 변수를 동시에 조정할 때 AI 모델이 어떻게 행동할지 예측하는 데 있어 지금까지 가장 정확한 도구라고 주장합니다.

문제: 왜 옛날 레시피는 실패하는가

옛날 확장 법칙을 직선 고속도로만 보여주는 지도라고 생각해 보세요. 고속도로에 머무는 한 (모델 크기처럼 한 가지 것만 변경하는 경우), 그 지도는 잘 작동합니다.

하지만 실제 AI 훈련은 교통등, 우회로, 일방통행이 있는 복잡한 도시를 운전하는 것과 더 비슷합니다.

"최적점 (Sweet Spot)": 때로는 설정 (예: 학습률) 을 높이면 모델이 더 빠르게 학습하는 데 도움이 됩니다.
"절벽 (Cliff)": 하지만 이를 너무 많이 높이면 모델이 추락하여 아무것도 학습하지 못합니다.
"과적합 함정 (Overfitting Trap)": 데이터를 너무 적게 가지고 모델을 너무 오래 훈련시키면, 모델이 과목 자체를 배우는 대신 숙제를 외우기 시작합니다. 연습 시험에서는 만점을 받지만 실제 시험에서는 떨어집니다.

옛 공식들은 이러한 굴곡과 전환을 처리하지 못했습니다. 그들은 "무엇이든 많을수록 좋다"고 가정하거나, 관계가 매끄러운 직선이라고 믿었습니다. 그들은 성능의 급격한 하락이나 서로 다른 설정 간의 복잡한 상호작용을 예측할 수 없었습니다.

해결책: "UNSL" 레시피

저자들은 UNSL이라는 새로운 수학적 구조를 제안합니다. 단순한 직선 대신, UNSL 을 다층적이고 형태를 바꾸는 지형이라고 상상해 보세요.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다.

1. "하이퍼브레이크 (Hyperbreaks)" (지형의 스위치)

AI 성능의 지형은 완만한 경사로 연결된 평평한 평야로 이루어져 있다고 상상해 보세요.

평야: 모델이 예측 가능하게 행동하는 영역입니다 (예: "데이터가 더 많으면 = 결과가 약간 더 좋아짐").
하이퍼브레이크: 규칙이 갑자기 변하는 전환 지점들입니다. 예를 들어, 모델이 데이터가 아니라 크기에 의해 제한받게 되어 더 많은 데이터를 추가해도 도움이 되지 않는 지점에 도달할 수 있습니다.
비유: 비디오 게임 레벨을 생각해 보세요. 평평한 바닥 (예측 가능) 을 걷다가, 램프 (전환) 를 만나고, 갑자기 다른 중력을 가진 다른 층으로 이동합니다. UNSL 은 여러 변수를 동시에 변경할 때 이러한 램프가 정확히 어디에 있고 얼마나 가파른지 매핑할 수 있을 정도로 똑똑합니다.

2. "상반된 힘 (Oppositional Forces)" (줄다리기)

이 논문은 서로 싸우는 두 가지 주요 힘을 설명합니다.

"좋은 학습" 힘: 모델에 더 많은 데이터와 매개변수를 주면 더 똑똑해지는 부분입니다.
"나쁜 학습" 힘: 과적합(배우는 대신 외우는 것) 이나 나쁜 설정(너무 높은 학습률 등) 과 같은 것들을 포함합니다.
비유: 줄다리기 상황을 상상해 보세요. 한쪽 팀은 모델을 완벽함 쪽으로 당기고, 다른 쪽 팀은 혼란 (과적합 또는 추락) 쪽으로 당깁니다. UNSL 은 승자를 측정하는 것뿐만 아니라, 균형이 어떻게 기울지 예측하기 위해 줄의 정확한 장력을 계산합니다.

3. "병목 현상 (Bottlenecks)" (좁은 다리)

때로는 한 가지 것을 아무리 개선해도 전체 시스템이 약한 고리 하나에 의해 막힙니다.

비유: 공장이 장난감을 생산하려고 한다고 상상해 보세요. 더 많은 노동자 (매개변수) 와 더 많은 원자재 (데이터) 를 추가할 수 있지만, 컨베이어 벨트 (훈련 단계) 가 너무 느리면 공장 생산량은 증가하지 않습니다.
UNSL 은 이러한 "병목 현상"을 찾아내도록 설계되었습니다. 컨베이어 벨트가 한계라면 노동자를 더 추가해도 도움이 안 된다는 것을 알고 있습니다. 그 단일 병목 현상으로 인해 성능이 평탄화될 것이라고 정확하게 예측합니다.

그들이 증명한 것은 무엇인가?

저자들은 다음과 같은 실제 데이터를 사용하여 기존 레시피와 새로운 "UNSL" 레시피를 테스트했습니다.

비전 (Vision): 컴퓨터에게 이미지 인식 (새나 자동차 식별 등) 을 가르치는 것.
언어 (Language): 컴퓨터에게 텍스트 이해 및 생성 (챗봇 등) 을 가르치는 것.

결과:

이러한 AI 모델의 미래 성능을 예측하려 할 때, UNSL 은 이전의 최선 방법들보다 훨씬 더 정확했습니다.
언어 테스트에서 UNSL 은 사례의 **88%**에서 우승했으며, 그다음으로 좋은 방법은 **11%**만 우승했습니다.
모델이 오랜 기간 혼란을 겪다가 갑자기 똑똑해지는 "그로킹 (Grokking)" 현상과 같은 기이하고 직선이 아닌 행동을 데이터가 보여줄 때도 성공적으로 결과를 예측했습니다.

결론

이 논문은 새로운 종류의 AI 나 새로운 로봇 제작 방법을 발명하지 않습니다. 대신 더 나은 **수정구 (crystal ball)**를 발명합니다.

이것은 연구자들이 소량의 훈련 데이터를 보고 다음과 같이 높은 확신으로 말할 수 있게 하는 수학적 도구를 제공합니다. "모델 크기를 두 배로 늘리고, 데이터를 세 배로 늘리고, 학습률을 조정하면, 이 모델이 정확히 얼마나 잘 수행될 것입니다."

이는 거대한 AI 모델을 훈련시키는 데 수백만 달러가 들기 때문에 매우 중요합니다. 그 돈을 쓰기 전에 결과를 정확하게 예측할 수 있다면 시간과 자원을 절약할 수 있으며, AI 가 안전하고 효율적으로 개발되도록 보장하는 데 도움이 됩니다.

간단히 말해: 저자들은 AI 훈련의 모든 지형, 즉 직선 도로, 가파른 절벽, 까다로운 우회로를 이전의 어떤 지도보다 잘 처리하는 보편적인 지도를 만들었습니다.

기술 요약: 통합 신경 확장 법칙 (UNSL)

문제 제기
최첨단 신경망 훈련에는 막대한 계산 자원과 데이터가 필요합니다. 대규모에서 최적의 아키텍처와 훈련 구성을 선택하는 것은 어려운데, 작은 규모에서 잘 작동하는 방법들이 규모가 커짐에 따라 성능을 유지하지 못하는 경우가 많기 때문입니다. 또한, 모델 행동의 정확한 예측은 성능 최적화뿐만 아니라 AI 안전, 특히 새로운 능력의 출현을 예측하는 데에도 중요합니다. 기존 신경 확장 법칙은 종종 모델 파라미터, 데이터셋 크기, 훈련 단계, 하이퍼파라미터 등 여러 차원이 동시에 변하는 복잡한 다변량 확장 행동을 모델링하는 데 어려움을 겪습니다. 구체적으로, 이전의 함수 형태들은 과적합이나 비최적 하이퍼파라미터로 인한 비단조적 전환 (transitions) 과 과적합 및 하이퍼파라미터 제약과 같은 "상반된 힘"들 사이의 복잡한 상호작용을 포착하지 못하는 경우가 많습니다.

방법론
저자들은 심층 신경망의 확장 행동을 여러 변하는 차원에 걸쳐 동시에 모델링하고 외삽하기 위해 설계된 새로운 함수 형태인 **통합 신경 확장 법칙 (UNSL)**을 제안합니다.

함수 형태 구조: UNSL 은 확장 행동에 대한 경험적 관찰에서 도출된 특정 "요구 사항 (desiderata)"을 충족시키기 위해 여러 수학적 구성 요소를 조합하여 구성됩니다.
- 다변량 분할 신경 확장 법칙 (MBNSL): 핵심 구성 요소 (식 4) 는 단변량 분할 신경 확장 법칙 (BNSL) 을 다변량 설정으로 확장합니다. 이는 "다중 로그 공간" (모든 입력 및 출력 차원에 로그 변환을 적용하여 얻은 공간) 에서 부드럽게 연결된 초평면 (hyperplanes) 의 시퀀스로 확장 행동을 모델링합니다. 이를 통해 서로 다른 확장 영역 간의 "초분할 (hyperbreaks)" (전환) 을 가능하게 합니다.
- 가법적 대칭성: 과적합이나 불량한 하이퍼파라미터로 인한 성능 저하와 같은 비단조적 행동을 모델링하기 위해, UNSL 은 "가법적 대칭성" (식 5) 을 사용합니다. 이 구조는 두 개의 MBNSL 구성 요소를 합산하여, 기울기가 엄격하게 단조적이지 않은 방식으로 변화하는 전환을 모델이 포착할 수 있도록 합니다.
- 병목 및 비병목 구성 요소: 이 모델은 "비병목" 구성 요소 (부드러운 전환) 와 특정 차원 (예: 데이터셋 크기) 에 의해 부과된 성능 한계를 나타내는 "병목" 구성 요소를 구분합니다.
- 상반된 힘: 함수 형태는 "상반된 힘"을 명시적으로 모델링합니다.
  - 과적합: 훈련 단계가 특정 임계값을 초과할 때 중요해지는 내부 역수 항으로 모델링됩니다.
  - 하이퍼파라미터: "좋은 학습" (과적합 없음) 과 "나쁜 학습" (과적합) 을 반대하는 항으로 모델링되어, 학습률이나 가중치 초기화 표준 편차가 너무 크거나 너무 작을 때 성능이 저하되는 현상을 포착합니다.
- 성능 한계: 이 형태는 입력이 전역 최적이나 최악의 시나리오로 갈 때 접근하는 불감소 오차 (베이지안 오차) 와 오성능 한계 (예: 무작위 추측 오차) 를 나타내는 상수를 포함합니다.
피팅 및 외삽: UNSL 은 평균 제곱 로그 오차 (MSLE) 를 최소화하기 위해 KFAC-JAX 를 사용하여 데이터 포인트 $(x_1, \dots, x_m, y)$ 에 피팅됩니다. 저자들은 모든 차원에서 훈련 포인트보다 동시에 큰 포인트를 포함하지 않는 검증 세트를 사용하는 검증 전략을 사용하여 견고한 외삽을 보장합니다.

주요 기여

통합 함수 형태: 이 논문은 다양한 아키텍처 (Transformer, MLP, ViT, BiT) 와 작업 (비전, 언어, 강화 학습) 에 걸쳐 확장 행동을 모델링할 수 있으며 동시에 여러 차원을 변형시킬 수 있는 단일 함수 형태를 제시합니다.
비단조성 처리: 이전 형태 (예: CF, DC) 와 달리 UNSL 은 가법적 대칭성 구조를 통해 과적합 및 하이퍼파라미터 민감도로 인한 비단조적 전환을 명시적으로 처리합니다.
다변량 외삽: 이 형태는 다른 형태들이 종종 실패하는 작업인 여러 차원에서 동시에 훨씬 더 큰 규모 (한 자릿수) 로 정확하게 외삽합니다.
요구 사항 충족: 저자들은 통합 확장 법칙이 충족해야 하는 8 가지 요구 사항 (예: 단변량 BNSL 복원, 병목 한계 처리, 비단조적 전환 포착) 을 정의하고 UNSL 이 이를 모두 충족함을 입증합니다.

결과
저자들은 비전 및 언어 도메인에서 UNSL 을 여러 베이스라인 함수 형태 (CF, DC 및 A1, A2, A3 제거 버전) 와 비교 평가했습니다.

비전 작업: 이변량 및 삼변량 확장 행동을 가진 다운스트림 이미지 분류 작업 (Birds 200, Cars 196, ImageNet) 에서 UNSL 은 **60.87%**의 작업에서 가장 낮은 제곱근 평균 제곱 로그 오차 (RMSLE) 를 달성하여, 다음으로 가장 좋은 형태 (A3, 21.74%) 를 크게 앞섰습니다.
언어 작업: 다운스트림 및 업스트림 언어 작업 (파라미터, 처리된 토큰 수, 데이터셋 크기를 포함한 LLM 확장 포함) 에서 UNSL 은 다음으로 가장 좋은 형태 (11.11%) 에 비해 **88.89%**의 작업에서 가장 낮은 RMSLE 를 달성했습니다.
제거 연구: 결과는 향상된 성능이 단순히 표현력 증가가 아니라 가법적 대칭성과 상반된 힘과 같은 특정 구조적 제약 때문임을 나타냅니다. 제거된 형태 (A1, A2, A3) 는 동일한 supremal 표현력을 공유하지만 외삽 성능이 더 낮기 때문입니다.
예측 가능성의 한계: 이 논문은 훈련 데이터가 초분할 (hyperbreaks) 에 충분히 가까운 영역을 충분히 커버한다면, 손실이 수백 단계 동안 감소하지 않는 "상전이" (예: 희소 패리티 작업) 가 있는 작업에서도 UNSL 이 확장 행동을 정확하게 외삽할 수 있음을 보여줍니다.

의의
이 논문은 UNSL 이 대규모 신경망 성능 예측을 위한 더 정확하고 통합된 프레임워크를 제공한다고 주장합니다. 모델 크기, 데이터, 계산, 하이퍼파라미터 간의 상호작용을 비단조적 효과를 포함하여 정확하게 모델링함으로써 UNSL 은 훈련 구성 및 아키텍처 선택을 개선합니다. 저자들은 이 능력이 자원이 증가함에 따라 모델 행동의 한계와 전환을 이해하여 능력의 출현을 예측하고 안전을 보장함으로써 책임 있는 AI 개발에 필수적이라고 제안합니다. 이 연구는 더 많은 관련 예측 변수를 포함하고 통합된 형태를 통해 그들의 복잡한 상호작용을 모델링함으로써 성능 예측의 조건부 엔트로피를 줄여 더 신뢰할 수 있는 외삽을 이끌어낸다고 강조합니다.