🤖 AI

On the Smallness of the Large Language Models Scaling Exponents

이 논문은 현재의 거대 언어 모델 스케일링 지수가 비제로 손실 한계(non-zero loss limits)의 "페데스탈 효과(pedestal effect)"를 고려한 후에도 지속되는 지속 불가능한 에너지 체제를 나타낸다고 주장하며, 또한 데이터의 매끄러움(smoothness)이 이러한 지수에 미치는 영향을 논하기 위해 유체 난류와의 유사성을 이끌어낸다.

원저자: Sauro Succi, Peter V. Coveney, Alex Hansen

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sauro Succi, Peter V. Coveney, Alex Hansen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "더 큰 것이 더 좋다"는 문제

로봇에게 완벽하게 말하는 법을 가르치려 한다고 상상해 보세요. 현재 AI 세계의 규칙은 이렇습니다: "로봇이 커질수록 더 말을 잘한다." "벽이 없다(no-wall)"라고 불리는 이 아이디어는, 만약 우리가 계속해서 더 많은 데이터와 더 많은 컴퓨터 연산 능력을 추가하기만 한다면, 로봇이 영원히 더 똑똑해질 것이라고 제안합니다.

하지만 이 논문의 저자들은 이 전략이 지속 불가능하다고 주장합니다. 그들은 우리가 아직 지능의 벽에 부딪힌 것은 아닐지라도, 에너지 소비의 벽에는 부딪히고 있다고 말합니다.

핵심 문제: 수확 체감 (Diminimishing Returns)

이 논문은 왜 이것이 문제가 되는지를 설명하기 위해 간단한 수학적 개념을 사용합니다. 아주 더러운 창문을 닦으려고 노력한다고 상상해 보세요.

목표: 창문을 완벽하게 깨끗하게 만드는 것 (오류 제로).
현재의 현실: 창문을 단지 절반만큼 덜 더럽게 만들기 위해서, 당신은 두 배의 노력이 필요한 것이 아닙니다. 1,000배의 노력이 필요합니다.

저자들은 현재의 거대 언어 모델(LLM)이 가진 "스케일링 지수(scaling exponent, 모델이 얼마나 빨리 나아지는지를 측정하는 숫자)"가 매우 작다(약 0.05에서 0.1 사이)는 점을 지적합니다.

비유: AI의 성능을 아주 조금이라도 개선하고 싶다면, 당신은 산더미 같은 새로운 데이터를 먹여야 하고 엄청난 양의 전기를 태워야 합니다. 이는 마치 위로 올라갈수록 점점 더 가팔라지는 언덕 위로 바위를 밀어 올리려는 것과 같습니다. 논문은 이것이 에너지 자원의 막다른 길이라고 주장합니다.

"받침대(Pedestal)" 방어론: 그냥 기다릴 수 없는 이유

일부 비판자들은 이렇게 말합니다. "걱정 마세요! 우리는 실제로 AI가 완벽할(오류 제로) 필요는 없습니다. 우리는 그저 AI가 헛소리를 하지 않을 정도로만 '충분히 좋으면' 됩니다. 우리는 바닥에 닿기 전에 훈련을 멈추면 됩니다."

저자들은 이를 **"받침대 효과(Pedestal Effect)"**라고 부릅니다. 그들은 AI의 오류가 아무리 많은 데이터를 주더라도 결코 내려갈 수 없는 바닥(받침대)을 상상합니다.

논문의 반박: 설령 우리가 완벽함을 요구하지 않는다고 하더라도, 수학적으로는 여전히 성립하지 않습니다. 저자들은 "바닥"이 시작점 대비 너무 높기 때문에, "충분히 좋은" 구간에 도출되는 속도가 매우 빠르며, 그럼에도 불구하고 작은 스케일링 지수가 여전히 적용된다는 것을 보여줍니다.
은유: 욕조에 물을 채우려고 한다고 상상해 보세요. 당신은 "욕조가 끝까지 찰 필요는 없습니다. 물이 몇 인치 정도만 있으면 됩니다"라고 주장합니다. 저자들은 "그 목표치가 낮더라도, 수도꼭지에서 물이 너무 느리게 뚝뚝 떨어지기 때문에, 그 몇 인치를 채우기도 전에 물(에너지)이 다 떨어져 버릴 것"이라고 말합니다.

숫자가 왜 그렇게 작은가? ("데이터의 거칠기")

논문은 다음과 같이 질문합니다. 왜 AI는 이렇게 느리게 발전하는가?

그들은 AI 훈련을 유체 난류(강물에서 소용돌이치는 물이나 피어오르는 연기 같은 것)에 비유합니다.

매끄러움 vs 거칠음: 만약 당신이 매끄럽고 예측 가능한 패턴(직선 같은 것)을 배우려 한다면, 빠르게 배울 수 있습니다. 하지만 실제 세상의 데이터(언어, 이미지, 복잡한 시스템)는 폭풍 치는 바다처럼 "거칠고" 혼란스럽습니다.
프랙탈과의 연결: 저자들은 물리학의 비유를 사용합니다. 폭풍 속에서는 에너지가 고르게 퍼져 있지 않고, 작고 혼란스러운 소용돌이에 집중되어 있습니다. 폭풍을 이해하려면 그 작은 소용돌이들을 들여다봐야 합니다.
결과: 데이터가 "거칠고" 혼란스럽기 때문에, AI는 패턴을 찾는 데 훨씬 더 많은 노력을 기울여야 합니다. 논문은 데이터의 "거칠기"가 스케일링 지수를 매우 낮게 유지하도록 강제한다고 제안합니다.

"숨겨진 지도" 이론

논문은 Sharma와 Kaplan(SK)의 이론을 인용하며, 학습 속도는 데이터의 **고유 차원(Intrinsic Dimension)**에 달려 있다고 제안합니다.

비유: 도서관을 상상해 보세요.
- 임베딩 공간(Embedding Space) (도서관의 크기)은 매우 큽니다. 아마 수백만 개의 선반이 있을 것입니다.
- 고유 차원(Intrinsic Dimension) (실제 이야기를 담고 있는 책의 수)은 훨씬 작지만, 여전히 매우 큽니다.
문제: LLM이 거대한 도서관 속에 숨겨진 "진짜 이야기"를 찾아내는 데(데이터 압축)는 뛰어나지만, 그 "진짜 이야기" 자체가 너무 복잡하여(차원이 너무 많아서) 세상의 에너지를 다 태워버리지 않고서는 효율적으로 학습할 수 없다는 것입니다.

결론: "더 크게"를 쫓는 것을 멈춰라

저자들은 "더 큰 것이 더 좋다"는 접근 방식이 에너지 고갈로 가는 레시피라고 결론짓습니다.

판결: AI가 얼마나 똑똑해지든 간에, 데이터가 복잡하고 "거칠다면", 그것을 조금 더 똑똑하게 만드는 데 필요한 에너지는 항상 너무 높을 것입니다.
제시된 경로: 단순히 더 많은 전기를 잡아먹는 더 크고 멍청한 모델을 만드는 대신, 우리는 **기초적인 물리 법칙을 인식하는 모델(world models라고 불리는 모델)**로 돌아가야 합니다. 이 모델들은 단순히 거대한 데이터베이스의 패턴을 암기하는 것이 아니라, 세상이 어떻게 작동하는지(중력이나 인과관계 같은 것)를 이해하는 시스템입니다.

요약하자면: 우리는 복잡한 퍼즐을 풀기 위해 점점 더 많은 사람을 투입하려 하고 있지만, 퍼즐이 너무 어려워서 퍼즐을 풀기도 전에 커피(에너지)가 먼저 떨어지고 있습니다. 우리는 전략을 바꾸어야 하지, 단순히 일꾼을 더 늘려서는 안 됩니다.

문제 제기
본 논문은 모델 크기와 데이터 양이 증가함에 따라 LLM의 성능이 계속해서 향상된다는 관찰 결과인 "벽이 없음(no-wall)" 현상에 의해 주도되는 현재의 거대 언어 모델(LLM) 발전 궤적의 지속 가능성을 다룬다. 이러한 현상은 "클수록 좋다(bigger is better)"라는 구호를 낳았으나, 저자들은 이들을 지배하는 스케일링 지수(scaling exponents)가 매우 작다( $\alpha \approx 0.05 \div 0.10$ )고 주장한다. 실질적인 관점에서 지수 0.1은 손실 함수를 2분의 1로 줄이기 위해 $2^{10} = 1024$ 배의 계산 자원이 필요함을 의미한다. 저자들은 이러한 "수익 체감"의 영역이 손실 함수를 엄격한 수치적 오차로 보든 경험적 지표로 보든 관계없이, 현재의 스케일링 전략을 에너지 소비 측면에서 지속 불가능하게 만든다고 주장한다.

방법론 및 이론적 프레임워크
저자들은 스케일링 지수에 대한 이해를 비판하고 정교화하기 위해 스케일링 법칙, 수치 해석적 유추, 그리고 유체 역학의 현상학적 모델을 결합한 이론적 분석을 채택한다.

"페데스탈 효과(Pedestal Effect)" 비판에 대한 반박: 본 논문은 작은 스케일링 지수가 데이터 크기 $N \to \infty$ 일 때의 비제로 극한(non-zero limit)인 "페데스탈(pedestal)"을 무시함으로써 발생하는 수치적 편향이라는 반론을 먼저 다룬다. 저자들은 손실 함수를 $L(x) = L_0 + (L_1 - L_0)x^\alpha$ (여기서 $x=1/N$ )로 모델링하여 "실행 스케일링 지수(running scaling exponent)"를 도출한다. 저자들은 작은 페데스탈이 존재하더라도, "높은" 스케일링 영역(Chinchilla 스케일링과 같은 $\alpha \approx 1/3$ )에서 관찰된 "낮은" 영역( $\alpha \approx 0.05 \div 0.1$ )으로의 전이가 현대적 LLM에 사용되는 데이터셋 크기보다 훨씬 낮은 수준에서 이미 발생함을 입증한다. 따라서 페데스탈 효과는 관찰된 낮은 지수를 설명할 수는 있지만, 근본적인 지속 불가능성 문제를 해결하지는 못한다.
이론적 하한선 (Sharma-Kaplan 모델): 저자들은 스케일링 지수가 데이터 매니폴드의 고유 차원( $d$ )에 의해 제한된다는 Sharma와 Kaplan(SK)의 이론적 프레임워크를 채택한다. 이 관계식은 $\alpha \sim 4/d$ 로 나타내며, 이는 LLM이 임베딩 차원 $D$ 보다 훨씬 작은 $d$ 차원 특징 공간에서 적응형 격자 세분화(adaptive grid refinement) 방법과 유사하게 작동함을 시사한다.
유체 난류와의 유추: 이러한 지수의 크기를 설명하기 위해, 본 논문은 유체 난류의 현상학과의 유사성을 끌어온다.
- 매끄러움 vs 거칠기(Smoothness vs Roughness): 저자들은 스케일링 지수를 타겟 신호의 매끄러움(허스트 지수 $h$ )과 연결한다. 매끄러운 신호의 경우 $h=1$ 이지만, 난류와 같은 비매끄러운 과정의 경우 $h < 1$ 이다.
- 프랙탈 차원: Kolmogorov의 1941년(K41) 이론과 다중 프랙탈 모델을 사용하여, 저자들은 난류 흐름에서 신호의 거칠기와 에너지 소산의 프랙탈 특성으로 인해 유효 스케일링 지수가 더욱 감소함을 보여준다.
- LLM에 대한 시사점: 본 논문은 많은 복잡계(그리고 아마도 LLM이 처리하는 데이터들)가 비매끄럽다는 점을 주장한다. 이러한 "거칠기"는 고유 차원을 $1/h$ 배만큼 확대시켜, 결과적으로 더 낮은 스케일링 지수( $\alpha \sim 4h/d$ )를 초래한다.

주요 기여 및 결과

지속 불가능성 검증: 저자들은 작은 스케일링 지수( $\alpha < 0.1$ )가 단순히 조기 종료(early stopping)나 수치적 편향(페데스탈 효과)에 의한 인위적 결과가 아니라, 현재의 LLM 아키텍처 스케일링 효율성에 대한 근본적인 한계를 반영한다는 것을 확인한다.
페데스탈 효과의 정량화: 분석적 도출과 그래픽 표현(그림 1 및 2)을 통해, 저자들은 "페데스탈"(비제로 손실 극한)이 현실적인 데이터셋 크기에서 스케일링 동작을 지배하며, 대규모 응용 분야에서 잠재적인 높은 스케일링 지수(예: Chinchilla의 $\alpha \approx 1/3$ )를 효과적으로 가로막는다는 것을 보여준다.
차원 압축의 한계: LLM이 고차원 임베딩 공간( $D \sim$ 수천)을 저차원 고유 매니폴드( $d \sim 100$ )로 압축하는 놀라운 능력을 인정하면서도, 저자들은 고유 차원 $d > 40$ 인 모든 데이터셋에 대해 스케일링 지수가 필연적으로 0.1 미만으로 떨어질 것임을 계산한다.
데이터 거칠기의 영향: 본 논문은 비매끄러운 데이터(특성 $h < 1$ 로 정의됨)가 문제를 악화시켜, 매끄러운 데이터에 비해 더 낮은 스케일링 지수와 더 큰 자원 비효율성을 초래한다는 점을 확립한다.

의의 및 결론
본 논문은 "벽이 없음"에 대한 열광에 기반한 "클수록 좋다"는 전략이 "에너지 고갈을 향한 확실한 레시피"라고 결론짓는다. 저자들은 현재의 스케일링 영역이 고유 차원이 40을 초과하는 데이터셋에 대해 수학적으로 지속 불가능하며, 이는 대부분의 복잡한 실제 응용 분야에서 충족되는 조건이라고 단언한다.

이 연구의 의의는 단순히 모델 크기를 키우는 것에서 벗어나 "물리적 통찰력과 세계 모델(world models)과의 부합"을 추구하는 방향으로 초점을 전환했다는 데 있다. 저자들은 향후의 경로가 파라미터와 데이터 양의 순수한 물리적 힘(muscular leverage)에 의존하는 것이 아니라, 복잡한 데이터의 고유 차원과 거칠기를 지속 불가능한 스케일링 법칙에 의존하지 않고 더 잘 다룰 수 있는 기초적이고 물리 법칙을 준수하는 AI 모델(소위 "세계 모델")로 나아가는 것이라고 제안한다.