💻 computer science

What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

이 논문은 파라미터와 연산량을 산정하는 회계 관행의 변화가 연산 최적화 훈련 프런티어의 적합 지수를 크게 변화시키지만, 손실 지형의 평탄함으로 인해 결과적인 실질적 훈련 효율에 미치는 영향은 미미하며, 구체적인 회계 방식은 단순한 아키텍처 비율로부터 예측 가능하다는 점을 입증한다.

원저자: Alexander Memming

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexander Memming

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 완벽한 케이크를 굽고 싶어 하는데 레시피가 없다고 상상해 보세요. 당신은 맛이 두 가지 요소, 즉 밀가루를 얼마나 사용하는지(케이크의 크기)와 얼마나 오래 굽는지(굽는 시간)에 달려 있다는 것을 알고 있습니다. 인공지능의 세계에서 과학자들은 거대한 뇌와 같은 컴퓨터인 '트랜스포머'를 훈련시키기 위한 완벽한 '레시피'를 찾으려고 노력하고 있습니다. 그들은 다음과 같은 질문을 던집니다. 만약 전기와 컴퓨터 사용 시간에 쓸 수 있는 돈이 정해져 있다면, 아주 작은 뇌를 만들어 엄청난 양의 데이터를 먹여야 할까요, 아니면 거대한 뇌를 만들어 아주 적은 양의 데이터만 먹여야 할까요?

이를 알아내기 위해 연구자들은 수학을 사용해야 합니다. 그들은 '재료'(뇌의 크기)와 '노력'(컴퓨터 작업량)을 계산합니다. 하지만 까다로운 점은, 제빵사가 밀가루의 무게만 잴 것인지 아니면 그릇의 무게까지 포함할 것인지에 따라 '컵 단위'를 다르게 세는 것과 마찬가지로, AI 과학자들도 '재료'와 '노력'을 서로 다른 방식으로 계산한다는 것입니다. 어떤 이들은 뇌의 모든 부분을 하나하나 세는 반면, 어떤 이들은 주요 사고 부분만을 셉니다. 어떤 이들은 가공되지 않은 수학 연산 횟수를 세는 반면, 어떤 이들은 컴퓨터가 실제로 작동한 시간을 셉니다. 수년 동안 사람들은 우리가 연구하는 뇌들이 너무나 거대해서 그 추가적인 부분들이 미미하기 때문에 이런 계산 방식의 차이가 별로 중요하지 않다고 가정해 왔습니다. 하지만 만약 당신이 거대한 웨딩 케이크가 아니라 작은 컵케이크를 굽고 있다면 어떨까요? 재료를 세는 방식이 갑자기 레시피를 바꿔놓게 될까요?

독립 연구자인 알렉산더 메밍(Alexander Memming)이 작성한 이 논문은 바로 그 질문을 던집니다. 저자는 추측하는 것을 멈추고 측정을 시작하기로 했습니다. 거대 기업들만이 감당할 수 있는 거대하고 비싼 AI 모델을 보는 대신, 메밍은 35개의 작고 관리 가능한 AI 모델 그리드를 구축했습니다. 그는 이 모델들을 모두 동일한 교육용 텍스트로, 동일한 규칙을 사용하여 훈련시켰지만, '크기'와 '비용'을 세는 방식만을 바꾸어 결과를 네 가지 방식으로 분석했습니다.

이 발견은 마치 당신의 주방 저울이 작은 양을 잴 때만 거짓말을 하고 있다는 사실을 발견한 것과 비슷합니다. 논문에 따르면, 기존의 단순한 방식(뇌의 '출력 헤드'를 무시하는 방식)을 사용할 경우, 수학적 계산은 당신이 더 정밀한 측정값보다 약 19배 더 작은 모델을 만들어야 한다고 제안합니다. 즉, 어떤 '자(ruler)'를 사용하느냐에 따라 권장되는 레시피가 크게 달라진다는 것입니다. 모델이 얼마나 빨리 성장해야 하는지를 알려주는 지수인 지수(exponent)는 계측 방법만 바뀌었을 뿐인데 0.25에서 0.42로 변했습니다. 이는 매우 큰 차이이며, 두 명의 과학자가 정확히 동일한 훈련 과정을 관찰하고 있더라도 서로 다른 정의를 사용했다는 이유만으로 완전히 다른 '최적의' 레시피를 발표할 수 있음을 시사합니다.

하지만 실제로 이러한 모델을 만드는 사람들에게 이 상황이 덜 무섭게 느껴지게 만드는 반전이 있습니다. 종이 위에서는 레시피가 매우 달라 보였지만, 실제 만들어진 '케이크'의 맛은 거의 비슷했다는 점입니다. 저자는 최상의 성능을 내는 '골짜기'가 매우 평평하다는 것을 발견했습니다. 이는 만약 당신이 잘못된 레시피(기존의 단순한 계측법에 기반한 레시피)를 따른다 하더라도, 예산을 통째로 날리지는 않는다는 것을 의미합니다. 약 18%의 컴퓨팅 자원을 낭비할 수는 있겠지만, 최종 결과물은 여전히 최상의 결과에 매우 근접해 있습니다. 이 논문은 과학자들이 서로를 동일한 기준으로 비교할 수 있도록 숫자를 보고할 때 매우 주의해야 하지만, 계측을 약간 틀렸을 때 발생하는 실질적인 비용은 놀라울 정도로 작다고 결론짓습니다. '완벽한' 레시피는 목표가 계속 움직이는 대상이지만, '충분히 좋은' 레시피의 범위는 우리가 생각했던 것보다 훨씬 넓습니다.

기술 요약: 무엇이 연산량(Compute)인가? 컴퓨트 최적 트랜스포머 학습의 회계 관행에 대한 경험적 분석

문제 제기
트랜스포머를 위한 컴퓨트 최적(compute-optimal) 학습 레시피를 도출하는 과정에는 두 가지 결정적이지만 종종 암묵적으로 처리되는 선택 사항이 포함된다: "모델 크기"(무엇을 파라미터로 간주할 것인가)를 정의하는 것과 "연산량"(무엇을 학습 비용으로 간주할 것인가)을 정의하는 것이다. 이 분야에서 가장 많이 인용되는 두 연구인 Kaplan et al. [2020]과 Hoffmann et al. [2022]는 서로 다른 선택을 했다: 전자는 임베딩을 제외한 파라미터만을 계산한 반면, 후자는 전체 파라미터를 계산했다. 두 연구 모두 $C \approx 6ND$ (여기서 $N$ 은 파라미터, $D$ 는 토큰) 근사치를 사용했으며, 출력 소프트맥스 프로젝션(output softmax projection)과 어텐션 메커니즘의 계산 비용은 무시했다.

이러한 근사치는 프런티어급 모델(예: GPT-3, Chinchilla)에서는 임베딩 및 출력 헤드 오버헤드가 미미하기 때문에 유효하지만, 학술 및 소규모 연구 수준에서 접근 가능한 작은 규모의 모델에서는 실패한다. 이 규모에서는 출력 프로젝션이 학습 FLOPs의 대부분을 소비할 수 있으며, 임베딩 파라미터가 파라미터 수에서 지배적인 비중을 차지할 수 있다. 본 논문은 다음과 같은 질문을 던진다: 만약 실제 학습 실행(training runs)은 고정된 상태에서 회계 관행(accounting convention)이 변한다면, 보고된 컴퓨트 최적 프런티어(구체적으로 $N^* \propto C^a$ 에서의 지수 $a$ 와 파라미터당 토큰 비율)는 얼마나 이동하는가? 또한, 차선책인 관행을 따랐을 때 발생하는 실질적인 손실은 얼마인가?

방법론
저자들은 회계 관행의 효과를 격리하기 위해 통제된 경험적 스윕(empirical sweep)을 수행했다.

모델 패밀리: 35개의 디코더 전용 트랜스포머를 FineWeb-Edu 데이터셋으로 학습시켰다. 모델은 0.056M에서 5.98M의 비임베딩 파라미터( $N_{ne}$ ) 범위를 가지며, 너비 $d \in \{48, \dots, 288\}$ 와 너비에 연동된 깊이( $L = \max(2, d/48)$ )를 가졌다.
어휘집 및 연산량: 임베딩/출력 헤드 오버헤드의 비율을 16배까지 변화시키기 위해 두 가지 BPE 어휘 크기( $V=2048$ 및 $V=8192$ )에서 실험을 진행했다. 학습 연산량은 5.8배의 범위에 걸쳐 변화했다.
통제 변수: 이전 스케일링 연구(예: Porian et al. [2024])에서 식별된 혼란 변수를 제거하기 위해, 저자들은 자체 스윕을 통해 학습률을 보정하고, 러닝 길이에 맞춰 코사인 스케줄을 일치시켰으며, 데이터 반복이 없도록 보장하고, 일관된 옵티마이저와 토크나이저를 사용했다.
네 가지 회계 관행: 동일한 35개의 실행(run)을 네 가지 다른 크기( $N$ $N$ ) 및 비용( $C$ $C$ ) 정의에 따라 분석했다:
1. K (Kaplan): $N = N_{ne}$ , $C = 6N_{ne}D$ .
2. H (Hoffmann): $N = N_{tot}$ (전체 파라미터), $C = 6N_{tot}D$ .
3. F (Exact FLOP): $N = N_{ne}$ , $C = C_{exact}$ (어텐션 행렬 곱셈 및 출력 소프트맥스 포함).
4. W (Wall-clock): $N = N_{ne}$ , $C = C_{sec}$ (측정된 장치 시간).
분석: 저자들은 데이터에 표준적인 가법적 손실 표면( $L = E + A/N^\alpha + B/D^\beta$ )을 피팅하였고, 각 관행에 따른 컴퓨트 최적 프런티어를 도출했다. 또한, 아키텍처 자체에서 계산 가능한 두 가지 탄력성(elasticity)을 기반으로 지수의 변화를 예측하는 폐쇄형 관계식(closed-form relation)을 도출했다.

주요 결과

변화의 크기: 동일한 데이터셋에 대해 회계 관행을 변경했을 때, 피팅된 지수 $a$ 는 0.25에서 0.42 사이로 크게 변했다. 이에 따른 파라미터당 토큰 비율은 관행에 따라 19배까지 차이가 났다.
"헤드"의 지배력: 작은 규모에서 불일치를 일으키는 주요 동인은 어텐션이 아니라 출력 소프트맥스 프로젝션이다. 가장 작은 모델( $d=48, V=8192$ )에서 출력 헤드는 학습 FLOPs의 83%를 소비하며, 이는 $6ND$ 근사치가 실제 비용을 최대 8.5배까지 과소평가하게 만든다.
예측 정확도: 두 가지 탄력성( $\kappa_c$ 및 $\gamma_c$ )으로부터 도출된 폐쇄형 관계식은 수치적 피팅값과 0.105 이내의 오차로 네 가지 관행 중 세 가지의 피팅된 지수를 성공적으로 예측했다. 이는 이러한 변화가 노이즈가 아니라, 회계 선택에 따른 결정론적인 산술적 결과임을 확인시켜 준다.
순서: 관행들은 일관되게 $a_H < a_K < a_F$ (여기서 $H$ 는 전체 파라미터, $K$ 는 비임베딩 및 $6ND$, $F$ 는 정확한 FLOPs) 순서로 나타났으며, 이는 이론적 예측과 일치한다.
실질적 비용 (비대칭성): 보고된 지수와 최적 비율의 큰 불일치에도 불구하고, "잘못된" 관행을 따랐을 때의 실질적 비용은 완만하다. IsoFLOP 손실 골짜기가 평탄하기 때문에, 차선책인 관행을 따르는 것은 컴퓨트 예산의 최대 18%(토큰당 0.031 nats)를 낭비하는 것에 불과하다. 세 가지 FLOP 기반 관행은 컴퓨트 등가 측면에서 5% 이내의 차이를 보였다.

의의 및 주장
본 논문은 특정 회계 관행(파라미터 정의 및 비용 지표)이 명시적으로 기술되지 않는 한, 보고된 컴퓨트 최적 지수는 연구 간에 비교할 수 없다고 주장한다. 이러한 발산은 학술적 스케일링 실험이 주로 수행되는 영역, 즉 오버헤드 비율이 무시할 수 없는 수준인 영역에서 가장 크게 나타난다.

그러나 본 논문은 지수의 절대값에 대해서는 겸허한 태도를 취하며, 지수는 보편적인 상수가 아니라 특정 데이터, 아키텍처, 최적화 프로토콜의 속성임을 명시한다. 주요 기여는 구조적이다:

연구자들이 관행 간에 지수를 변환할 수 있게 하는 변환 규칙(Eq. 12)을 제공한다.
$a+b=1$ 여부를 확인하여 연구가 $6ND$ 근사를 가정했는지 식별하는 진단 도구를 제공한다.
회계 선택이 보고된 지표에 큰 수치적 불일치를 만들지만, 손실 지형(loss landscape)이 충분히 평탄하기 때문에 이러한 불일치에 따른 실질적인 페널티는 작다는 것을 입증한다.

저자들은 재현성과 비교 가능성을 보장하기 위해 업계가 회계 관행을 명시적으로 보고해야 한다고 결론짓는다. 다만, 권장되는 레시피의 미세한 편차에 대해 실무자들이 당황할 필요는 없는데, 이는 "컴퓨트 최적 골짜기(compute-optimal valley)"가 매우 관대하기 때문이다.

유사한 논문