🤖 machine learning

Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study

본 연구는 18개의 데이터셋과 6개의 모델 제품군에 걸친 11,536회의 훈련 실행을 대상으로 한 대규모 클래스-분산 벤치마크를 제시하며, 대부분의 정형 데이터 모델에 대해 멱법칙이 근사적으로 공유된 지수를 가진 학습 곡선을 효과적으로 설명하는 반면, 상당한 분산은 무작위 시드가 아닌 구현 세부 사항으로 인해 지속된다는 점을 입증한다.

원저자: Kaihua Ding

게시일 2026-07-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kaihua Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 결정을 내리는 법을 가르치려 한다고 상상해 보세요. 예를 들어 고객이 제품을 구매할지, 혹은 대출금을 상환할지를 예측하는 법 말입니다. 오랫동안 과학자들은 거대한 신경망—챗봇이나 이미지 생성기를 구동하는 거대하고 뇌와 같은 컴퓨터들—에 대한 "스케일링 법칙(scaling laws)"에 집착해 왔습니다. 그들은 하나의 마법 같은 규칙을 발견했습니다. 만약 이 거인들에게 더 많은 데이터, 더 많은 뇌세포, 그리고 더 많은 컴퓨팅 파워를 제공한다면, 이들의 실수는 마치 언덕을 내려가는 미끄럼틀처럼 완벽하게 예측 가능한 방식으로 줄어든다는 것입니다. 이 규칙은 너무나 중요해져서, 기업들은 얼마나 많은 데이터를 사야 할지 계산하기 위해 수백만 달러를 들여 비용을 지불하기도 합니다.

하지만 여기 반전이 있습니다. 현실 세계의 대부분은 거대한 신경망으로 돌아가지 않습니다. 그것은 "표 형식의 데이터(tabular data)"로 돌아갑니다. 스프레드시트를 생각해 보세요. 고객의 연령, 소득, 구매 이력 등이 담긴 행과 열 말입니다. 이것은 보험 가격 책정부터 판매 예측에 이르기까지 비즈니스의 핵심입니다. 이러한 작업들을 위해서는 화려한 거물들보다 의사결정 나무(decision trees)나 선형 모델(linear models) 같은 더 단순하고 오래된 도구들이 종종 더 효과적입니다. 여기서 중요한 질문은, 이 단순한 도구들도 "데이터가 많아지면 실수가 줄어든다"는 동일한 마법의 규칙을 따르는가 하는 점입니다. 만약 그렇다면, 그 규칙은 모두에게 동일한가, 아니면 사용하는 특정 스프레드시트에 따라 달라지는가? 지금까지는 이 규칙이 유효한지 확인하기 위해 대규모로 테스트를 수행한 사람이 없었습니다.

이 논문은 바로 이 질문에 답하기 위해 설계된, 교실 규모의 거대한 실험입니다. 단일 연구팀이 몇 번의 테스트를 수행하는 대신, 저자는 대학원 머신러닝 과정의 학생 127명을 독립적인 과학자로 배치했습니다. 각 학생에게는 특정한 규칙이 주어졌고, 세 가지 서로 다른 실제 데이터셋(예: 신용카드 연체 또는 주택 가격)이 배정되었습니다. 학생들은 아주 적은 양의 데이터에서 시작하여 점진적으로 데이터를 늘려가며, 여섯 가지 유형의 "고전적" 머신러밀닝 모델을 훈련시켜 오류율이 어떻게 변하는지 관찰해야 했습니다. 총 11,000회 이상의 훈련 세션이 실행되었으며, 이를 통해 단순한 수학 공식이 모델의 학습 능력을 얼마나 잘 예측할 수 있는지 확인하기 위한 방대한 결과 라이브러리가 구축되었습니다.

결과는 놀라울 정도로 명확했지만, 몇 가지 중요한 주의 사항이 있었습니다. 첫째, "마법의 공식"(멱법칙, power law)은 대부분의 모델에서 매우 잘 작동했습니다. 저자들은 약 78%의 실험에서 이 공식이 데이터에 매우 잘 부합하여, 데이터가 추가됨에 따라 오류가 얼마나 감소할지를 정확하게 예측할 수 있다는 것을 발견했습니다. 그러나 모든 모델이 똑같은 것은 아니었습니다. "트리 기반(tree-based)" 모델(부스팅 및 랜덤 포레스트 등)이 챔피언이었으며, 지속적으로 다른 모델들보다 우수한 성능을 보이며 가장 낮은 오류율에 도달했습니다. 반면, 라쏘 회귀(Lasso regression)와 같은 일부 모델은 규칙을 전혀 따르지 못했고, 종종 평균값만을 예측하며 데이터 크기를 무시하는 모습을 보였습니다.

또한 이 연구는 흥고로운 질문을 다루었습니다. "모델의 종류와 상관없이, 모델 군(family) 전체에 적용되는 단 하나의 '학습 속도'가 존재하는가?" 이에 대한 답은 "어느 정도 그렇다"입니다. 다섯 가지 모델 군에 대해, 학생들은 하나의 평균적인 "학습 속도"(지수)가 각 데이터셋마다 고유한 속도를 계산하는 것만큼이나 모델의 행동을 잘 예측할 수 있다는 것을 발견했습니다. 이는 마치 특정 브랜드의 모든 자동차가 도로 상황이 변하더라도 대략 비슷한 가속도를 가진다고 말하는 것과 같습니다. 하지만 이것이 완벽한 보편 법칙은 아닙니다. 적합도가 완벽하지는 않으며, 릿지 회귀(Ridge regression)와 같은 일부 모델의 경우 "속도"가 너무 불안정하여 신뢰할 수 없었습니다.

아마도 가장 놀라운 발견은 데이터에 관한 것이 아니라, 작업을 수행한 인간에 관한 것이었을 것입니다. 모든 학생에게 동일한 지침과 동일한 랜덤 시드(디지털 시작점)가 주어져 결과가 동일해야 했음에도 불구하고, 그들의 최종 답변은 여전히 약간씩 차이가 있었습니다. 저자들은 결측치를 처리하거나 텍스트를 인코딩하는 방식에서 발생하는 미세하고 피할 수 없는 차이로 인한 "인간 구현 노이즈(human implementation noise)"를 계산했으며, 이로 인해 결과에 약 14%의 변동이 발생한다는 것을 찾아냈습니다. 이는 단일 연구팀이 특정 스케일링 법칙을 발견했다고 주장할 때, 데이터 자체가 아니라 실험 설정 방식 자체에서 오는 약 14%의 "모호함"이 내재되어 있음을 시사합니다.

결국, 이 논문은 표 형식 데이터의 세계를 위한 실질적인 지도를 제공합니다. 이 논문은 대부분의 비즈니스 문제에서 슈퍼컴퓨터가 필요하지 않으며, 잘 튜닝된 트리 모델이 승리할 가능성이 높다는 점을 확인해 줍니다. 또한 "데이터 쇼핑 리스트"를 제공하여, 몇몇 흔한 문제의 경우 높은 정확도에 도달하기 위해 수백 행의 데이터만 필요할 수도 있고, 어떤 경우에는 수만 행이 필요할 수도 있음을 추정해 줍니다. 하지만 우리에게 겸손할 것을 경고하기도 합니다. 규칙은 절대적인 것이 아니라 근사치이며, 데이터를 준비하는 방식이 데이터 자체만큼이나 불확실성을 초래할 수 있기 때문입니다. 이는 머신러닝의 세계에서 가장 단순한 스프레드시트조차도 자신만의 복잡하고, 약간은 무질서하지만, 궁극적으로는 예측 가능한 리듬을 가지고 있다는 사실을 상기시켜 줍니다.

기술 요약: 정형 데이터를 위한 고전적 머신러닝의 스케일링 법칙 (Scaling Laws)

문제 정의
경험적 스케일링 법칙(데이터 크기에 따른 테스트 손실의 멱함수 감소)이 거대 신경망 설계의 핵심이 된 반면, 정형 데이터에 대한 고전적 머신러닝(ML)에서의 동작은 여전히 충분히 규명되지 않은 상태로 남아 있다. 트리, 선형 및 커널 모델의 학습 곡선에 관한 기존 연구들은 존재하지만, 소규모 규모(단일 팀, 소수의 데이터셋)에 국한되어 있다. 고전적 모델들이 예측 가능한 멱법칙을 따르는지, 모델군 내에서 지수(exponent)가 공유되는지, 그리고 구현 차이로 인해 발생하는 추정치의 분산이 어느 정도인지에 대한 교차 재현 증거가 부족하다.

방법론
본 연구는 127명의 대학원생이 참여하는 분산된 강의실 규모의 재현 프로토콜을 채택한다.

데이터셋: 303개에서 53,940개의 행으로 구성된 18개의 큐레이션된 정형 데이터셋(분류 10개, 회귀 8개)을 사용하며, 신용 리스크, 헬스케어, 이커머스 등의 도메인을 포괄한다.
모델: scikit-learn의 6가지 고전적 모델군(Boosting, Random Forest, SVM (RBF), Linear/Logistic Regression, Ridge, Lasso)을 사용한다.
프로토콜:
- 데이터 크기 효과를 격리하기 위해 하이퍼파라미터를 고정함(개별 N당 튜닝 없음).
- 데이터셋당 단일 80/20 훈련/테스트 분할(seed=42)을 적용함.
- 훈련 폴드의 7개 중첩 서브셋(비율: 0.01 ~ 1.00)에서 학습함.
- 오차 지표: 분류에는 $1 - \text{AUROC}$ , 회귀에는 정규화된 RMSE를 사용함.
피팅(Fitting): 각 (학생, 데이터셋, 모델) 트리플에 대해 7개의 데이터 포인트를 비선선형 최소제곱법을 사용하여 3-파라미터 가법 멱법칙(additive power law), $\text{error}(N) = aN^{-b} + c$ 에 적합시킴.
집계: 풀링된 피팅(모든 학생의 포인트를 결합) 및 분율별 평균을 통해 결과를 집계함. 교차 학생 분산은 지수 $b$ 의 변동 계수(CV)로 측정함.

주요 기여

대규모 경험적 벤치마크: 본 연구는 11,536회의 훈련 실행과 1,648개의 성공적인 스케일링 곡선을 생성하여, 고전적 ML 스케일링에 대한 최초의 교차 재현 관점을 제공한다.
근사적 예측 압축성(Approximate Predictive Compressibility): 단일 "보편적" 지수는 엄격하게 존재하지 않지만(데이터셋별 피팅이 통계적으로 선호됨), 단일 모델군 수준의 지수가 최소한의 예측력 손실로 교차 데이터셋 곡선을 예측할 수 있음을 입증한다(5개 모델군에서 $R^2$ 차이 < 0.011). 이는 데이터셋 독립적인 보편성이 아닌 "근사적 예측 압축성"으로 프레임화된다.
구현 분산의 정량화: random_state=42를 고정함으로써, 무작위 시드 분산이 아닌 제어되지 않은 프로토콜 요소(전처리, 인코딩, 결측치 처리)로 인해 유도된 분산을 격리한다. 연구 결과, 지수 $b$ 의 평균 CV는 0.144로 나타났다.
실무적 데이터 요구량 표: 저자들은 목표 오차 0.15에 도달하는 데 필요한 샘플 크기( $N^\star$ )에 대한 풀링된 피팅 추정치를 제공하며, 불가피한 오차 하한( $c$ )으로 인해 목표 달성이 불가능한 경우를 명시한다.

결과

피팅 품질: 가법 멱법칙은 잘 부합하며, 77.7%의 셀에서 $R^2 > 0.8$ 을 기록했다. 트리 앙상블(Boosting, Random Forest)과 SVM이 가장 깨끗한 피팅을 보여준다. Ridge와 Lasso는 성능이 저조하다. Lasso는 종종 저데이터 영역에서 계수를 0으로 축소시키기 때문에 멱법칙 피팅에 실패하며, Ridge는 특정 사례에서 비단조적(non-monotonic) 동작을 보인다.
스케일링 지수 ( $b$ ):
- 트리 앙상블은 중간 정도의 지수를 보인다 (Random Forest 중앙값 $\tilde{b} \approx 0.325$ ; Boosting $\tilde{b} \approx 0.480$ ).
- 분류에서의 선형 모델은 더 큰 지수( $\tilde{b} \approx 0.830$ )를 가지며, 이는 높은 초기 오차 대비 데이터 포인트당 오차 감소 속도가 빠름을 나타낸다.
- 양호한 피팅 전체의 중앙 지수는 0.495이다.
불가피한 오차 ( $c$ ): 트리 앙상블은 가장 낮은 오차 하한을 달enc한다 (예: Random Forest 중앙값 $c \approx 0.110$ ). 선형 모델은 낮은 하한을 가지지만, 이는 높은 $b$ 가 오차를 빠르게 낮추기 때문이다. 절대적인 관점에서 선형 모델은 전체 데이터 확보 시 트리 앙상블보다 성능이 떨어지는 경우가 많다.
모델 순위 (전체 데이터 기준): Boosting이 50%의 데이터셋에서 승리하며, 그 뒤를 Random Forest(33%)가 잇는다. 선형 모델과 SVM은 중간 순위이며, Ridge와 Lasso는 승리 횟수 0%를 기록했다.
공유 지수: 단일 지수 $b_{\text{model}}$ 을 모든 데이터셋에 공유하여 공동 피팅을 수행하는 것은 Boosting, Random Forest, SVM, Linear 모델에 대해 데이터셋별 피팅만큼이나 잘 작동한다 (LODO $R^2$ 차이 $\le 0.012$ ). Ridge는 취약하며 (LODO CV 0.96), Lasso는 완전히 실패한다.
분산: 지수에서 나타난 14.4%의 CV는 구현 세부 사항(시드가 아닌 프로토콜)이 스케일링 법칙 추정에 상당한 영향을 미친다는 점을 강조한다. 분산은 작은 $N$ 에서 가장 높았다.

의의 및 주장
본 논문은 주된 기여가 멱법칙을 고전적 모델에 적용하는 참신함보다는 재현의 규모와 프로토콜 수준의 재현성 관점에 있다고 명시한다.

실무자를 위한 시사점: 기본 튜닝된 트리 앙상블이 정형 작업에서 우세하며, 스케일링 지수와 불가피한 오차 하한 사이에서 최적의 트레이드오프를 제공한다. 본 연구는 구체적인 데이터 요구량 추정치(예: 특정 작업을 위한 ~200–500개 행)를 제공하며, 일부 셀에서는 더 많은 데이터가 높은 오차 하한( $c \ge 0.15$ )을 극복할 수 없음을 경고한다.
이론을 위한 시사점: 고전적 정형 모델은 일반적으로 거대 신경망( $b \approx 0.07\text{--}0.35$ )보다 큰 스케일링 지수( $b \approx 0.3\text{--}0.8$ )를 보이며, 이는 고전적 모델의 각 행이 트랜스포머의 각 토큰보다 더 많은 오차 감소를 제공함을 시사한다. 그러나 과잉 매개변수화된 언어 모델과 달리, 정형 ML에서는 불가피한 오차 하한이 핵심적인 제약 요인이다.
방법론적 통찰: 본 연구는 명목상 준수된 재현 구현들 사이에서 보고된 지수의 분산을 일급 변수로 취급한다. 이는 단일 그룹 스케일링 연구가 프로토콜 드리프트로 인한 약 14%의 지수 추정 하한을 수용할 수 있을 만큼 넓은 불확실성 구간을 보고해야 함을 시사한다.

저자들은 지수의 보편성을 주장하는 것이 아니라, 공유된 지수가 비록 데이터셋별 이질성이 통계적으로 유의미할지라도 계획 수립에 유용한 "근사적 예측 압축성"을 제공한다는 점을 입증하고자 한다.

기술 요약: 정형 데이터를 위한 고전적 머신러닝의 스케일링 법칙 (Scaling Laws)

유사한 논문