📊 statistics

To Grok Grokking: Provable Grokking in Ridge Regression

이 논문은 과잉 매개변수화된 선형 회귀 모델이 경사 하강법과 가중치 감쇠를 통해 훈련될 때 과적합에서 완벽한 일반화로 필연적으로 전이됨을 증명함으로써 '그로킹 시간(grokking time)'에 대한 최초의 엄격한 정량적 경계치를 제공하며, 이 현상이 딥러닝의 내재적 결함이 아니라 훈련 조건의 통제 가능한 결과임을 입증한다.

원저자: Mingyue Xu, Gal Vardi, Itay Safran

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingyue Xu, Gal Vardi, Itay Safran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생에게 수학 문제를 푸는 법을 가르치고 있다고 상상해 보세요. 당신은 그들에게 특정한 연습 문제 세트(훈련 데이터)와 규칙집(학습 알고리즘)을 줍니다.

보통 우리는 학생이 연습을 더 많이 할수록 새로운 문제를 더 잘 풀게 될 것(일반화)이라고 기대합니다. 하지만 때때로 이상한 일이 일어납니다. 학생이 연습 문제를 완벽하게 암기하여 100점을 받지만... 아무 일도 일어나지 않는 것입니다. 그들은 연습 문제에서는 계속 100점을 유지하지만, 새로운 시험을 치르면 처참하게 실패합니다. 그들은 이 "암기는 했으나 갈피를 못 잡는" 상태에 아주 오랫동안 갇혀 있습니다.

그러다 갑자기, 끝없는 정체기처럼 보였던 시간 끝에 학생에게 "아하!" 하는 순간이 찾아옵니다. 단순히 암기하는 것을 넘어 밑바탕에 깔린 논리를 실제로 이해하기 시작한 것입니다. 갑자기 그들은 새로운 시험에서도 만점을 받습니다.

이 현상을 **"그로킹(Grokking)"**이라고 부릅니다. 이는 마치 학생이 수업 중에 잠들어 있다가, 단순히 답을 기계적으로 외우다가 몇 년이 지난 후에야 마침내 개념을 깨달은 것과 같습니다.

이 논문의 위대한 발견

오랫동안 과학자들은 이 "그로킹"이 오직 매우 복잡하고 신비로운 AI 시스템(심층 신경망 같은)에서만 일어난다고 생각했습니다. 그들은 이것이 현대 기술의 기이한 결함이라고 생각했습니다.

하지만 이 논문은 다음과 같이 말합니다: "잠깐만요. 이런 일이 일어나기 위해 반드시 슈퍼컴퓨터가 필요한 것은 아닙니다."

저자들은 그로킹이 가장 단순하고 고전적인 수학 문제인 **릿지 회귀(Ridge Regression)**에서도 일어날 수 있음을 증명했습니다. 이것은 점들의 구름 사이로 선을 긋는 매우 기초적이고 선형적인 방식입니다. 이는 머신러닝의 "Hello World"라고 할 수 있습니다.

그들은 이 단순한 도구를 사용하더라도, 설정을 적절하게 조절하기만 하면 모델이 다음과 같이 하도록 강제할 수 있음을 보여주었습니다:

데이터를 빠르게 암기한다 (과적합).
새로운 데이터를 이해하지 못한 채 오랫동안 헤맨다 ("그로킹 시간").
갑자기 이해하고 완벽하게 일반화한다.

핵심 비결: "가중치 감쇠(Weight Decay)" 노브

논문은 이 지연 현상의 주요 원인으로 **가중치 감쇠(Weight Decay)**라는 설정값을 지목합니다.

당신이 목적지(정답)를 향해 자동차(모델)를 운전하고 있다고 상상해 보세요.

훈련 데이터는 당신이 이전에 운전했던 특정 경로의 지도입니다.
가중치 감쇠는 자동차가 경로에서 너무 멀리 벗어나지 않도록 끊임없이 도로 중앙으로 밀어내려는 부드러운 손길과 같습니다.

이 논문이 발견한 바에 대한 비유는 다음과 같습니다:

빠른 차선 (훈련 오차): 자동차가 익숙한 도로(훈련 데이터) 위에 있을 때, 자동차는 매우 빠르게 앞으로 나아갑니다. 핸들에 가해지는 부드러운 손길(작은 가중치 감쇠)이 있어도 자동차는 도로에 완벽하게 맞춥니다. 운전자는 "잘하고 있어!"라고 생각합니다.
갇힌 단계 (그로킹 시간): 하지만 운전자가 익숙한 도로를 떠나 새로운 도로를 달리려 할 때, 자동차는 갇히게 됩니다. "핸들 위의 손(가중치 감쇠)"은 자동차를 예전 경로의 깊은 바퀴 자국에서 끌어내기에 너무 약합니다. 자동차는 움직이고는 있지만, 단지 예전 경로의 진흙 속에서 바퀴를 헛돌리고 있을 뿐입니다. 자동차가 그 바퀴 자국에서 천천히 빠져나오는 데는 아주 오랜 시간이 걸립니다.
돌파구: 결국, 부드러운 손(가중치 감쇠)이 제 역할을 합니다. 그 손은 자동차를 서서히 바퀴 자국에서 끌어올려 도로 중앙으로 가져다 놓습니다. 일단 자동차가 중앙에 위치하면, 이제 어떤 새로운 도로에서도 매끄럽게 달릴 수 있습니다.

이 논문이 증명하는 것

저자들은 단순히 이 현상을 관찰한 것이 아니라, 자동차가 진흙 속에 얼마나 오래 갇혀 있을지를 정확히 예측할 수 있는 수학적 레시피를 작성했습니다.

가중치 감쇠가 작을수록: 자동차가 더 오래 갇혀 있습니다. 만약 "핸들 위의 손"을 거의 끄는 수준으로 낮춘다면, 자동차는 일반화하기까지 믿을 수 없을 정도로 긴 시간을 갇혀 있을 수 있습니다.
데이터가 많을수록: 지도가 거대할수록(많은 훈련 데이터), 바퀴 자국이 더 깊어지기 때문에 자동차는 더 빨리 갇힙니다.
차원이 높을수록: 도로가 매우 넓고 복잡할수록, 자동차는 중심을 찾는 데 더 오랜 시간이 걸립니다.

이것이 중요한 이유

이 논문은 그로킹이 "딥 러닝"의 마법 같은 실패라거나 AI가 고장 났다는 신호가 아니라고 주장합니다. 그것은 버그가 아니라, 특정 훈련 조건이 작동하는 방식의 한 특징입니다.

이는 마치 "학생에게 생각할 여지를 주지 않고 답만 외우도록 가르친다면, 결국 이해는 하겠지만 시간이 아주 오래 걸릴 것이다"라고 말하는 것과 같습니다. 이 논문은 가중치 감쇠와 같은 "하이퍼파라미터(설정값)"를 조절함으로써, 그 지연 시간이 얼마나 오래 걸릴지를 정확히 제어할 수 있음을 보여줍니다. 당신은 똑같은 수학을 가지고도 학생이 즉시 깨닫게 만들 수도 있고, 혹은 몇 년 동안 기다리게 만들 수도 있습니다.

요약하자면: 이 논문은 이 기이한 "먼저 암기하고 나중에 이해하는" 행동이 복잡한 AI의 신비로운 현상이 아니라, 학습 알고리즘의 근본적인 속성임을 증명합니다. 이것은 가장 단순한 수학 수업에서도 일어나며, 우리는 이제 그 "이해"가 얼마나 지연될지를 정확히 계산할 수 있습니다.

기술 요약: Grok Grokking: 릿지 회귀에서의 증명 가능한 그로킹(Grokking)

문제 정의

본 논문은 모델이 완벽한 훈련 성능(과적합)을 달정한 훨씬 이후에 일반화가 시작되는 현상인 **그로킹(grokking)**을 조사한다. 이전에는 주로 복잡한 비선형 신경망과 알고리즘 데이터셋에서 관찰되었던 이 현상에 대해, 저자들은 고전적인 선형 설정에서 엄밀한 엔드 투 엔드(end-to-end) 이론적 보장을 확립하고자 한다. 구체적으로, 본 논문은 과적합과 일반화 사이의 "지연(delay)"을 공식적으로 증명하지 못하거나, 특정하고 일반화하기 어려운 문제 구조(예: 모듈로 덧셈)에 의존하는 기존 문헌의 공백을 다룬다. 핵심 질문은 **과잉 매개변수화된 릿지 회귀(over-parameterized ridge regression)**에서 그래디언트 디센트(GD)와 가중치 감쇠(weight decay)를 사용할 때 그로킹을 증명할 수 있는지, 그리고 그렇다면 하이퍼파라미터가 "그로킹 시간"을 어떻게 정량적으로 제어하는가이다.

방법론

저자들은 다음과 같은 교사-학생(teacher-student) 프레임워크 내에서 문제를 정식화한다:

설정: 학생 모델 $N(x; \theta) = \langle \theta, \phi(x) \rangle$ 가 실현 가능한 교사 함수 $N^*(x) = \langle \theta^*, \phi(x) \rangle$ 를 학습하는 과잉 매개변수화된 선형 회귀.
최적화: 학생은 고정된 스텝 사이즈 $\eta$ 와 $\ell_2$ 정규화 항(가중치 감쇠) $\lambda$ 를 사용하는 **그래디언트 디센트(GD)**를 사용하여 훈련된다. 목적 함수는 정규화된 평균 제곱 오차이다:
$L_n(\theta; \lambda) = \frac{1}{2n}\sum_{i=1}^n (N(x_i; \theta) - N^*(x_i))^2 + \frac{\lambda}{2}\|\theta\|_2^2$
분석 전략: 저자들은 파라미터 벡터 $\theta$ $θ$ 를 데이터 스팬(data span)에 대한 두 개의 직교 성분으로 분해한다:
1. $\theta_{\parallel}$ : 특징 행렬 $\Phi$ 의 행 공간(row space)에 있는 성분 (데이터 스팬 부공간).
2. $\theta_{\perp}$ : $\Phi$ 의 영 공간(null space)에 있는 성분 (보충 부공간).
이론적 접근: 증명은 훈련 손실(경험적 오차)과 일반화 손실(모집단 오차)의 수렴 속도를 각각 별도로 분석한다. 핵심 메커니즘은 $\theta_{\parallel}$ 는 훈련 데이터를 맞추기 위해 빠르게 수렴하는 반면, $\theta_{\perp}$ 는 가중치 감쇠로 인해 느리게 감소하여 일반화 성능이 낮은 기간을 연장시킨다는 것을 보여주는 데 있다.

주요 기여

최초의 엔드 투 엔드 증명 가능한 그로킹: 본 논문은 선형 설정에서 그로킹의 세 가지 뚜렷한 단계를 보여주는 최초의 엄밀한 정량적 경계(bounds)를 제공한다:
- (i) 훈련 데이터에 대한 빠른 과적합.
- (ii) 훈련 오차가 0임에도 불구하고 일반화 오차가 높게 유지되는 지속적인 지연.
- (iii) 결국 매우 작은 일반화 오차를 가진 모델로의 수렴.
그로킹 시간에 대한 정량적 경계: 저자들은 "그로킹 시간"( $t_2 - t_1$ $t_{2} - t_{1}$ )에 대한 명시적인 하한선을 도출하며, 여기서 $t_1$ $t_{1}$ 은 과적합 시간이고 $t_2$ $t_{2}$ 는 일반화 시간이다. 이 경계는 다음과 같이 하이퍼파라미터로 표현된다:
- 가중치 감쇠 ( $\lambda$ ): 그로킹 시간은 $\lambda$ 에 반비례하여 스케일링된다 ( $t_2 \propto 1/\lambda$ ). 작은 $\lambda$ 는 일반화를 크게 지연시킨다.
- 초기화 스케일 ( $\nu^2$ ): 초기화 스케일을 키우면 그로킹이 로그 단위로 증폭된다 ( $t_1, t_2 \propto \ln(\nu^2)$ ).
- 과잉 매개변수화: 이 현상은 고차원 설정( $m \gg n$ )이 필요함을 보여준다.
하이퍼파라미터 제어: 논문은 그로킹을 유도하거나 제거하기 위한 하이퍼파라미터(샘플 크기 $n$ , 특징 차원 $m$ , 가중치 감쇠 $\lambda$ , 초기화 $\nu^2$ )에 대한 충분 조건을 확립한다.
비선형 모델에 대한 경험적 검증: 이론은 선형 회귀를 위해 도출되었으나, 저자들은 하이퍼파라미터에 대한 정량적 의존성(예: $\lambda$ 가 지연에 미치는 영향)이 비선형 2층 ReLU 신경망에서 관찰되는 동작과 질적으로 일치함을 경험적으로 입증한다.

주요 결과

수렴 속도: 훈련 오차는 경험적 특징 공분산의 가장 작은 0이 아닌 고유값( $\lambda^+_{\min}(\Phi^\top \Phi)$ )에 의해 지배되는 속도로 수렴하며, 이는 매우 빠르다. 반면, 일반화 오차는 $(1 - \eta\lambda)^t$ 의 속도로 감소하는 항에 의해 하한이 결정되는데, 이는 작은 $\lambda$ 에 대해 임의로 느릴 수 있다.
그로킹 메커니즘: 지연은 GD가 훈련 손실을 최소화하기 위해 가중치를 데이터 스팬으로 투영하는 부분만을 효과적으로 업데이트하는 반면, 직교 성분(일반화 오차에 기여하는 부분)은 느린 가중치 감쇠를 통해서만 감소하기 때문에 발생한다.
정리(Theorems):
- 정리 4.1: 제로 교사(zero teacher)에 대한 그로킹을 확립하며, 손실 수렴에 대한 일치하는 상한 및 하한을 제공한다.
- 정리 4.2: 결과를 모든 실현 가능한 교사로 일반화하며, $t_1$ 과 $t_2$ 에 대한 명시적 경계를 제공한다 (식 6 및 7).
- 정리 4.4 & 4.5: 훈련 손실의 빠른 수렴과 낮은 일반화 성능의 지속성을 증명한다.
- 정리 4.6: GD가 결국 좋은 일반화 보장을 가진 전역 최솟값으로 수렴함을 증명한다.

의의 및 주장

본 논문은 그로킹을 이해하기 위한 기초적인 이론적 프레임워크를 제공한다고 주장한다. 선형 회귀라는 단순하고 투명한 설정에서 이 현상을 격리함으로써, 저자들은 다음과 같이 주장한다:

그로킹은 딥러닝 아키텍처나 비선형성의 고유한 실패 모드가 아니라, 특정 훈련 조건(특히 과잉 매개변수화와 작은 가중치 감쇠 사이의 상호작용)의 결과이다.
이 현상은 모델 아키텍처나 학습 알고리즘의 근본적인 변화를 요구하지 않으며, 하이퍼파라미터 튜닝을 통해 제어될 수 있다.
본 연구 결과는 이전 문헌에서 발견된 "레이지-투-리치(lazy-to-rich)" 레짐 전환과 같은 휴리스틱한 설명이나 경험적 관찰을 넘어, 지연에 대한 최초의 엄밀한 정량적 경계를 제공한다.
연구 결과는 분류에서 흔히 보이는 "테스트 오차 플래토(test error plateau)"(이산적 지표의 인위적 결과)가 임계값 기반 정확도 메트릭으로 평가되는 회귀에서도 존재함을 시사하며, 이를 통해 현상의 보편성을 확인한다.

저자들은 선형 분석이 엄밀한 증명을 제공하지만, 이러한 결과를 비실현적(non-realizable) 설정으로 확장하거나 딥 뉴럴 네트워크에서의 "레이지-투-리치" 전환을 증명하는 것은 새로운 이론적 도구가 필요한 미해결 과제로 남겨두며 연구 범위에 대해 겸허한 태도를 유지한다.