🤖 machine learning

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold

이 논문은 학습률과 가중치 감쇠가 매우 작은 극한에서 경사 하강법이 제로 손실 다양체(zero-loss manifold) 상의 가중치 노름을 최소화한다는 것을 증명함으로써, 그로킹(grokking)이라 알려진 지연된 일반화 현상을 설명하며, 이는 유도된 사후 암기 역학에 대한 폐쇄형 표현식과 실험적 시뮬레이션을 통해 검증된 메커니즘이다.

원저자: Tiberiu Musat

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tiberiu Musat

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 미스터리: "그로킹(Grokking)"이란 무엇인가?

당신이 로봇에게 수학을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 한 가지 예시를 보여줍니다: $1 + 1 = 2$ .

1단계 (암기): 로봇은 " $1 + 1$ "을 볼 때마다 "2"라고 말하는 법을 빠르게 배웁니다. 로봇은 정답을 암기한 것입니다. 만약 당신이 새로운 문제인 " $2 + 2$ "를 풀라고 한다면, 로봇은 실패합니다. 로봇은 그저 들은 것을 따라 하는 앵무새일 뿐입니다.
긴 기다림: 당신은 로봇을 계속 훈련시킵니다. 오랫동안 아무것도 변하지 않는 것처럼 보입니다. 로봇은 여전히 그 하나의 예시만 알고 있습니다.
2단계 (그로킹): 갑자기, 수백 혹은 수천 번의 추가 단계가 지난 후, 로봇에게 "유레카(lightbulb moment)"의 순간이 찾아옵니다. 로봇은 덧셈의 규칙을 깨우칩니다. 이제 로봇은 $2+2$ , $5+3$ , 그리고 다른 어떤 덧셈 문제도 완벽하게 풀 수 있습니다.

학습 데이터에 이미 숙달된 이후에도 한참 뒤에야 나타나는 이 기묘한 지연 현상을 **그로킹(Grokking)**이라고 부릅니다.

논문의 핵심 아이디어: "제로-로스(Zero-Loss)" 매니폴드

이 논문의 저자들은 왜 이런 일이 발생하는지 설명하고자 합니다. 그들은 로봇이 그 긴 기다림의 시간 동안 어떻게 학습하는지에 대해 새로운 관점을 제시합니다.

로봇의 뇌를 거대한 다차원 지형이라고 생각해 보세요.

목표: 로봇은 "오차(error)"가 0이 되는 골짜기에 도달하고자 합니다.
제로-로스 골짜기: 로봇이 단 하나의 예시( $1+1=2$ )를 암기하면, 로봇은 매우 특정한 평평한 골짜기의 바닥에 도달하게 됩니다. 이 골짜기 안에서 로봇은 학습 데이터에 대해 오차를 전혀 범하지 않습니다.
문제점: 이 골짜기는 매우 넓습니다. 로봇의 내부 조절 장치(가중치, weights)를 배치하여 오차를 0으로 만드는 방법은 수백만 가지가 넘습니다. 어떤 배치들은 "똑똑하고"(새로운 수학 문제에도 일반화됨), 어떤 배치들은 "멍청합니다"(오직 그 하나의 예시에서만 작동함).

비밀 메커니즘: 노름 최소화 (Norm Minimization)

논문은 로봇이 이 "제로-로스 골짜기"에 들어서면, 훈련 과정의 목표가 바뀐다고 주장합니다. 로봇은 더 이상 오차를 줄이려 노력하지 않습니다 (이미 오차가 0이기 때문입니다). 대신 자기 자신을 단순화하기 시작합니다.

비유: 외줄 타기 곡예사
로봇이 매우 길고 구불구불한 와이어(제로-로스 골짜기) 위를 걷는 외줄 타기 곡예사라고 상상해 보세요.

와이어: 와이어는 로봇이 정답을 맞힐 수 있는 모든 가능한 방법들을 나타냅니다.
밀어내는 힘: 훈련 과정에는 "가중치 감쇠(weight decay)"라는 요소가 포함되어 있습니다 (이는 로봇이 에너지를 덜 쓰도록 끊임없이 밀어내는 작은 힘입니다).
결과: 로봇은 이미 와이어 위에 있기 때문에 (오차가 0이므로), 로봇이 할 수 있는 일은 와이어를 따라 미끄러져 내려가는 것뿐입니다. "에너지 절약"을 위한 힘은 로봇을 가장 짧고 단순한 경로로 밀어냅니다.

저자들은 수학적으로 로봇이 본질적으로 이 와이어를 따라 미끄러지며 가장 단순한 해결책을 찾고 있다고 증명합니다. 결국 로봇은 가장 "단순한" 경로를 찾게 되는데, 이 경로가 바로 덧셈의 일반적인 규칙을 이해하는 경로입니다. 이것이 왜 일반화가 암기 이후에 일어나는지에 대한 이유입니다: 로와는 단순한 해결책을 찾기 위해 와이어를 따라 길고 느리게 미끄러져 내려가는 과정을 마쳐야 하기 때문입니다.

"토이 모델(Toy Model)" 증명

이것이 단순히 우연이 아님을 보여주기 위해, 저자들은 단 두 개의 조절 장치만을 가진 아주 작고 단순한 로봇(선형 모델)을 만들었습니다.

그들은 이를 $1+1=2$ 에 대해 훈련시켰습니다.
관찰: 로봇은 학습 데이터에는 작동하지만 기괴한 방식(예: 거대한 양수와 거대한 음수가 서로 상쇄되는 방식)의 해결책을 빠르게 찾아냈습니다.
미끄러짐: 그 후, "가중치 감쇠"가 서서히 조절 장치들을 훨씬 더 단순하고 균형 잡힌 해결책(1과 1)을 향해 밀어냈습니다.
결과: 조절 장치들이 그 단순하고 균형 잡힌 지점에 도달하자마자, 로봇은 갑자기 $1+1$ 뿐만 아니라 모든 덧셈 문제를 푸는 데 탁월해졌습니다.

"고립된" 관점: 임베딩 레이어(Embedding Layer)에 집중하기

논문은 두 번째 질문도 다룹니다. 전체를 모델링하지 않고 로봇의 뇌 중 일부만을 이해할 수 있을까요?

모듈러 덧셈(시계처럼 계산하는 수학, 예: 11 + 2 = 1)의 경우, 이전 연구들은 로봇이 숫자를 원형으로 배치한다는 것을 보여주었습니다.

비유: 로봇의 첫 번째 층은 지도 제작자라고 상상해 보세요. 이 제작자는 숫자를 가져와 지도 위에 배치합니다.
발견: 저자들은 수학적 지름길을 만들어 냈습니다. 만약 로봇의 두 번째 층이 항상 첫 번째 층에 "완벽하게 조정"되어 있다고 가정한다면, 지도 제작자(첫 번째 층)가 어떻게 움직일지를 정확히 예측할 수 있는 간단한 공식을 쓸 수 있다는 것을 보여주었습니다.
시뮬레이션: 컴퓨터로 이 공식을 실행했을 때, 그것은 "그로킹" 효과를 완벽하게 재현했습니다. 지도 제작자는 숫자를 엉망진창인 덩어리에서 완벽한 원형으로 천천히 재배치했고, 그 후에야 로봇이 수학을 이해하기 시작했습니다.

주요 연구 결과 요약

그로킹은 기하학이다: 학습의 지연은 버그가 아니라 기하학적 특징입니다. 로봇은 가장 단순한 해결책을 찾기 위해 "제로-오차" 경로를 따라 긴 거리를 이동해야 합니다.
가중치 감쇠는 엔진이다: 로봇의 숫자를 더 작게 만들려는 작은 힘(가중치 감쇠)이 로봇을 이 경로를 따라 밀어주는 역할을 합니다. 이것이 없다면 로봇은 "암기" 단계에 영원히 갇혀 있을 것입니다.
단순화의 힘: 복잡한 네트워크가 어떻게 학습하는지는, 나머지 부분이 즉각적으로 적응한다고 가정함으로써 단 하나의 부분(임베딩 레이어)만을 보고도 예측할 수 있습니다.

이 논문이 주장하지 않는 것

이 논문은 이것이 모든 유형의 AI나 모든 종류의 데이터에 적용된다고 주장하지 않습니다 (특정한 수학 문제와 단순한 네트워크에 집중합니다).
이 논문은 이를 사용하여 더 나은 의료용 AI나 자율주행 자동차를 만들 수 있다고 제안하지 않습니다.
이 논문은 모든 신경망의 미스터리를 풀었다고 주장하는 것이 아니라, 이러한 환경에서의 특정 "그로킹" 현상을 설명하는 것입니다.

요약하자면, 이 논문은 그로킹이란 로봇이 문제를 해결하는 가장 단순하고 우아한 방법을 찾기 위해 직선을 따라 길고 느리게 걷는 과정임을 알려줍니다.

기술 요약: 그로킹(Grokking)의 기하학

문제 정의
본 논문은 신경망에서 나타나는 '그로킹(grokking)' 현상을 다룬다. 그로킹이란 모델이 훈련 세트를 완전히 암기한 후 상당한 시간이 지난 뒤에야 테스트 데이터에 대해 완벽한 일반화 성능을 달ر하는 현상을 말한다. 기존 연구들은 이러한 지연된 일반화를 가중치 감쇠(weight decay)에 의한 표현 학습(representation learning)과 연결 지었으나, 그 정확한 기저 역학은 여전히 불분명하다. 구체적으로 저자들은 다음 두 가지 질문을 해결하고자 한다: (1) 포스트-암기(post-memorization) 학습에서 가중치 감쇠의 정확한 역할은 무엇인가? (2) 특정 네트워크 구성 요소(예: 임베딩 레이어)의 학습 역학을 나머지 네트워크로부터 분리하여 분석할 수 있는가?

방법론 및 이론적 프레임워크
저자들은 제약 최적화(constrained optimization)와 경사 흐름(gradient flow)의 관점에서 문제를 접근하며, 학습률과 가중치 감쇠 계수가 무한히 작은 극한( $\lambda \to 0$ )에서 시스템을 분석한다.

포스트-암기 역학: 본 논문은 네트워크가 제로 손실(zero loss)을 달성한 후, 이후의 학습 역학이 제로 손실 매니폴드( $Z$ ) 내로 제한됨을 공식적으로 증명한다. 이 영역에서 경사 하강법은 $Z$ 내에 머물면서 가중치 노름( $\|\theta\|^2$ )을 효과적으로 최소화한다. 저자들은 파라미터가 $Z$ 에 접근함에 따라 손실 기울기가 제로 손실 매니폴드의 접공간(tangent space)에 직교하게 됨을 입증한다. 즉, 손실 함수는 더 이상 파라미터 업데이트를 주도하지 않으며, 대신 가중치 감쇠가 제로 손실 집합 내의 최소 노름 해(minimum-norm solution)를 향해 파라미터를 이동시킨다.
고립된 구성 요소 역학: 특정 레이어를 분석하기 위해, 저자들은 일부 파라미터( $\theta_1$ )의 역학이 나머지 파라미터( $\theta_2$ )로부터 디커플링(decoupling)되는 근사 모델을 제안한다. $\theta_2$ 가 임의의 $\theta_1$ 에 대해 최적의 값으로 즉각적으로 적응한다고 가정함으로써(즉, $\theta_2$ 를 빠른 변수로 취급), 저자들은 유효 비용 함수 $R(\theta_1) = \min_{\theta_2} L_\lambda(\theta_1, \theta_2)$ 를 도출한다.
2층 신경망 유도: 이 프레임워크를 평균 제곱 오차(MSE) 손실을 사용하는 2층 신경망에 적용하여, 저자들은 첫 번째 레이어(임베딩 레이어)의 학습 역학에 대한 폐쇄형 표현식(closed-form expression)을 도출한다. 과잉 매개변수화된 제로 손실 극한에서, 첫 번째 레이어 가중치 $W_1$ 의 역학은 가중치 감쇠와 두 번째 레이어의 적합도(fit) 사이의 균형을 맞추는 특정 비용 함수의 경사 흐름을 따르는 것으로 나타난다.

주요 결과

이론적 증명: 본 논문은 거의 모든 데이터셋에 대해 제로 손실 집합이 표준 훈련 과정 중 특이점(singularity)이 없는 매끄러운 매니폴드임을 증명한다. 또한, 손실 기울기가 해 근처에서 이 매니폴드에 직교함을 증명하여, 포스트-암기 학습이 전적으로 노름 최소화에 의해 구동됨을 확인한다.
토이 모델 검증: 덧셈 작업에 대한 선형 모델을 사용하여, 저자들은 모델이 초기에 제로 손실 해(암기)에 수렴한 후, 제로 손실 매니폴드를 따라 최소 노름 해(일반화)를 향해 천천히 표류(drift)함을 보여준다. 이 표류의 속도는 가중치 감쇠 계수에 반비례한다.
그로킹 시뮬레이션: 모듈러 덧셈(modular addition)으로 훈련된 네트워크의 첫 번째 레이어에 대해 도출된 폐쇄형 역학을 시뮬레이션한다. 시뮬레이션은 특징적인 지연된 일반화를 성공적으로 재현한다. 즉, 모델은 수백 단계 동안 제로 훈련 손실을 유지하면서도 테스트 정확도는 무작위 확률 수준에 머물다가, 결국 완벽한 일반화로 급격히 도약한다.
표현 학습: 시뮬레이션은 일반화 단계 동안 임베딩 벡터가 푸리에 영역(Fourier domain)에서 원형 구조로 조직됨을 보여준다. 구체적으로, 푸리에 특징들의 노름이 균등해지고 특징들이 서로 직교하게 되는데, 이는 이전의 그로킹 해석 연구에서 관찰된 "원형 표현(circular representations)"과 일치한다.

의의 및 주장
본 논문은 그로킹에 대한 공식적인 기하학적 설명을 제공하며, 이를 빠른 단계인 '암기'와 느린 단계인 '제로 손실 매니폴드 상의 노름 최소화'라는 두 단계 과정으로 규정한다. 임베딩 레이어의 역학에 대한 폐쇄형 표현식을 도출함으로써, 저자들은 특정 네트워크 구성 요소가 어떻게 표현을 학습하는지에 대한 이론적 기초를 제시한다.

저자들은 본 연구를 신경망의 내부 작동 원리를 명확히 밝히기 위한 단계로 위치시키며, 이는 더 안전하고 신뢰할 수 있는 AI 시스템을 개발하는 데 필수적이라고 강조한다. 또한, 자신들의 연구 결과가 정규화된 경사 흐름(regularized gradient flow)에 관한 Boursier 등(2026)의 동시 연구와 일치함을 언급한다. 마지막으로, 본 연구가 평균 제곱 오차 손실에 집중하고 있으며 현재 2층 신경망으로 제한되어 있어 더 깊은 구조의 역학은 향후 과제로 남아 있다는 한계점을 겸허히 인정한다.