기술적 요약: 특징 반발과 스펙트럼 락인

문제 제기

그로킹 (grokking) 은 신경망이 훈련 손실이 평탄화된 지 오래된 후에 암기에서 일반화로 급격히 전환되는 현상으로, 기계적 해석 가능성과 암묵적 정규화 등 다양한 관점에서 설명되어 왔습니다. Tian [2025] 은 2 층 네트워크의 그로킹 역학을 세 단계로 분해하는 원칙적인 프레임워크를 제시했으며, 이는 "상호작용 특징 학습 (Interactive feature learning)" 단계 (3 단계) 로 귀결됩니다. 이 단계 내에서 Tian 의 정리 6은 행렬 $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$의 비대각선 구조로 인해 유사한 숨겨진 특징들이 서로를 반발한다는 "반발 정리 (repulsion theorem)"를 주장합니다.

그러나 Tian 의 프레임워크는 두 가지 경험적 질문에 대한 답을 제시하지 못했습니다:

1. 시기: 이 반발 메커니즘이 경험적으로 관찰 가능해지기 시작하는 훈련의 구체적인 시점은 언제입니까?
2. 관측 가능성: 이 메커니즘은 실무자가 비싼 오프라인 진단 없이 계산할 수 있는 측정 가능한 온라인 서명으로 나타납니까?

본 논문은 Tian 의 정확한 모듈러 덧셈 설정에서 정리 6 과 후보 스펙트럼 관측 가능량을 테스트함으로써 이러한 질문에 답합니다.

방법론

본 연구는 Adam 최적화와 가중치 감쇠 $\eta$를 사용하여 Tian 의 [2025] 모듈러 덧셈 설정 ($M=71$ 클래스, $K=2048$ 숨겨진 유닛, 훈련 비율 $p \approx 0.40$) 을 재현합니다. 저자들은 여러 무작위 시드를 통해 두 가지 상호 보완적인 검사를 수행합니다:

1. 정리 6 의 직접 검증:

   • 저자들은 계산 복잡도를 줄이기 위해 Woodbury 항등식을 사용하여 $B$를 정확하게 계산합니다.
   • 결정론적 체크포인트에서 코사인 유사도를 기반으로 상위 200 개의 가장 유사한 특징 쌍을 식별합니다.
   • 부호 규칙을 검증합니다: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$, 여기서 $P$는 열 $j$와 $\ell$을 제외한 투영 행렬입니다.
   • 이 검증을 서로 다른 활성화 함수 ($\sigma(x)=x^2$ 및 $\sigma(x)=\text{ReLU}$) 에 대해 수행합니다.

2. 스펙트럼 서명 감지:

   • 저자들은 매개변수 업데이트 ($\Delta W$) 의 롤링 윈도우 그램 행렬을 모니터링합니다.
   • 고유값 간격 비율 $\sigma_2/\sigma_3$(두 번째와 세 번째 고유값의 비율) 을 추적합니다.
   • 기울기 기반 감지기는 이 비율이 지속적인 상승에 진입할 때 "락인 (lock-in)" 순간을 식별하며, 반발이 중복된 특징들을 저랭크 구조 (구체적으로 랭크 -2) 로 통합한다는 가설을 세웁니다.
   • 윈도우 크기 ($W$) 와 가중치 감쇠 ($\eta$) 에 대한 민감도 분석을 수행합니다.

주요 결과

1. 정리 6 검증 (활성화 일반적)

정리 6 의 부호 규칙은 서로 다른 활성화 함수에 걸쳐 경험적으로 성립하여, 메커니즘이 **활성화 일반적 (activation-general)**임을 확인시켜 줍니다.

• $\sigma(x) = x^2$: 상위 200 개의 유사한 쌍에 대한 경험적 부호 일치는 에포크 50 에서 0.865 에서 시작하여 에포크 300 에 0.985 의 밀집 포화에 도달합니다. 포화 ($\ge 0.95$) 는 모든 시드에서 에포크 175 에서 일관되게 발생합니다.
• $\sigma(x) = \text{ReLU}$: 부호 규칙 또한 성립하며, 더 빠르게 포화됩니다 (에포크 500 까지 1.000).
• 결론: $\tilde{F}^\top \tilde{F}$의 구조에 의해 지배되는 반발 메커니즘은 활성화 함수가 거듭제곱 함수인지 ReLU 인지 여부와 관계없이 작동합니다.

2. 스펙트럼 락인 (활성화 특정적)

메커니즘은 일반적이지만, **매개변수 업데이트 스펙트럼 서명은 활성화 특정적 (activation-specific)**입니다.

• $\sigma(x) = x^2$(집중된 암기): 기울기 기반 감지기는 15 개의 그로킹 시드 중 15 개에서 에포크 174 에 작동합니다. 후기 단계의 $\sigma_2/\sigma_3$비율에서 그로킹 시드 (중앙값 $\approx 300$) 와 제어 시드 ($\eta=0$, 중앙값 $\approx 1.31$) 사이에 거대한 크기 분리 ($229\times$) 가 있습니다. 스펙트럼은 랭크 -2로 붕괴되어 특징들이 두 개의 지속적 방향으로 통합됨을 나타냅니다.
• $\sigma(x) = \text{ReLU}$(분산된 암기): 감지기는 15 개의 그로킹 시드 중 0 개에서 작동합니다. 크기 분리는 $1.4\times$로 붕괴되며, 스펙트럼은 랭크 -1 우세($\sigma_1 \gg \sigma_2 \approx \sigma_3$) 로 유지됩니다.
• 결론: 랭크 -2 락인 서명은 특징들이 날카로운 피크로 붕괴되는 "집중된 암기" 영역 (거듭제곱 활성화) 에서만 나타납니다. "분산된 암기" 영역 (ReLU) 에서는 특징들이 분산된 상태로 남아 뚜렷한 랭크 -2 스펙트럼 서명의 형성을 방해합니다.

3. 방법론적 통제 및 확장

• 윈도우 크기 민감도: 감지기는 윈도우 크기 $W \in \{20, 30\}$를 필요로 합니다. 더 작은 윈도우 ($W \le 10$) 는 제어 조건에서 거짓 양성을 생성합니다.
• $\eta$ 확장: $\eta = 10^{-5}$에서의 확장 실행은 그로킹 시간에 대한 Tian 의 $1/\eta$ 확장 예측을 확인합니다 (에포크 1527 에서 그로킹 발생). 그러나 락인 크기 ($\sigma_2/\sigma_3$) 는 현저히 감소합니다 ($\approx 25$ 대 $\approx 300$), 이는 이 느린 시간 척도에서 랭크 -2 구조가 완전히 발달하지 않았음을 시사합니다.
• 레벨 - 메트릭 감지기 ($\rho_{tian}$): 활성화 그램의 비대각선 구조에 기반한 더 단순한 메트릭은 $\sigma=x^2$에 대해 그로킹 시작을 긍정적 선행 시간으로 예측하지만, ReLU 나 다른 $(M, p)$ 구성에는 일반화되지 않아 성공적인 그로킹이 아닌 특징 역학의 시작을 표시합니다.

중요성과 주장

본 논문은 중요한 구조 - 메커니즘 구분을 도출합니다:

1. 메커니즘 (일반적): Tian 의 정리 6 은 특징 그램 $\tilde{F}^\top \tilde{F}$의 속성을 통해 $B$의 비대각선 부호 구조를 지배합니다. 이 메커니즘은 강력하며 특정 활성화 함수 $\sigma$와 무관합니다.
2. 서명 (특정적): 매개변수 업데이트에서 관측 가능한 스펙트럼 서명은 반발이 가중치 업데이트로 어떻게 전환되는지에 따라 달라지며, 이는 도함수 $\sigma'$에 의해 매개됩니다.
   • 거듭제곱 활성화 ($\sigma=x^2$) 는 두 방향으로 통합되는 집중된 특징을 생성하여 랭크 -2 스펙트럼 락인을 산출합니다.
   • ReLU 는 랭크 -1 우세로 남아 있는 분산된 특징을 생성하여, 근본적인 반발 메커니즘이 존재함에도 불구하고 스펙트럼 락인 서명이 결여됩니다.

저자들은 이러한 경험적 분리를 Tian 의 정리 5 와 연결하며, 이는 공식적으로 집중된 암기와 분산된 암기 영역을 구분합니다. 본 논문은 3 단계에서 반발 메커니즘이 보편적이지만, 그로킹 진단을 위한 스펙트럼 접근법은 활성화에 의존적이라고 결론 내립니다. 실무자는 단일 스펙트럼 메트릭 (예: $\sigma_2/\sigma_3$) 이 모든 활성화 함수에 걸쳐 그로킹을 감지할 것이라고 가정할 수 없습니다; 진단의 선택은 활성화 함수가 유도하는 특정 암기 영역과 일치해야 합니다.