기술 요약: 무작위 행렬 이론을 활용한 장기 호킹 (Grokking) 중 신경망의 과적합 감지

문제 제기

심층 신경망 (NN) 을 과적합 없이 훈련시키는 것은 어렵고, 특히 훈련 데이터, 테스트 데이터, 옵티마이저 상태, 또는 훈련 기록에 접근할 수 없는 경우 과적합을 감지하는 것도 마찬가지로 어렵습니다. 이는 오픈 가중치 기반 모델에게 치명적인 문제입니다. 사용자는 모델 가중치와 카드를 보유하고 있을지라도, 특정 체크포인트가 견고하게 훈련된 것인지 아니면 특정 데이터 상관관계에 과적합되었는지를 판단할 맥락이 부족할 수 있기 때문입니다.

본 논문은 모델의 훈련 정확도가 거의 완벽에 도달하는 동안 테스트 정확도가 우연 수준에 머무르다가 갑자기 향상되는 현상인 **호킹 (grokking)**에 초점을 맞춥니다. 이전 연구는 암기에서 일반화로 전환되는 과정에 집중했으나, 본 연구는 호킹 이후의 장기 (long-horizon) 영역을 조사합니다. 이 단계는 **"반 - 호킹 (anti-grokking)"**이라고 명명되며, 성공적으로 일반화된 모델이 유지된 성능을 잃고 훈련 데이터에 과적합되더라도 훈련 정확도는 거의 완벽하게 유지되는 현상을 보입니다. 표준 훈련/테스트 정확도 곡선만으로는 초기 "호킹 전 (pre-grokking)" 단계 (모델이 아직 일반화 해결책을 찾지 못한 상태) 와 구별하기 어렵습니다. 두 영역 모두 높은 훈련 정확도와 낮은 테스트 정확도를 보이기 때문입니다.

방법론

저자들은 데이터 접근 없이 모델의 가중치 행렬만으로 작동하는 무작위 행렬 이론 (RMT) 기반의 새로운 진단 방법을 제안합니다.

핵심 개념: 상관관계 함정 (Correlation Traps)

이 방법은 자기 평균화 (self-averaging) 원리에 의존합니다. 잘 훈련되고 일반화되는 모델에서 가중치 행렬은 내부 구조가 무작위화될 때 무작위 행렬과 일관된 통계적 특성을 보여야 합니다.

1. 무작위화: 각 층의 가중치 행렬 $W$에 대해 요소를 순서대로 섞어 무작위화된 행렬 $W_{rand}$를 생성합니다.
2. 스펙트럼 분석: 공분산 행렬 $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$의 경험적 스펙트럼 분포 (ESD) 를 계산합니다.
3. 마르첸코 - 파스투르 (MP) 기준선: ESD 를 마르첸코 - 파스투르 분포에 적합시켜, 자기 평균화되고 상관관계가 없는 무작위 행렬에 대한 이론적 기준선으로 삼습니다.
4. 함정 감지: 저자들은 적합된 MP 분포의 오른쪽 가장자리 (트레이시 - 위돔 변동을 고려함) 를 훨씬 벗어나 있는 고유값 이상치 ($\lambda_{trap}$) 를 상관관계 함정으로 식별합니다.
   • 정의: 상관관계 함정은 $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$인 고유값입니다.
   • 의미: 이러한 이상치는 자기 평균화의 위반을 나타내며, 요소 단위 섞기 후에도 층 내에 구조화된 비무작위 상관관계가 존재함을 시사합니다.

유해한 함정과 무해한 함정 구분

함정의 존재는 비자기 평균화를 나타내지만 본질적으로 유해한 과적합을 증명하는 것은 아니므로, 저자들은 데이터가 없는 JSD (제네센 - 샤논 발산) 진단 제거 테스트를 도입합니다.

• 절차: 특정 함정 (고유벡터) 을 무작위 벡터로 대체합니다. 그런 다음 모델에 프로브 입력 (트랜스포머의 경우 무작위 토큰, MLP 의 경우 가우스 입력) 을 입력합니다.
• 지표: 원본 모델과 제거된 모델의 출력 로지트 사이의 JSD 를 계산합니다.
• 분류:
  • 유해한 함정: 함정을 제거하면 모델의 출력 분포가 크게 변하고 (높은 JSD) 테스트 정확도가 변경됩니다.
  • 무해한 함정: 함정을 제거해도 출력과 정확도에 미미한 영향만 미칩니다.

주요 기여

1. 상관관계 함정의 정의: 저자들은 마르첸코 - 파스투르 기준선을 위반하는 섞인 층 가중치 행렬의 스펙트럼 이상치를 상관관계 함정으로 정의하며, 이를 비자기 평균화 구조의 특징으로 삼습니다.
2. 반 - 호킹의 식별: 본 논문은 성공적인 일반화 이후 테스트 정확도가 저하되지만 훈련 정확도는 높은 상태로 유지되는 "반 - 호킹"을 호킹 전 단계와 구조적으로 구별되는 별도의 단계로 특징짓습니다.
3. 진단 도구로서의 상관관계 함정: 연구는 상관관계 함정이 호킹 전 및 호킹 단계에서는 부재하지만, 반 - 호킹 시작 시점에 특히 발생하여 수와 규모가 증가함을 입증합니다.
4. 과적합과의 기작적 연결: 저자들은 이러한 함정을 국소화 (variance 가 소수의 좌표에 집중됨) 및 **스펙트럼 응축 (단일 지배적 모드가 거시적 분산을 운반함)**과 연결하며, 이는 일반화 오차가 집중되는 것을 방지한다고 설명합니다.
5. 실증적 검증: 이 방법은 세 가지 다른 아키텍처와 작업에서 검증되었습니다.
   • MNIST 에 대한 3 층 MLP.
   • 모듈러 덧셈 (MA) 작업에 대한 소형 트랜스포머.
   • 합성 구성 작업에 대한 GPT2 스타일 트랜스포머.
6. 기반 모델 적용: 이 진단은 OpenAI 의 gpt-oss-20b 및 gpt-oss-120b 오픈 가중치 체크포인트에 적용되어 상관관계 함정의 존재를 드러냈으며, 이는 프론티어 규모 모델에서의 잠재적 과적합을 시사합니다.

결과

• 단계 분리: 세 가지 벤치마크 (MLP, MA, GPT2) 모두에서 상관관계 함정의 수는 호킹 전 및 호킹 단계 동안 실질적으로 제로로 유지됩니다. 함정 수의 급격한 증가는 반 - 호킹 단계 중 테스트 정확도 저하와 정확히 상관관계가 있습니다.
• 가중치 감쇠 제어: 가중치 감쇠 (WD=0.01) 를 사용한 실험은 반 - 호킹이 여전히 발생하지만, 가중치 감쇠가 없는 설정 (WD=0) 에 비해 상관관계 함정의 성장과 테스트 정확도 저하의 심각성이 크게 억제됨을 보여주었습니다.
• 교란 강건성: 교란 연구는 함정 수가 단순히 가중치의 전역 규모 (노름) 에 대한 대리 지표가 아님을 확인시켰습니다. 전역 가중치 노름이 변경되더라도 함정은 호킹 전/호킹 단계에서는 부재하고 반 - 호킹 단계에서만 나타났습니다.
• 기작적 통찰 (MLP): MLP 사례 연구에서 국소화된 함정 방향이 픽셀 공간에서 "프로토타입과 유사한" 구조로 진화하는 것이 발견되었습니다. 이러한 구조는 모델이 의미 있는 숫자 패턴 대신 전역 입력 크기 (예: $\|x\|^2$) 에 의존하게 만들어, 순서 섞임이나 가우스 입력에서는 취약한 행동을 보이면서도 완벽한 훈련 정확도를 유지하게 했습니다.
• JSD 제거 테스트: JSD 진단은 제거 시 모델 성능을 저하시키는 함정 (유해) 과 거의 영향을 미치지 않는 함정 (무해) 을 성공적으로 구별했습니다.

중요성 및 주장

본 논문은 상관관계 함정이 훈련 데이터나 테스트 데이터에 접근하지 않고도 훈련된 모델에서 잠재적으로 유해한 과적합의 징후를 감지하는 실용적인 가중치 전용 진단 도구를 제공한다고 주장합니다.

• 구조적 구별: 주요 중요성은 아직 학습하지 않은 모델 (호킹 전) 과 학습했다가 다시 학습하지 못하거나 poorly 일반화된 모델 (반 - 호킹) 을 구조적으로 구별할 수 있는 능력에 있습니다. 두 상태는 정확도 지표를 통해 동일해 보이지만 가중치 스펙트럼 측면에서 근본적으로 다릅니다.
• 기반 모델 스크리닝: 대규모 오픈 가중치 LLM 에서 상관관계 함정이 감지되었다는 사실은 기반 규모 모델이 스펙트럼 분석을 통해 감지 가능한 방식으로 훈련 데이터에 부주의하게 과적합될 수 있음을 시사합니다.
• 규제 및 실용적 유용성: 저자들은 이 방법이 독점 데이터가 unavailable 한 경우 규제 기관이나 사용자가 모델의 안전성과 견고성을 측정하는 편향되지 않은 도구로 활용될 수 있다고 제안합니다.
• 한계: 저자들은 겸손하게 증거가 통제된 장기 호킹 설정에서 나왔음을 지적합니다. 그들은 모든 과적합이 상관관계 함정을 생성한다고 주장하지 않으며, 프론티어 모델에서 함정이 존재한다고 해서 추가 작업 기반 평가 없이 유해한 행동을 결정적으로 증명하는 것도 아니라고 명시합니다. 함정 수는 경고 신호일 뿐 보편적인 품질 점수가 아닙니다.