Spectral Edge Dynamics Reveal Functional Modes of Learning

이 논문은 그로킹 (grokking) 현상이 매개변수나 특징 공간이 아닌 입력 도메인에서의 저차원 기능적 모드 (spectral edge) 를 따라 집중되며, 이는 작업의 대수적 대칭성에 따라 구조가 결정됨을 보여줍니다.

핵심

1. 핵심 비유: 거대한 오케스트라와 '주도적인 멜로디'

AI 모델을 거대한 오케스트라라고 상상해 보세요. 악기 (파라미터) 는 수만 개나 되지만, 실제 음악을 연주할 때는 몇 가지 **주도적인 멜로디 (기능)**만 반복해서 나옵니다.

• 기존의 연구 (기존 해석법): 연구자들은 오케스트라를 볼 때 "어떤 바이올린 (뉴런) 이 소리를 내고 있나?", "어떤 악기 (헤드) 가 중요한가?"를 찾아보려 했습니다. 하지만 이 연구자들은 **"어떤 멜로디가 전체 곡을 지배하고 있는가?"**에 집중했습니다.
• 이 연구의 발견: AI 가 문제를 해결하는 순간 (그로킹), 수만 개의 악기 중 아주 소수의 악기들이 모여 하나의 강력한 멜로디를 만들어냅니다. 이 멜로디는 개별 악기 (파라미터) 에 국한되지 않고, 전체 곡 (입력 데이터) 에 퍼져 있는 패턴입니다.

2. 스펙트럼 엣지 (Spectral Edge): '별이 빛나는 밤'

논문에서 **'스펙트럼 엣지'**라는 용어를 쓰는데, 이를 **'별이 빛나는 밤'**으로 비유해 볼 수 있습니다.

• 일반적인 학습: 밤하늘에 별들이 흩어져 있고, 어느 별이 가장 밝은지 알기 어렵습니다. (AI 가 아직 무엇을 배우는지 불분명함)
• 그로킹 (Grokking) 순간: 갑자기 하늘의 별들 중 아주 몇 개가 유난히 밝게 빛나며 떼를 지어 나머지 별들 (어두운 배경) 과 완전히 분리됩니다.
• 의미: 이 밝게 빛나는 별들 (주도적인 방향) 이 바로 AI 가 문제를 해결하기 위해 선택한 **'핵심 기능'**입니다. 이 별들의 위치를 보면 AI 가 무엇을 배우고 있는지 알 수 있습니다.

3. 왜 기존 방법은 실패했을까? (장난감 상자 vs 노래)

연구자들은 먼저 기존에 쓰던 방법들 (특정 뉴런 찾기, 특징 추출 등) 로 이 밝은 별들을 찾아보려 했지만 실패했습니다.

• 비유: 마치 장난감 상자를 뒤져서 "어떤 장난감 (뉴런) 이 움직였나?"를 찾으려 했지만, 실제로 중요한 건 장난감 자체가 아니라 **장난감으로 만든 '놀이 패턴'**이었기 때문입니다.
• 결과: AI 의 핵심 학습은 특정 부품에 있는 게 아니라, **입력 데이터 전체에 퍼진 '기능적 패턴'**으로 존재했습니다. 마치 "이 장난감은 '자동차' 모양을 만드는 데 쓰인다"는 식의 기능적 설명이 필요한 것이죠.

4. 수학 문제별 비밀 코드 (조화로운 멜로디)

연구진은 다양한 수학 문제 (덧셈, 곱셈, 뺄셈 등) 를 풀 때 AI 가 어떤 멜로디를 선택하는지 분석했습니다.

• 덧셈과 곱셈 (단순한 문제):
  • AI 는 이 문제들을 풀 때 **단 하나의 완벽한 멜로디 (단일 주파수)**를 선택했습니다.
  • 비유: 덧셈은 "1, 2, 3, 4..."라는 단순한 리듬을, 곱셈은 그 리듬을 변형한 "로그 (Log)"라는 특별한 리듬을 사용합니다. AI 는 문제의 성질에 맞춰 가장 효율적인 리듬 하나만 골라 완벽하게 연주합니다.
• 뺄셈과 제곱합 (복잡한 문제):
  • 이 문제들은 단일 멜로디로 설명할 수 없습니다. 여러 멜로디가 섞여 있거나, 덧셈과 곱셈 멜로디가 섞인 복합적인 화음을 만들어냅니다.
  • 비유: 뺄셈은 몇 가지 리듬이 섞인 재즈 같고, 제곱합 ($x^2 + y^2$) 은 덧셈과 곱셈 리듬을 섞어 만든 새로운 복합 곡 같습니다.

5. 멀티태스킹: 레고 블록의 재사용

가장 흥미로운 부분은 여러 문제를 동시에 학습할 때의 모습입니다.

• 실험: AI 에게 덧셈, 곱셈, 그리고 이 둘을 섞은 복잡한 문제 ($x^2 + y^2$) 를 동시에 가르쳤습니다.
• 결과: AI 는 복잡한 문제를 풀 때, 이미 배운 덧셈과 곱셈의 멜로디를 그대로 가져와서 재사용했습니다.
• 비유: 복잡한 건축물을 지을 때, 처음부터 모든 것을 새로 만드는 게 아니라, 이미 만든 **레고 블록 (기능적 단위)**들을 조합해서 지은 것입니다. 이는 AI 가 단순한 기능을 먼저 배우고, 이를 조합해 복잡한 능력을 만들어낸다는 것을 보여줍니다.

6. 결론: 무엇을 배운 것인가?

이 논문의 핵심 메시지는 다음과 같습니다.

"AI 가 학습하는 것은 특정 뉴런을 켜는 것이 아니라, 입력 데이터 전체에 퍼진 '기능적 멜로디'를 찾는 것입니다.

문제가 단순하면 하나의 멜로디로 해결되지만, 문제가 복잡하면 여러 멜로디를 조합하거나 기존에 배운 멜로디를 재사용합니다.

우리는 이제 AI 의 학습 과정을 '어떤 부품이 움직였나'가 아니라, **'어떤 음악 (기능) 을 배우고 있는가'**라는 관점에서 바라봐야 합니다."

한 줄 요약:
AI 는 머릿속의 특정 부품을 고치는 게 아니라, 문제에 딱 맞는 '음악 (기능)'을 찾아내어 연주하는 법을 배우며, 복잡한 문제는 이미 배운 간단한 음악들을 섞어서 해결합니다.

기술 요약

1. 연구 문제 (Problem)

신경망의 학습 궤적은 매개변수 공간의 거대한 차원에도 불구하고 높은 구조를 띠고 있습니다. 특히 '그로킹 (grokking, 지연된 일반화 현상)'과 같은 위상 전이 구간에서는 최적화 동역학이 소수의 지배적인 방향으로 집중되는 것으로 알려져 있습니다. 그러나 기존 연구들은 이러한 지배적 방향의 본질이 무엇인지 명확히 규명하지 못했습니다.

• 핵심 질문: 이 지배적인 방향들은 매개변수 공간 내의 국소화된 회로 (local circuits) 나 해석 가능한 특징 (interpretable features) 인가, 아니면 다른 무엇인가?
• 기존 방법론의 한계: 표준적인 기계적 해석 (Mechanistic Interpretability) 도구들 (헤드 기여도 분석, 활성화 공간 분석, 희소 오토인코더 등) 은 이러한 지배적 방향을 포착하지 못합니다. 이는 분석 대상 (학습의 본질) 과 분석 도구 (표현 공간 기반) 간의 불일치 (category mismatch) 를 시사합니다.

2. 방법론 (Methodology)

저자는 모듈러 산술 (modular arithmetic) 작업을 수행하는 트랜스포머 모델의 학습 동역학을 분석하기 위해 **스펙트럼 분석 (Spectral Analysis)**을 도입했습니다.

• 스펙트럼 에지 (Spectral Edge) 정의:
  • 학습 중 가중치 업데이트 ($\delta\theta$) 의 시그널드 분해 (SVD) 를 수행합니다.
  • Gram 행렬의 고유값 분포를 분석하여, 대량 (bulk) 에서 분리되어 튀어나온 소수의 선도 고유벡터 (leading directions) 를 '스펙트럼 에지'로 정의합니다.
  • 이 에지의 형성은 그로킹 발생 여부와 강력하게 연관되어 있습니다.
• 함수적 모드 (Functional Modes) 분석:
  • 매개변수 공간의 방향 $v_k$가 입력 도메인에서 모델의 입력 - 출력 함수에 미치는 영향을 분석합니다.
  • 작은 변위 $\epsilon v_k$에 따른 잔류 스트림 (residual stream) 의 변화 $\Delta h_k(x)$를 계산하고, 이를 스칼라 필드 $f_k(x) = \|\Delta h_k(x)\|^2$로 변환합니다.
  • 이 함수적 패턴을 **대칭성 적응 기저 (Symmetry-Adapted Bases)**에서 분석합니다. 즉, 작업의 대수적 구조 (예: 덧셈의 경우 덧셈 군, 곱셈의 경우 이산 로그 기반의 곱셈 군) 에 맞는 푸리에 기저를 사용하여 패턴을 분해합니다.
• 실험 설정:
  • 2 레이어 트랜스포머 모델 사용.
  • 작업: 모듈러 덧셈, 뺄셈, 곱셈, $x^2+y^2$ 등 6 가지 연산.
  • 단일 작업 학습 및 공유 트렁크 (shared trunk) 를 가진 멀티태스크 학습 비교.

3. 주요 기여 (Key Contributions)

1. 강건한 스펙트럼 에지 탐지: 그로킹이 발생하는 동안 일관되게 소수의 선도 업데이트 방향 (스펙트럼 에지) 이 형성되며, 이는 그로킹/비그로킹 상태를 명확히 구분합니다.
2. 표현 수준 해석의 실패 증명: 헤드, 뉴런, 희소 특징 (SAE) 등 기존 해석 도구들이 스펙트럼 에지를 포착하지 못함을 보였습니다. 이는 에지의 구조가 매개변수나 특징 공간이 아닌 **함수 공간 (Function Space)**에 존재함을 의미합니다.
3. 대칭성 적응 기저에서의 기능적 구조 발견:
   • 덧셈/곱셈: 올바른 군론적 기저 (additive/multiplicative basis) 에서 스펙트럼 에지가 단일 지배적인 푸리에 모드로 수렴 (collapse) 합니다.
   • 뺄셈: 소수의 푸리에 모드 군을-spanning 합니다.
   • $x^2+y^2$: 단순한 1 차원 조화 기저로는 설명되지 않으며, 덧셈과 곱셈 특징의 교차항 (cross-terms) 으로 구성된 저차원 기능적 부분공간을 형성합니다.
4. 멀티태스크 학습에서의 기능적 재사용 증거: 공유 트렁크 모델에서 복합 작업 ($x^2+y^2$) 의 스펙트럼 에지가 단순 작업 (덧셈) 의 기능적 모드와 정렬되는 것을 확인하여, 신경망이 학습된 기능적 원시 (primitives) 를 재사용함을 입증했습니다.

4. 주요 결과 (Results)

• 그로킹과 스펙트럼 갭: 그로킹이 일어나는 모든 실험에서 Gram 행렬의 상위 2 개 고유값과 3 번째 고유값 사이의 갭 ($g_{23}$) 이 급격히 감소하며, 이는 업데이트가 저차원 부분공간으로 집중됨을 의미합니다. 비그로킹 조건에서는 이러한 현상이 관찰되지 않습니다.
• 함수 공간의 구조화:
  • 덧셈: 모든 선도 방향이 동일한 푸리에 주파수 ($\omega \approx 25-26$) 에 집중됩니다.
  • 곱셈: 일반적인 푸리에 기저에서는 구조가 희미하지만, 이산 로그 (discrete log) 기저로 변환하면 단일 주파수 ($\omega=29$) 로 명확히 수렴합니다.
  • 뺄셈: 단일 주파수 대신 소수의 모드 ($\omega \in \{6, 16, 32\}$) 로 분포합니다.
  • $x^2+y^2$: 단일 푸리에 기저로는 설명 불가능합니다. 그러나 덧셈과 곱셈 특징의 **교차항 (cross-terms)**을 포함할 때 설명력이 4 배 증가합니다. 이는 작업이 구성적 (compositional) 임을 보여줍니다.
• 멀티태스크 재사용: $x^2+y^2$ 작업을 덧셈 및 곱셈과 함께 학습했을 때, $x^2+y^2$ 헤드의 스펙트럼 에지가 덧셈 회로의 특징 주파수 ($\omega=26$) 와 더 강하게 정렬됩니다. 이는 복잡한 작업이 단순한 기능적 모드를 재사용하여 구성됨을 시사합니다.
• 간섭 가중치 (Interference Weights) 와의 연결: 스펙트럼 에지 위의 방향들은 '효과적인 가중치 (effective weights)'로 작용하여 일관된 입력 하위 집합을 활성화하는 반면, 에지 아래의 방향들은 '간섭 (interference)'을 나타냅니다.

5. 의의 및 결론 (Significance & Conclusion)

• 학습에 대한 새로운 관점: 신경망 학습은 매개변수 공간의 국소화된 회로를 찾는 과정이 아니라, **입력 도메인 위의 저차원 기능적 부분공간 (low-dimensional functional subspaces)**을 발견하는 과정으로 재해석됩니다.
• 대수적 구조와 학습 동역학: 학습이 발견하는 기능적 모드의 복잡성은 작업의 대수적 구조 (대칭성) 에 의존합니다. 대칭성이 명확한 작업은 단순한 푸리에 모드로 수렴하지만, 복잡한 구성 작업은 더 풍부한 기능적 설명이 필요합니다.
• 해석학의 패러다임 전환: 기존의 기계적 해석이 '어떤 뉴런이 켜지는가 (representation level)'에 집중한다면, 본 연구는 '입력 도메인에서 어떤 함수가 학습되는가 (functional level)'에 초점을 맞춥니다. 이는 푸리에 분석 및 연산자 이론과 더 밀접한 연결을 가집니다.
• 미래 방향: 이 프레임워크가 모듈러 산술을 넘어 언어 모델이나 복잡한 추론 작업으로 확장될 수 있는지, 그리고 사전에 알려진 대칭성이 없는 복잡한 작업에서 적절한 기능적 기저를 어떻게 발견할 것인지가 향후 중요한 과제로 남습니다.

요약하자면, 이 논문은 **스펙트럼 에지 (Spectral Edge)**를 통해 학습 동역학의 본질이 매개변수 공간이 아닌 함수 공간에 있으며, 이는 작업의 대수적 대칭성에 따라 구조화되고 재사용 가능함을 규명했습니다.