🤖 machine learning

Learning reshapes power-law anisotropy in internal representations

이 논문은 스펙트럼 지수가 정적인 상태로 유지되는 체제와 달리, 선형 및 비선형 네트워크에서의 특징 학습이 입력 통계량과 작업 구조 사이의 역동적인 상호작용을 통해 이 지수의 비단조적 진화를 유도한다는 점을 입증함으로써 신경 표현에서 나타나는 멱법칙 이방성의 배후에 있는 메커니즘을 규명한다.

원저자: Asahi Nakamuta, Jun-nosuke Teramae

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Asahi Nakamuta, Jun-nosuke Teramae

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 인공지능의 엔진인 신경망은 종종 원시 데이터를 복잡한 결정으로 변환하는 '블랙박스'로 묘사되곤 한다. 신경망이 어떻게 작동하는지 이해하기 위해 과학자들은 네트워크가 정보를 처리하면서 생성하는 고차원적 패턴인 '내부 표현(internal representations)'을 들여다본다. 이러한 패턴의 형태를 측정하는 핵심적인 방법 중 하나는 정보의 서로 다른 방향들이 갖는 중요도가 어떻게 분포되어 있는지를 살펴보는 것이다. 생쥐의 뇌에서부터 가장 진보된 언어 모델에 이르기까지, 많은 시스템에서 이 분포는 특정한 규칙을 따른다. 즉, 몇몇 방향이 방대한 양의 정보를 보유하는 반면, 나머지 방향은 점진적으로 줄어드는 양을 보유하며, 이는 '멱법칙(power law)'이라 불리는 예측 가능한 수학적 곡선을 따라 급격히 감소한다. 이러한 불균형성, 즉 이방성(anisotropy)은 네트워크가 학습하고 일반화하는 효율성에 있어 매우 중요한 것으로 여겨진다. 오랫동안 연구자들은 이 패턴이 단순히 네트워크에 입력된 데이터의 지문처럼, 데이터가 남긴 정적인 반영이라고 가정해 왔다. 그러나 새로운 한 연구는 이러한 관점에 도전하며, 이 패턴이 단순히 상속된 것이 아니라 학습 과정 자체에 의해 능동적으로 재형성되는 것임을 시사한다.

교토 대학교의 연구팀은 이러한 재형성이 정확히 어떻게 일어나는지 밝혀내기 위해 연구를 시작했다. 그들은 넓은 은닉층을 가진 2층 구조의 단순화된 신경망 모델을 '교사-학생(teacher-student)' 시나리오에 배치하여 집중적으로 조사했다. 이 설정에서 학생 네트워크는 이미 멱법칙 구조를 가진 데이터를 사용하여, 교사가 정의한 과업을 학습하려고 시도한다. 연구진은 다음과 같은 질문을 던졌다. 학생 네트워크는 단순히 교사의 패턴을 복제하는가, 아니면 학습 행위 자체가 내부 표현의 기하학적 구조를 변화시키는가? 네트워크가 시간에 따라 어떻게 변화하는지를 규정하는 방정식들을 수학적으로 풀이함으로써, 그들은 그 답이 네트워크가 어떻게 훈련되느냐에 전적으로 달려 있다는 것을 발견했다. 그들은 네트워크가 단 하나의 고정된 패턴으로 수렴하지 않는다는 사실을 찾아냈다. 대신, 내부 정보의 형태는 학습함에 따라 역동적으로 진화하며, 학습 과정에서 뚜렷한 단계들을 거치게 된다.

이 연구는 이러한 패턴의 진화가 직선적인 경로가 아니라, 서로 다른 체제(regimes)를 통과하는 여정임을 보여준다. 네트워크가 과업을 해결하기 위해 내부 구조를 능동적으로 재구성하는 '특징 학습(feature-learning)' 모드로 훈련될 때, 패턴의 변화는 극적으로 일어난다. 초기에 네트워크의 내부 상태는 입력 데이터와 일치한다. 하지만 학습이 시작되면 패턴이 변화한다. 연구진은 네트워크가 최대 4단계의 서로 다른 조직화 단계를 거친다는 것을 확인했다. 학습의 가장 초기 단계에서 패턴은 더욱 편향되어, 정보가 소수의 방향에 더욱 집중된다. 학습이 계속됨에 따라 이 가파름은 완화되며, 패턴은 교사가 네트워크에 요구하는 특정 과업에 의해 결정되는 새로운 안정적인 형태로 자리 잡는다. 이 새로운 형태는 원래의 데이터 구조와 과업의 요구 사항이 혼합된 결과물이며, 그 결과 최종 패턴은 원시 데이터 및 초기 상태 모두와는 다른 모습을 띠게 된다.

결정적으로, 연구진은 이러한 역동적인 재형성이 네트워크가 특징을 깊이 있게 학습할 수 있도록 허용될 때만 발생한다는 것을 보여주었다. 만약 네트워크가 내부 구조를 거의 변경하지 않고 주로 초기 무작위 설정에 의존하는 체제에서 훈련된다면, 패턴은 고정된다. 이 상태에서는 내부 표현이 입력 데이터를 단순히 반영할 뿐, 유의미한 재구성을 거치지 않고 시작 당시와 거의 동일하게 유지된다. 이러한 차이는 매우 중요하다. 왜냐하면 실제 신경망에서 관찰되는 멱법칙 패턴이 데이터 자체의 필연적인 결과가 아님을 증명하기 때문이다. 대신, 그것은 입력의 통계적 특성과 학습 과업의 구체적인 목표 사이의 특정한 능동적 상호작용의 결과이다.

연구팀은 이러한 발견이 단순히 단순화된 수학적 모델의 특이 현상이 아 아닌지 확인하기 위해, 실제 세계의 인공지능과 더 유사하게 작동하는 더 복잡한 비선형 네트워크를 대상으로 이론을 테스트했다. 결과는 유효했다. 더욱 현실적인 시스템에서도 특징 학습 체제에서는 내부 표현의 형태가 훈련 중에 변화했지만, 초기 무작위 설정에 주로 의존하는 체제에서는 정적인 상태를 유지했다. 이 연구는 생물학적 뇌와 인공 뇌에서 관찰되는 멱법칙 이방성이 유동적인 속성임을 시사한다. 그것은 데이터의 고정된 특성이 아니라, 시스템이 환경에 적응하는 방식의 역동적인 서명이다. 이 연구는 네트워크의 내부 상태라는 미시적 기하학이 어떻게 형성되는지에 대한 명확하고 분석적인 설명을 제공하며, 시스템이 접하는 데이터와 그 시스템이 발전시키는 지능 사이의 관계를 이해하는 새로운 방법을 제시한다.

기술 요약: 학습이 내부 표현의 멱법칙 이방성을 어떻게 재형성하는가

문제 정의
내부 표현의 고유값 스펙트럼에서 관찰되는 멱법칙 이방성(power-law anisotropy)은 생쥐의 대뇌 피질부터 대규모 언어 모델에 이르기까지 다양한 신경 시스템에서 발견되는 보편적인 기하학적 특성이다. 랭크(rank)에 따라 고유값이 멱법칙을 따르며 감소하는 이 현상은 코딩 효율성, 강건성 및 일반화와 연결되어 있다. 그러나 기존의 이론적 프레임워크는 대부분 멱법칙 지수를 입력 통계로부터 상속된 고정된 양으로 취급하거나 학습 중에도 정적으로 유지된다고 가정한다. 결과적으로, 과업 중심의 학습이 이러한 스펙트럼을 어떻게 재형성하는지, 그리고 입력 구조와 교사 신호(teacher signal)에 반응하여 지수가 어떻게 동적으로 진화하는지에 대한 메커니즘은 여전히 불분명하다. 특히, 내부 표현이 단순히 입력의 멱법칙을 상속받는 것인지, 아니면 비자명한 변형(non-trivial deformation)을 거치는 것인지, 그리고 이러한 변화가 학습 방식(특징 학습 vs 선형화된 방식)에 따라 어떻게 달라지는지는 알려져 있지 않다.

방법론
이 질문들을 해결하기 위해, 저자들은 교사-학생(teacher-student) 설정에서의 광범의한 2층 선형 신경망을 분석한다. 모델은 입력 차원 $D$ , 은닉 폭 $N$ , 출력 차원 $P$ 로 정의되며, 여기서 $P=D \ll N$ 이고 $N \to \infty$ 이다.

입력 및 교사 구조: 입력 공분산 행렬과 교사 그램(Gram) 행렬은 모두 동일한 직교 기저에서 대각 행렬이며, 고유값은 각각 지수 $\alpha$ (입력)와 $\beta$ (교사)를 따르는 멱법칙으로 감소한다고 가정한다.
역학(Dynamics): 네트워크는 평균 제곱 오차에 대한 팝퓰레이션 경사 하강법(population gradient flow)을 통해 학습된다. 입력-출력 맵은 선형이지만, 가중치의 결합 학습은 내부 표현에서 비선형 역학을 유도한다.
분석적 접근: 저자들은 무한 데이터 및 무한 폭 한계에서 내부 표현 커널(첫 번째 층 가중치의 그램 행렬)의 고유값에 대한 정확한 시간적 진화를 유도한다. 이들은 스펙트럼을 초기화 성분(입력으로부터 상속됨)과 교사 유도 성분(학습을 통해 형성됨)으로 분해한다.
레짐 분석: 연구는 특징 학습 레짐(feature-learning regime)(가중치가 크게 변하는 경우)과 선형화된 레짐(linearized regime)(가중치가 초기값 근처에 머무는 경우)을 구분하며, 이는 파라미터 $\gamma_0$ 에 의해 제어된다.
검증: 이론적 예측은 유한 폭 선형 네트워크와 비선형 활성화 함수를 가진 비선형 네트워크의 수치 시뮬레이션을 통해 검증된다.

주요 기여 및 결과
본 논문은 내부 표현의 국소 멱법칙 지수가 학습 중에 어떻게 진화하는지에 대한 정확한 분석적 특성을 제공한다.

스펙트럼 분해: 내부 표현 스펙트럼 $\rho_k(t)$ 는 두 가지 가산적 성분으로 구성됨을 보여준다. 하나는 입력 공분산에서 유도된 것(초기화 시 존재)이고, 다른 하나는 학습을 통해 교사 신호에 의해 유도된 것이다. 이 두 성분의 상대적 우세함이 스펙트럼의 형태를 결정한다.
네 가지 점근적 지수 레짐: 특징 학습 레짐에서, 국소 유효 멱법칙 지수 $\alpha_{\text{eff}}(k, t)$ 는 정적이지 않다. 학습이 진행됨에 따라, 스펙트럼은 모드 인덱스 $k$ 와 학습 시간 $t$ 에 따라 최대 네 가지의 뚜렷한 점근적 레짐을 나타낸다:
- 영역 I (초기화 지배): $\alpha_{\text{eff}} \approx \alpha$ . 학습에 의한 변화가 초기화에 비해 미미할 때 발생한다.
- 영역 II (초기 학습, 첫 번째 층 지배): $\alpha_{\text{eff}} \approx 3\alpha + \beta$ . 학습이 시작되었으나 아직 모드가 완전히 학습되지 않았고, 첫 번째 층이 업데이트를 주도할 때 발생한다.
- 영역 IIIa (학습됨, 첫 번째 층 지배): $\alpha_{\text{eff}} \approx \alpha + \beta$ . 모드가 학습되었고, 첫 번째 층이 주요 학습 신호를 전달할 때 발생한다.
- 영역 IIIb (학습됨, 양측 층 모두): $\alpha_{\text{eff}} \approx \alpha + \beta/2$ . 모드가 학습되었고, 학습이 두 층 모두에 분산되어 있을 때 발생한다.
  전이 과정은 비단조적(non-monotonic)이다. 즉, 고정된 모드에 대해 지수는 먼저 가팔라졌다가(일시적), 교사 신호가 통합됨에 따라 감소할 수 있다.
선형화된 레짐의 안정성: 선형화된 레짐에서는 학습 유도 성분이 초기화 성분을 결코 초과하지 않는다. 결과적으로, 국소 지수는 학습 내내 본질적으로 변하지 않으며( $\alpha_{\text{eff}} \approx \alpha$ ), 이는 내부 표현이 입력의 이방성을 크게 재형성하지 못함을 나타낸다.
비선형 네트워크로의 일반화: 비선형 네트워크를 이용한 수치 실험은 예측된 스펙트럼 전이와 특징 학습 및 선형화된 레짐의 구분이 선형 모델을 넘어 지속됨을 보여준다. 비선형 특징 학습 설정에서도 스펙트럼은 유한한 모드 범위에 대해 $\alpha$ 에서 $\alpha + \beta$ 로 유사하게 전이된다.

의의
본 논문은 멱법칙 내부 표현의 형성을 설명하는 일반적인 메커니즘을 제공한다고 주장한다. 결과는 이러한 표현이 단순히 입력 통계의 정적인 반영이 아니라, 입력 이방성, 교사 신호의 이방성, 그리고 모드별 학습 시간 척도 사이의 상호작용에 의해 동적으로 재형성된다는 것을 시사한다.

멱법칙 지수가 여러 점근적 값을 가질 수 있고 비단조적으로 진화할 수 있음을 입증함으로써, 본 연구는 이론적 분석에서의 고정된 지수 가정에 도전한다. 이는 내부 표현의 기하학적 특성이 데이터 구조와 과업 중심의 학습 역학 사이의 특정한 상호작용의 결과임을 확립한다. 이 분석적 프레임워크는 미시적 스펙트럼 기하학이 어떻게 거시적 성능 및 스케일링 법칙과 연결되는지를 이해하기 위한 출발점을 제공한다.

유사한 논문