기술 요약: 뉴런 집단은 규모에 따라 상이한 선택성을 보임

문제 정의

뉴럴 스케일링 법칙(Neural scaling laws)이 모델 크기와 거시적 관측 가능량(예: 손실 함수) 사이의 예측 가능한 관계를 확립한 반면, 뉴런 수준에서의 내부 표현 조직은 여전히 이해가 부족한 상태로 남아 있다. 딥러닝과 신경과학의 핵심 질문 중 하나는 모델이 규모를 키울 때 뉴런이 구조를 어떻게 인코딩하는가 하는 점이다. 즉, 표현이 단일 단위에 국한되는지 아니면 집단 전체에 분산되는지, 그리고 이러한 구조가 모델 규모에 따라 어떻게 진화하는지에 대한 의문이다. 특히, 서로 다른 모델 간에 재발하는 뉴런 집단(cross-model recurring neuron populations)이 그 크기, 선택성(단일 의미성 대 다의성), 그리고 전문화에 관해 체계적인 법칙을 따르는지는 불분명하다.

방법론

저자들은 **로제타 뉴런(Rosetta Neurons)**을 사용하여 이러한 질문들을 조사한다. 로제타 뉴런은 Dravid 등(2023)에 의해 정의된 클래스로, 독립적으로 훈련된 모델들 사이에서 활성화 패턴이 재발하는 단위들을 의미한다. 본 연구는 다음과 같은 방법론을 채택한다:

1. 로제타 뉴런 식별:

   • 저자들은 트랜스포머 기반 언어 모델(Pythia, GPT-2, OPT, Qwen2.5; 80M–30B 파라미터)과 비전 모델(OpenCLIP, DINOv2, Pixio, Diffusion 모델; 80M–5B 파라미터)을 분석한다.
   • 모델 간의 토큰 단위 활성화를 정렬한다(텍스트의 경우 공유된 바이트 경계를 사용하고, 이미지의 경우 재샘플링된 공간 그리드를 사용함).
   • 모델 간 뉴런 쌍에 대해 페어와이즈 피어슨 상관계수(pairwise Pearson correlations)를 계산하고, 상호 최근접 이웃(mutual nearest-neighbor) 쌍($k=1$)을 식별하여 로제타 뉴런을 찾아낸다. 이는 비대칭적이거나 노이즈가 섞인 매칭을 배제하기 위함이다.

2. 스케일링 분석:

   • 발견된 로제타 뉴런의 수를 모델의 전체 뉴런 수에 대해 플로팅하여 스케일링 법칙을 도출한다.
   • 이 추세가 학습된 표현의 특성인지 아니면 구조적 아티팩트인지 확인하기 위해, 훈련되지 않은 무작위 네트워크 및 입력 순서가 치환된 데이터셋을 포함한 널 베이스라인(null baselines)과 비교한다.

3. 분석적 모델링:

   • 저자들은 중첩(superposition) 이론(Elhage et al., 2022)에 기반한 용량 할당 모델을 제안한다.
   • 이 모델은 특징 중요도 스펙트럼이 멱법칙($w_r \propto r^{-\beta}$)을 따른다고 가정하며, 여기서 특징들은 유한한 뉴런 좌표를 두고 경쟁한다.
   • 모델은 높은 중요도를 가진 특징들이 손실을 줄이기 위해 "깨끗한" 격리(단일 의미성, monosemanticity)를 할당받는 반면, 낮은 중요도의 특징들은 중첩(다의성, polysemanticity) 상태로 남는다고 가정한다.
   • 모델은 검출 가능한 격리된 특징(로제타 뉴런)의 수가 하위 선형 멱법칙($N^{1/\beta}$)을 따를 것임을 도출하며, **뉴런 양극화 효과(Neuron Polarization Effect)**를 예측한다.

4. 속성 평가:

   • 선택성(Selectivity): 언어 모델의 경우 어휘 공간 투영 첨도(vocabulary-space projection kurtosis)를 통해, 비전 모델의 경우 VLM-as-a-judge 평가를 통해 측정한다.
   • 전문화(Specialization): 로제타 뉴런의 상위 활성화 컨텍스트(예: 코드, 수학, 일반 산문)를 범주화하여 다양한 모델 규모에 따른 변화를 분석한다.
   • 유용성(Utility): 단일 로제타 뉴런을 사용하여 특정 도메인을 복구하는 데이터 필터링 사례 연구를 수행한다.

주요 결과

1. 하위 선형 멱법칙 스케일링

언어 및 비전 모델 모두에서 로제타 뉴런의 집단은 모델 크기에 따라 예측 가능하게 성장하지만, 하위 선형 멱법칙($|R| \propto N^\alpha$, $\alpha \approx 0.5\text{--}0.7$)을 따른다.

• 시사점: 더 큰 모델은 절대적인 수치 면에서 더 많은 공유 단위를 포함하지만, 이 단위들이 전체 뉴런 집단에서 차지하는 비율은 점차 줄어든다.
• 검증: 이러한 추세는 훈련되지 않은 무작위 네트워크나 입력 순서가 치환된 베이스라인에서는 나타나지 않으며, 이는 이것이 학습된 표현으로부터 기인함을 확인시켜 준다.

2. 뉴런 양극화 효과

본 연구는 규모가 커짐에 따라 뉴런의 속성이 분화되는 현상을 관찰한다:

• 로제타 뉴런: 점점 더 **선택적이고 단일 의미적(monosemantic)**이 된다. 언어 모델의 경우 어휘 공간 투사에서 과잉 첨도가 증가하며, 비전 모델의 경우 VLM 판정기가 이들이 일관된 시각적 특징에 반응한다고 식별하는 빈도가 높아진다.
• 비-로제타 뉴런: 덜 선택적이며 점점 더 **다의적(polysemantic)**이 되어, 혼합된 특징들이 밀집된 배경을 형성한다.
• 이론적 일치: 이는 고중요도 특징들이 더 깨끗하게 격리되는 반면, 저중요도 특징의 꼬리 부분은 중첩 상태로 남는다는 분석 모델의 예측과 일치한다.

3. 도메인 전문화

로제타 뉴런은 규모가 커짐에 따라 특화된 도메인으로 이동한다.

• 언어 모델에서 로제타 뉴런의 발화는 훈련 코퍼스 내의 빈도와 비교했을 때 특화된 텍스트 카테고리(예: 코드, 수학)에 점점 더 집중된다.
• 이러한 변화는 비-로제타 뉴런에서는 관찰되지 않으며, 비-로제타 뉴런은 규모에 관계없이 안정적인 문서 유형 선호도를 유지한다.

4. 데이터 필터링에서의 기능적 유용성

JavaScript에 선택적인 단일 로제타 뉴런(Pythia-6.9B 모델에서 식별됨)을 사용하여 다국어 코드 코퍼스를 필터링하였다.

• 복구: 해당 필터는 실제 JavaScript 서브셋을 복구하는 데 있어 오라클(oracle)에 근접한 0.98의 F1 점수를 달성하였다.
• 다운스트림 성능: 필터링된 데이터로 지속적 사전 학습(continued pretraining)을 진행한 결과, 퍼플렉시티(perplexity)는 오라클 베이스라인(3.01)에 거의 근접한 3.02를 기록하였으며, 이는 무작위 필터링(3.59)이나 비-로제타 뉴런 필터링(3.23)보다 유의미하게 우수한 성능을 보였다.

의의 및 주장

본 논문은 해석 가능한 공유 뉴런 수준의 구조에 대한 스케일링 법칙을 확립했다고 주장한다. 주요 기여는 다음과 같다:

1. 규모와 내부 구조의 연결: 모델 크기가 거시적 손실 지표를 넘어 공유 뉴런 집단의 보편성, 선택성, 전문성을 체계적으로 변화시킨다는 것을 입증한다.
2. 양극화 메커니즘: 규모 확장이 성장하는 고도로 선택적인 공유 단위 집단과 다의적인 배경 사이의 분리를 유도한다는 "뉴런 양극화 효과"에 대한 경험적 및 이론적 증거를 제공한다.
3. 실용적 해석 가능성: 로제타 뉴런이 단순한 이론적 호기기(curiosity)가 아니라, 추가적인 훈련이나 타겟 개념 없이도 데이터 필터링 및 도메인 특화와 같은 목표 지향적 작업에 사용될 수 있는 기능적 단위임을 보여준다.
4. 일반화 가능성: 이러한 발견은 이질적인 아키텍처(Transformer, Diffusion Transformer)와 모달리티(언어, 비전) 전반에 걸쳐 유지되며, 이는 용량 제약 하에서 신경망이 표현을 조직하는 방식의 근본적인 원리를 시사한다.

저자들은 로제타 뉴런이 공유된 내부 구조를 연구하기 위한 다루기 쉬운 관측 가능량(observable)으로서, 거시적인 스케일링 동작과 미시적인 학습된 표현의 조직 사이를 잇는 가교 역할을 한다고 결론짓는다.