Critical Percolation as a Synthetic Data Model for Interpretability

기술 요약: 해석 가능성을 위한 합성 데이터 모델로서의 임계 퍼콜레이션(Critical Percolation)

문제 정의
심층 신경망은 자연스러운 데이터의 계층적, 다중 스케일 구조를 반영하는 특징(feature)을 학습한다. 그러나 메커니즘 해석 가능성(mechanistic interpretability) 방법을 평가하기 위해 사용되는 기존의 합성 데이터셋들은 이러한 현실적인 구조가 결여되어 있어, 토이 모델(toy model)로서의 유용성이 제한적이다. 기존의 합성 모델들은 희소성(sparsity)이나 계층 구조(hierarchy) 중 하나만을 포착할 수 있으나, 자연 데이터 분포에서 발견되는 멱법칙 통계(power-law statistics), 낮은 내재적 차원(low intrinsic dimensionality), 자기 유사성(self-similarity)과 같은 속성들을 통합적으로 구현하지는 못한다. 또한, "차원의 저주"는 자연스러운 데이터가 효율적으로 학습되기 위해서는 높은 수준의 구조를 지녀야 함을 시사한다. 특히 희소 오토인코더(Sparse Autoencoders, SAEs)와 관련된 최근의 해석 가능성 연구는 특징 분리(feature splitting) 및 흡수(absorption) 현상을 관찰하고 있으며, 이는 학습된 특징들이 단순한 희소 모델이 포착할 수 없는 복잡한 계층적 조직을 가지고 있음을 암시한다. 따라서 이러한 구조적 속성들을 통합하여 해석 가능성 연구의 현실적인 테스트베드로 활용할 수 있는, 원칙적이고 분석적으로 다루기 쉬운 데이터 모델이 필요하다.

방법론
저자들은 **임계 평균장 퍼콜레이션 이론(critical mean-field percolation theory)**에 기반한 합성 데이터셋 제품군을 소개한다. 이 모델은 다음 구성 요소들을 통해 구축된다:

1. 퍼콜레이션을 통한 데이터 생성:

   • 공간: 데이터 포인트들은 고차원 초입방 격자($\Lambda \subset \mathbb{R}^d$)에서 추출된다.
   • 임계성: 사이트(site)들은 확률 $p = p_c$(임계 임계값)로 점유되며, 이를 통해 시스템이 클러스터가 프랙탈 특성을 보이고 멱법칙 크기 분포($n_s \propto s^{-5/2}$)를 갖는 임계 영역에 있도록 보장한다.
   • 평균장 가정: 차원 $d$는 충분히 커서($d \gg 6$) 격자가 베테 격자(Bethe lattice, 트리 구조)처럼 동작한다고 가정하며, 이를 통해 모델의 분석적 추적 가능성을 확보한다.
   • 기하학적 구조: 결과적으로 생성된 클러스터들은 희소하고 저차원적인 프랙탈 구조를 가진다.

2. 계층적 타겟 생성:

   • 타겟은 이진 트리 구조(하나의 "잠재적 숲", latent forest)로 조직된 잠재 변수들에 의해 생성된다.
   • 인접한 점유 사이트 간의 결합(bond)이 활성화됨에 따라 클러스터들이 병합된다. 각 병합 시마다 새로운 잠재 변수가 도입되며, 이는 병합된 하위 클러스터들의 잠재 변수들에 대한 부모 역할을 한다.
   • 데이터 포인트 $x$에 대한 타겟 값 $y_x$는 트리 상의 리프(leaf, 해당 포인트)로부터 루트(root)까지의 경로에 있는 잠재 변수들의 선형 함수이며, 깊이(depth)에 의해 정규화된다.

3. 순환 합병 알고리즘 (The Cyclic Coalescent Algorithm):

   • 고차원 격자에서 퍼콜레이션을 직접 시뮬레이션하는 것은 계산 비용이 많이 들며, 계층적 분해를 명시적으로 산출하지도 않는다.
   • 저자들은 임계 평균장 퍼콜레이션 클러스터, 균등 무작위 레이블 트리(uniform random labeled trees), 그리고 가법적 합병 과정(additive coalescent process) 사이의 수학적 등가성을 활용한다.
   • 저자들은 무작위 트리와 그에 대응하는 계층적 분해를 동시에 샘플링하는 순환 합병 알고리즘을 제안한다. 노드들을 무작위 순환 순서로 배치하고 노드를 그 후속 노드와 반복적으로 병합함으로써, 거의 선형 시간 $O(n \alpha(n))$ (여기서 $\alpha$는 역 아커만 함수) 내에 균등 무작위 트리를 생성하고 대응하는 계층 구조를 생성한다.

4. 실험 설정:

   • 두 가지 데이터셋이 생성되었다: "단일 클러스터" 데이터셋($2 \times 10^5$ 포인트)과 "다중 클러스터" 데이터셋($2 \times 10^6$ 포인트, 클러스터 크기 $\ge 500$ 조건으로 필터링됨).
   • 트랜스포머 피드포워드 블록을 모사하도록 설계된 잔차 MLP(residual MLP)가 이 데이터셋들로 학습되었다.
   • 프로빙 실험: 신경망의 활성화 함수(입력, 은닉층, 잔차 스트림)로부터 정답 잠재 변수를 디코딩하기 위해 선형 프로브(linear probe)를 학습시켰다.

주요 기여

1. 원칙적인 합성 데이터 모델: 저자들은 멱법칙 통계, 계층적 분류 체계, 희소성, 낮은 내재적 차원, 자기 유사성을 임계 퍼콜레이션 이론으로부터 도출하여 통합한 데이터 모델을 제시한다.
2. 분석적 추적 가능성: 이 모델은 알려진 임계 지수(예: $\tau=5/2, D=4$)에 의존하며, 통계적 특성을 고정하기 위해 하이퍼파라미터를 튜닝할 필요가 없다.
3. 효율적인 샘플링 알고리즘: 저자들은 순환 합병 알고리즘을 개발하고 그 정당성을 증명함으로써, 임의의 규모에서 계층적 퍼콜레이션 합성 데이터를 거의 선형 시간에 생성할 수 있게 하였다.
4. 경험적 검증: 본 연구는 정답 계층적 잠재 변수가 신경망의 활성화 함수 내에 선형적으로 표현될 수 있음을 보여줌으로써, 이 모델의 해석 가능성 연구에 대한 유용성을 입증한다.

결과

• 모델 성능: 학습된 MLP는 1-최근접 이웃(1NN) 베이스라인과 대등한 성능을 보였으며, Ridge 회귀를 유의미하게 능가하였다. 이는 과업의 비선형성과 모델의 학습 가능성을 확인시켜 준다.
• 선형 디코더 가능성: 프로빙 실험 결과, 정답 잠재 변수들이 네트워크의 활성화 함수 내에 선형적으로 표현 가능하다는 것이 밝혀졌다.
  • 은닉층 활성화 함수에 대해 학습된 프로브는 원시 입력(raw input)에 대해 학습된 프로브보다 일관되게 낮은 평균 제곱 오차(MSE)를 달성했다.
  • 프로브의 성능 격차(원시 입력 대비)는 '측정 지표(Figure of Merit, FOM)'—클러스터 크기의 제곱근 대비 잠재 변수의 크기 비율로 정의됨—가 증가함에 따라 감소했다.
• 멱법칙 경향: 잠재 변수별 MSE는 FOM에 따른 멱법칙 경향을 보였다. 이는 특정 잠재 변수의 통계적 중요성(크기와 클러스터 맥락에 의해 결정됨)이 단순히 계층 내 깊이보다 디코더 가능성을 더 잘 예측하는 지표임을 시사한다.
• 층별 구조: 뚜렷한 층별 진행 양상은 관찰되지 않았다; 프로브 MSE는 모든 MLP 블록에서 유사했다. 이는 네트워크가 반드시 계층적 합을 층별로 구축하는 방식으로 구성적 모델(compositional models)처럼 표현하지 않거나, 혹은 계층이 다른 방식으로 표현될 수 있음을 시사한다.

의의 및 주장
본 논문은 임계 퍼콜레이션이 원칙적인 테스트베드를 제공한다고 주장한다. 정답 계층적 잠재 변수와 현실적인 구조적 속성(희소성, 멱법칙, 프랙탈)을 갖춘 데이터셋을 제공함으로써, 연구자들은 다음과 같은 작업을 수행할 수 있다:

• 알려진 정답(ground truth)을 바탕으로 해석 가능성 도구(예: SAE)를 검증하고 개선한다.
• SAE의 병리 현상(특징 분리, 흡수)이 분류학적 계층을 가진 데이터에서 학습될 때 발생하는지 조사한다.
• 데이터 구조와 신경망 활성화 구조 사이의 관계를 연구한다.

저자들은 이 연구를 대규모 언어 모델(LLM)에 대한 경험적 연구를 보완하는 작업으로 위치시키며, 현재의 모델이 무작위 데이터 분포 가정과 스칼라 회귀에 국한되어 있다는 점을 한계로 언급하면서, 이를 즉각적인 해결책이 아닌 향후 연구 방향으로 제시한다. 이 연구의 목적은 해석 가능성을 해결하는 것이 아니라, 이를 촉진하기 위한 엄밀하고 수학적으로 근거가 확실한 합성 환경을 제공하는 것이다.