기술 요약: 이그니션 인덱스 (The Ignition Index)

문제 정의

본 논문은 트랜스포머 언어 모델의 레이어별 정보 축적이 전역 작업 공간 이론(Global Workspace Theory, GWT)이 예측하는 이그니션(ignition, 점화)과 같은 임계값 비선형성을 보이는지라는 근본적인 역학적 질문을 다룬다. GWT는 전역 브로드캐스트 메커니즘을 가진 시스템이 "전부 아니면 전무(all-or-none)" 식의 이그니션을 생성한다고 가정한다. 즉, 자극 표현이 임계값을 넘어 전역적으로 가용해지는 급격하고 비선형적인 전이가 발생한다는 것이다. 트랜스포머는 GWT와 구조적 유사성(예: 공유 채널로서의 잔차 스트림, 전역 라우팅으로서의 어텐션)을 공유하지만, 그들의 표현 전이가 급격한지(이그니션 형태) 혹은 점진적인지(선형 형태)는 아직 측정되지 않았다. 또한, 이러한 역학이 서로 다른 아키텍처 패밀리(예: 어텐션 기반 vs 상태 공간 모델)나 훈련 단계에 따라 어떻게 체계적으로 변하는지도 알려져 있지 않다.

방법론

저자는 GWT의 이그니션 예측을 트랜스포머 모델에서 정량화하기 위해 검증된 스칼라 지표인 **이그니션 인덱스 ($I$)**를 도입한다. 방법론은 다음의 네 가지 주요 단계로 진행된다:

1. 신호 강도 조작: 토큰 마스킹, 임베딩 노이즈, 의미론적 부패(semantic corruption)를 포함한 제어된 토큰 오염을 통해 입력 신호 강도($s \in [0, 1]$)를 변화시킨다.
2. 레이어별 프로빙: 모델의 모든 레이어 $\ell$에서 잔차 스트림 상태($x^{(\ell)}$)에 선형 프로브를 훈련시켜 과업 관련 정보(형태통사론적, 의미론적, 통사론적 과업)를 디코딩한다.
3. 시그모이드 피팅: 고정된 신호 강도에 대해, 레이어-정확도 곡선 $Acc(\ell, s)$를 4-파라미터 로지스틱 함수에 피팅한다:
   $$f(\ell) = y_{min} + \frac{y_{max} - y_{min}}{1 + \exp(-\beta(\ell - \ell_0))}$$
   이그니션 인덱스는 기울기 파라미터인 $\hat{\beta}$로 정의된다. 높은 $\hat{\beta}$는 급격한 이그니션 형태의 전이를 나타내며, 낮은 $\hat{\beta}$는 점진적이고 선형적인 축적을 나타낸다.
4. 검증 및 대조군:
   • 라벨 셔플링 대조군: 지표가 단순한 프로브 용량이 아닌 실제 언어 구조를 포착하는지 확인하기 위해 라벨을 순열(permutation) 처리한다.
   • 천장 분석(Ceiling analysis): 수치적 천장에 도달하는 피팅($\hat{\beta}=300$)을 분석하여 아키텍처 간의 격차가 피팅 아티팩트가 아님을 보장한다.
   • 통계적 검정: 아키텍처 간 비교를 위해 Mann-Whitney U-test와 부트스트랩 Wilcoxon rank-sum test를 사용한다.

이 프레임워크는 GPT-2, Pythia, Gemma 2 (피드포워드), Huginn-3.5B (재귀적 깊이), Mamba (상태 공간 모델/SSM)의 5개 아키텍처 패밀리에 걸친 12개 모델에 적용되었다.

주요 기여

1. 이그니션 인덱스 ($I$): 레이어 구조를 가진 모델에서 GWT와 유사한 표현 전이를 정량화하기 위해 이론적으로 근거하고 검증 가능한 지표를 제공한다.
2. 선택성 검증: 실제 언어적 전이($\hat{\beta} = 113.1$)와 셔플된 라벨 대조군($\hat{\beta} = 11.8$) 사이의 9.6배 격차를 입증함으로써, 지표가 실제 구조를 측정함을 확인했다.
3. 아키텍처 판별력: 어텐션 기반 피드포워드 트랜스포머와 상태 공간 모델 사이의 통계적으로 유의미한 격차($p < 10^{-13}$)를 확립했다.
4. 축 의존적 이그니션: 재귀적 아키텍처(Huginn-3.5B)에서 이그니션 역학이 깊이 축이 아닌 재귀/반복 축을 따라 나타남을 밝혔다.
5. 훈련 역학: 잘 알려진 인덕션 헤드(induction-head) 형성 단계보다 앞서 발생하는 훈련 단계의 새로운 상전이(Pythia-410M의 경우 step 256)를 식별했다.

주요 결과

1. 아키텍처 순위 결정 (가설 1)

• 피드포워드 vs. SSM: 어텐션 기반 피드포워드 모델은 상태 공간 모델($\hat{\beta}_{SSM} = 68.7$)에 비해 현저히 높은 이그니션 인덱스($\hat{\beta}_{FF} = 130.0$)를 보이며, 이는 89%의 격차를 나타낸다. 천장 도달 사례를 제외하더라도 이 격차는 2.12배로 벌어진다.
• Mamba의 동작: Mamba 모델은 전역 브로드캐스트 메커니즘의 부재와 일치하게, 거의 선형적이고 평탄한 레이어-정확도 프로파일을 보여준다.
• Huginn-3.5B (재귀적 깊이): 초기에는 깊이 축을 따라 측정했을 때 피드포워드 평균보다 낮게 나타났으나($\hat{\beta}_{depth} = 111.0$), 반복 축 프로빙을 통해 훨씬 더 가파른 전이($\hat{\beta}_{iteration} = 234.8$)를 발견했다. 이는 재귀적 아키텍처가 레이어 스택 전체가 아닌 재귀 루프 내에 이그니션 역학을 집중시킨다는 것을 의미한다.

2. 스케일링 효과 (가설 2)

모델 규모가 커질수록 이그니션의 날카로움이 단조 증가할 것이라는 가설은 기각되었다. 대신, 모든 패밀리에서 비단조적인 "정점 후 하락(peak-then-decline)" 패턴이 관찰되었다. 이그니션은 중간 규모 모델(예: Pythia-1.4B, GPT-2 Medium)에서 정점을 찍은 후 대규모 모델에서는 감소했다. 저자는 대규모 모델이 중첩(superposition)을 통해 표현 전이를 더 많은 레이어에 분산시킴으로써 전이 프로파일을 넓히기 때문이라고 제안한다.

3. 신호 강도 의존성 (가설 3)

더 강한 신호가 더 날카로운 전이를 생성할 것이라는 가설은 확인되지 않았다. 많은 모델이 비단조적 패턴을 보였으며, 일부 모델은 낮은 또는 중간 정도의 신호 강도에서 가장 높은 $\hat{\beta}$를 보였다. 저자는 매우 낮은 신호에서는 정보가 단일 레이어에서 임계값을 넘을 수 있어(전부 아니면 전무) $\hat{\beta}$가 인위적으로 높아지는 반면, 전체 신호가 주어지면 다층적인 통합이 가능해지기 때문이라고 추측한다.

4. 훈련 역학 (가설 4)

Pythia-410M의 경우, $\hat{\beta}$가 67% 증가(39.57에서 66.02로)하는 훈련 스텝 256에서 유의미한 변화점(changepoint)이 감지되었다. 이는 인덕션 헤드 형성 단계(~2,000 스텝)보다 앞서 발생하는 것으로, 이그니션과 유사한 구조적 공고화가 더 이른 훈련 단계에서 일어남을 시사한다. Pythia-1.4B는 이러한 안정적인 변화점을 보이지 않고 휘발적인 역학을 나타냈다.

의의 및 주장

본 논문은 GWT의 역학적 예측과 언어 모델의 기계론적 해석학(mechanistic interpretability) 사이를 잇는 최초의 검증된 정량적 가교를 제공한다고 주장한다.

• 아키텍처적 통찰: 결과는 어텐션 기반의 전역 브로드캐스트가 급격한 이그니션 형태의 표현 전이를 위한 핵심적인 아키텍처적 전제 조건이라는 견해를 뒷받합니다. 어텐션의 부재(Mamba의 경우)는 선형적이고 점진적인 처리와 상관관계가 있다.
• 방법론적 진보: 이그니션 인데스는 "워크스페이스와 유사한" 아키텍처와 "그렇지 않은" 아키텍처를 구분하는 원칙적인 판별 도구 역할을 한다. 또한 재귀 모델의 경우, 진정한 역학을 포착하기 위해서는 적절한 계산 축(반복 vs. 깊이)을 따라 프로빙을 수행해야 함을 밝혀냈다.
• 훈련 통찰: 훈련 단계 256에서의 초기 상전리 발견은 특정 기능적 회로(인덕션 헤드 등)가 등장하기 전에 기본적인 이그니션 형태의 레이어 구조가 결정화됨을 시사한다.
• 제한적 범위: 저자는 $I(M)$이 의식의 척도가 아님을 명시적으로 밝힌다. 이는 정보 통합의 구조적 역학(전역적 가용성)을 측정하는 것이지, 현상적 의식이나 자기 모니터링에 대해서는 침묵한다. 이 지표는 감정이나 자각의 증거가 아니라, 표현 역학 및 아키텍처 탐색을 위한 진단 도구로 제시된다.

결론적으로, 네 가지 사전 등록된 가설 중 세 가지가 예측된 방향과 일치하지 않았음에도 불구하고, 강력한 아키텍처 간 격차와 축 의존적 역학의 발견은 GWT의 비유가 인공 시스템에 어떻게 적용되는지에 대한 중요한 새로운 제약을 제공한다.