기술 요약: 트랜스포머 잔차 스트림(Residual Stream)의 기하학적 및 행동적 층화

문제 정의

최근 연구는 훈련된 트랜스포머 모델이 나머지 잔차 스트림과는 구별되는 통계적 특성을 가진 특정 좌표축, 즉 "특권적 기저(privileged bases)"를 개발한다는 사실을 밝혀냈다. 그러나 이러한 특권적 방향의 기능적 역할과 기하학적 본질은 여전히 불분나하다. 이전 연구들은 이러한 축들이 이상적인 좌표 집합임을 식별했으나, 이들이 구체적으로 어떤 방향을 선택하는지, 혹은 모델의 고차원 계산을 어떻게 조직하는지는 설명하지 못했다.

본 논문은 트랜스포머 계산의 고차원적 성격(수천 차원)과 선형 판독(단일 어휘 로짓으로의 투영)의 저차원적 성격 사이의 간극을 다룬다. 저자는 예측 방향(prediction direction)—모델이 현재 예측하고 있는 토큰의 언임베딩(unembedding) 벡터—이 잔차 스트림의 기하학적 구조와 행동을 조직하는, 내용에 의해 정의된 특권적 앵커(privileged anchor) 역할을 하는지 조사한다.

방법론

저자는 모든 레이어에서 잔차 상태($h$)를 현재 예측 방향($\hat{u}$)과의 근접성에 따라 네 가지 엄격하게 직교하는 성분으로 분할하는 좌표계인 **PDSF(Prediction-anchored Decomposition of Subspace Features)**를 도입한다:

1. P (Predictive, 예측적): 현재 argmax 토큰의 정규화된 언임베딩 벡터 $\hat{u}$로의 $h$의 랭크-1 투영.
2. D (Discriminative, 변별적): $P$를 제거한 후의 잔차에 대한 상위-$k$ PCA 방향.
3. S (Situational, 상황적): $P$와 $D$를 모두 제거한 후의 잔차에 대한 상위-$k$ PCA 방향.
4. F (Framework/Complement, 프레임워크/보완): 잔차 스트림 차원의 대다수를 나타내는 직교 잔여물.

$P + D + S$ 결합 영역을 **예측 인터페이스(prediction interface)**라 부르며, $F$는 **예측-원격 보완(prediction-distal complement)**이라 칭한다.

실험 설정:

• 테스트베드: Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS를 포함한 6개 아키텍처 패밀리, 7B에서 120B 파라미터에 이르는 18개 트랜스포머 모델.
• 프롬프트 세트: 서로 다른 변이를 조사하기 위해 설계된 세 가지 구조화된 세트:
  • SpecA: 고정된 정답을 가지되 표면 형태가 다양한 제약된 프롬프트 (224개).
  • SpecB: 개방형 서사적 연속 (80개).
  • Diverse: 8가지 언어적 체제(서사, 코드, 수학 등)에 걸친 다양한 프롬프트 (84개).
• 중재(Interventions): 인과적 역할을 테스트하기 위해 단일 패스 섭동(single-pass perturbations), 지속적 회전 스크램블링(약 70% 깊이에서 적용된 Haar 측도 회전), 크기 감쇄(magnitude attenuation)를 포함한 표적 중재를 사용한다.

주요 기여 및 결과

1. 척도 불변적 예측 인터페이스

예측 근접 하위 공간($D$와 $S$)의 유효 차원은 **낮고 척도 불변적(scale-invariant)**이다.

• 제약된 프롬프트에서 $D$의 유효 랭크는 숨겨진 차원($d_{model}$이 2,880에서 8,192 사이)에 관계없이 모든 모델에서 일관되게 한 자릿수(평균 $\approx 4$)를 유지한다.
• 인터페이스의 차원은 모델의 너비가 아니라 프롬프트의 의미론적 복잡성에 의해 결정된다.
• 지시어 튜닝(Instruction tuning)은 인터페이스의 내부 조직을 날카롭게 만들지만(변별력을 높이고 패러프레이즈 민감도를 낮춤), 이를 확장시키지는 않는다.
• 결론: 스케일링은 예측 인터페이스가 아닌 예측-원격 보완($F$)의 크기를 키운다.

2. 기하학적 층화: 직교성과 매니폴드 복잡성

• 직교성: 예측 방향은 잔차 스트림의 주 분산 축들과 거의 직교한다(평균 각도 $\approx 84^\circ$–$86^\circ$). 고분산 방향은 판독 축으로부터 멀리 떨어져 배치된다.
• 매니폴드 복잡도 구배: 예측 근접 축을 따라 매니폴드 복잡도의 가파른 구배가 존재한다.
  • 예측 근접($D$): 매우 접히고 구조화된 기하학적 형태를 띤다(높은 정보 밀도).
  • 예측 원격($F$): 평탄하고 균일한 기하학적 형태를 띤다.
  • 이 구배는 표준 분산 순서 PCA 대조군에 비해 예측 방향을 기준으로 측정했을 때 훨씬 더 가파르게 나타나며, 특히 언어적으로 이질적인 프롬프트에서 두드렷하다.

3. 보완 영역에서의 반(反)변별성(Anti-Discrimination)

그룹 변별력이 예측 방향에서 멀어짐에 따라 약해질 것이라는 예상과 달리, 보완 영역($F$)은 반변별성을 보인다.

• 동일한 의미론적 그룹의 프롬프트들은 $F$-공간 내에서 서로 다른 그룹의 프롬프트들보다 체계적으로 더 멀리 떨어져 있다.
• 이는 $F$가 유사한 판독 결과를 달 achieve 하기 위해 예측 근접 상태의 변화를 보상하는 프롬프트 특유의 구성을 운반함을 시사한다.

4. 방향이 크기보다 중요하다 (Thin-Shell 가설)

본 논문은 "thin-shell" 가설을 검증한다: 잔차 스트림의 변이는 크기가 아닌 방향에 의해 구동된다.

• 보완($F$)의 방향을 회전시켜 방해하면 즉각적이고 심각한 출력 발산이 발생한다.
• 방향은 유지하면서 $F$의 크기를 줄이면(감쇄) 영향이 미미하다.
• 이는 보완 영역이 판독 축과는 약하게 정렬되어 있음에도 불구하고, 계산에 필수적인 방향적 기질(directional substrate)로서 작용함을 확인시켜 준다.

5. 행동적 층화

지속적인 회전 중재는 예측 근접 축과 정렬된 행동적 계층 구조를 드러낸다:

• 하위 공간 $D$ (즉각적 프레이밍): 붕괴 시 즉각적인 발산(평균 첫 발산 토큰 $\approx 1.2$)과 빈번한 태스크 프레임 전환(예: 답변하기에서 메타 코멘터리로 변경)이 발생한다.
• 하위 공간 $S$ 및 $F$-topK (궤적): 붕괴 시 지연된 발산(평균 첫 발산 토큰 $S \approx 5.6$, $F$-topK $\approx 6.5$)과 보존된 태스크 프레임 내에서의 내용 치환이 발생한다.
• 이는 $D$가 응답의 초기 프레이밍을 제어하는 반면, $S$와 $F$-high-variance 부분이 후속 궤적을 제어함을 나타낸다.

6. 보완 영역의 정적/동적 분할

보완 영역 $F$는 시간적 역학에 의해 더욱 세분화된다:

• $F$는 정적 스캐폴드(시간적 평균)와 동적 엔벨로프(토큰 간 업데이트)로 나뉜다.
• 동적 엔벨로프는 **인과적으로 부하를 담당(causally load-bearing)**한다: "오래된"(한 단계 지연된) $F$를 주입하면 첫 번째 토큰에서 보편적인 출력 발산이 발생한다.
• 동적 엔벨로프의 방향을 회전시키면 $D$나 $S$를 회전시켰을 때 발생하는 재지향(redirection)과는 구별되는, 파멸적인 실패(실패율 92.3%)를 초래한다.

의의 및 주장

본 논문은 예측 방향을 이전에 설명된 좌표 기반 축들과 구별되는, 잔차 스트림의 기하학을 조직하는 내용 정의된 특권적 앵커로 확립한다고 주장한다.

• 아키텍처적 제약: 이러한 발견은 선형 판독이 "신호 대 잡음" 제약을 가하며, 모델이 좁고 척도 불변적인 인터페이스에 예측 관련 구조를 격리하는 동시에 이를 직교하는 방향으로 확장하도록 강제한다는 것을 시사한다.
• 평가의 맹점: 잔차 스트림의 대부분(보완 영역)이 판독 축과 약하게 정렬되어 있기 때문에, 출력 기반 평가 지표(로짓, 다음 토큰 정확도)는 모델이 스케일링함에 따라 발생하는 내부 계산 및 구조적 변화를 과소 측정할 가능성이 높다.
• 해석 가능성: 기하학적 층화는 특징 수준의 해석 가능성을 위한 프레임워크를 제공하며, 태스크 프레이밍은 $D$에, 궤적 및 상태 유지는 $S$와 $F$에 거주함을 시사한다.
• 기하학 vs 분산: 본 논문은 기하학적 조직이 단순히 분산 구조의 그림자가 아니라고 주장한다. 예측 방향에 앵커링함으로써, 분산 기반 분석만으로는 포착할 수 없는 조직 원리(예: $F$의 반변별성 및 행동 계층)를 드러낼 수 있다.

저자는 트랜스포머의 잔차 스트림을 확산된 고차원 활성화가 아니라, 고정된 예측 인터페이스가 동적으로 유지되는, 인과적 부하를 담당하는 기질 속에 임베디드된 **층화된 기하학(stratified geometries)**으로 이해해야 한다고 결론짓는다.