기술 요약: 트랜스포머 표현의 층간 궤적 기하학 (Trajectory Geometry of Transformer Representations Across Layers)

문제 정의

현재 트랜스포머 모델의 기계론적 해석 가능성(mechanistic interpretability) 연구는 크게 두 가지 체제에서 작동합니다. 하나는 특정 계산 회로(예: 유도 헤드, MLP 레이어)를 추적하는 것이고, 다른 하나는 사전 정의된 언어적 특징을 위해 층별 임베딩을 프로빙(probing)하는 것입니다. 두 패러다임 모두 네트워크 층을 독립적인 스냅샷으로 취급하며, 네트워크 깊이에 따라 표현이 어떻게 진화하는지에 대한 연속적인 기하학적 구조를 간과합니다. 본 논문은 트랜스포머의 표현이 정적인 지점에서 무엇을 인코딩하는가(what)를 넘어, 층을 거치며 어떻게 진화하는가(how)라는 열린 문제를 다룹니다.

방법론

저자들은 트랜스포머의 순전파(forward pass)를 고차원 표현 매니폴드($\mathbb{R}^d$)를 통과하는 이산적인 인구 궤적(discrete population trajectory)으로 재정의합니다. 계산 신경과학의 인구 궤적 분석에서 영감을 얻은 이 연구는 투영 아티팩트(projection artifacts)를 피하기 위해 차원 축소를 수행하지 않고, 전체 앰비언트 공간(ambient space)에서 직접 메트릭을 계산합니다.

핵심 프레임워크

1. 궤적 추출 (Trajectory Extraction): 입력 시퀀스에 대해 모든 층 $l$(입력 임베딩 $h^{(0)}$부터 최종 출력 $h^{(L)}$까지)에서 은닉 상태를 추출합니다. 시퀀스 수준의 표현은 패딩 토큰을 제외한 토큰들에 대한 평균 풀링(mean pooling)을 통해 얻습니다.
2. 기하학적 메트릭 (Geometric Metrics): $\mathbb{R}^d$ 공간에서 직접 정의된 다섯 가지 메트릭은 다음과 같습니다:
   • 궤적 길이 ($L$): 층을 가로지르는 총 유클리드 변위(Euclidean displacement).
   • 곡률 ($\kappa$): 연속적인 변위 벡터 사이의 회전각; 평균 곡률($\bar{\kappa}$)은 비선형성을 측정합니다.
   • 의미론적 수렴 지수 (Semantic Convergence Index, CI): 관련 있는 프롬프트와 관련 없는 프롬프트 간의 압축 정도를 측정합니다 ($D_{between} - D_{within}$).
   • 층별 코사인 유사도 (Layerwise Cosine Similarity, SIM): 인접한 층 사이의 각도 유사도를 측정하여 상전이(phase transitions)를 감지합니다.
   • 표현 안정성 (Representational Stability): 표면 형태의 추상화를 측정하기 위해 프롬프트와 그 어휘적 섭동(lexical perturbation) 사이의 유사도를 측정합니다.
3. 실험 설계:
   • 모델: 세 가지 디코더 전용 모델 제품군 (GPT-2 Small, TinyLlama-1.1B, Qwen2.5-1.5B).
   • 프롬프트: 다섯 가지 범주(의미론적 범주, 어휘적 변이, 유추 추론, 다단계 추론, 모호한 개념)에 걸친 150개의 의미론적으로 제어된 프롬프트.
   • 대조군 (Controls): 학습된 계산과 기하학적 아티팩트를 구분하기 위한 네 가지 엄격한 대조군 (무작위 레이블, 무작위 임베딩, 층 순서 셔플링, 다중 투영 방법).

주요 기여

본 논문은 프로브가 필요 없고(probe-free) 모델에 구애받지 않는(model-agnostic) 트랜스포머 해석 가능성을 위한 궤적 기하학적 프레임워크를 도입합니다. 저자들은 분류기나 미세 조정을 요구하지 않고 표현 역학을 특징짓는 다섯 가지 고차원 메트릭을 정의합니다. 또한, 모든 인과적 언어 모델에 대해 이 분석을 수행할 수 있는 오픈 소스 파이프라인을 공개합니다.

주요 결과

세 가지 아키텍처 전반에 걸쳐 대조군 검증을 거친 결과, 본 연구는 네 가지 주요 발견을 보고합니다:

1. 어트랙터 베이신(Attractor Basins)으로의 의미론적 수렴: 의미론적으로 연관된 프롬프트들은 중간에서 후반부 층으로 갈수록 통계적으로 유의미한 수렴을 보입니다. 수렴 지수는 초기 층의 0에 가까운 값에서 시작하여 후반 층에서 0.41–0.58의 정점에 도달하며 급격히 상승합니다 ($p < 0.001$). 이 효과는 무작위 레이블 대조군에서 사라지며, 이는 학습된 의미론에 의해 구동되는 어트랙터와 같은 역학을 시사합니다.
2. 복잡도 판독기로서의 곡률: 추론 및 유추 작업은 어휘적 변이 작업보다 유의미하게 높은 평균 곡률을 가진 궤적을 생성합니다.
   • 추론 (다단계/유추): 0.71–0.83 rad.
   • 어휘적 변이: 0.27–0.31 rad.
   • 이 차이는 모델 전반에서 일관되게 나타나며 ($p < 0.001$), 이는 평균 곡률이 계산 복잡도를 인코딩함을 시사합니다. 곡률의 정점은 "계산적 변곡 지점"(네트워크 깊이의 약 20–45%)에서 발생하며, 이는 알려진 유도 헤드 및 MLP 검색 층과 일치합니다.
3. 분기(Bifurcation)로서의 모호성 해소: 모호한 토큰(예: 서로 다른 문맥에서의 "bank")은 측정 가능한 궤적 분기를 보입니다. 서로 다른 문맥의 표현들은 층 0에서는 거의 동일하게 시작하지만 점진적으로 분리되어, 최종 층에 도달할 때 5.6배의 분리 비율에 도달합니다. 이 분기 발생 시점은 모든 아키텍처에서 약 20–25%의 네트워크 깊이로 일관되게 나타나며, 이는 즉각적인 해결이 아닌 점진적인 모호성 해소를 위한 보편적인 스케줄이 존재함을 나타냅니다.
4. 보편적인 3단계 계산 구조: 층별 코사인 유사도는 모든 모델에서 일관된 세 단계 구조를 드러냅니다:
   • 1단계 (인코딩): 급격한 표현 변화 (낮은 유사도).
   • 2단계 (정교화): 안정화된 유사도, 의미론적 수렴 및 높은 곡률과 일치함.
   • 3단계 (출력 준비): 표현이 출력 어휘로 재조정됨에 따라 발생하는 2차적인 유사도 하락.
     이 구조는 무작위 임베딩 대조군에서 붕괴되며, 이는 이것이 훈련된 계산의 산물임을 확인시켜 줍니다.

의의 및 주장

본 논문은 트랜스포머의 순전파가 임의적인 상태의 시퀀스가 아니라 **기하학적으로 구조화된 흐름(geometrically structured flow)**이라고 주장합니다. 본 연구의 의의는 다음과 같습니다:

• 프로브가 필요 없는 해석 가능성: 특징을 미리 지정하거나 분류기를 훈련할 필요 없이 모델의 행동을 분석할 수 있는 렌즈를 제공합니다.
• 역학계(Dynamical Systems)와의 연결: 계산 신경과학의 개념(매니폴드, 어트랙터, 곡률)을 딥러닝과 연결하여, 표현이 어떻게 진화하는지에 대한 통합된 관점을 제공합니다.
• 실행 가능한 통찰: 연구 결과는 모호성 해소나 스티어링(steering)을 위한 개입이 임의의 층이 아닌 특정 궤적 단계(예: 분기 발생 전)를 타겟팅해야 함을 시사합니다.
• 보편성: 서로 다른 규모, 아키텍처, 학습 코퍼스를 가진 모델들 사이에서 이러한 기하학적 패턴이 일관되게 나타나는 것은, 궤적의 기하학적 구조가 언어 자체의 구조에 의해 구동될 수 있음을 시사합니다.

저자들은 기하학적 구조가 의미론적 및 계산적 특성과 상관관계가 있지만, 본 논문은 상관관계를 확립한 것이지 인과관계를 확립한 것이 아니라는 점을 명시하며 신중한 태도를 유지합니다. 그들은 활성화 패칭(activation patching)을 통한 인과적 검증이 필요한 다음 단계라고 지적합니다.