기술 요약: 스펙트럼 반집중과 트랜스포머 표현의 이중 기하학

문제 제기

본 논문은 대규모 언어 모델 (LLM) 내 개념 표현의 기하학적 구조를 조사하며, 특히 개념이 어떻게 인코딩되고 언어 간에 전달되는지에 관한 두 가지 경쟁 가설을 검증합니다.

첫째, **선형 표현 가설 (LRH)**은 고차원 개념이 활성화 공간의 선형 방향으로 인코딩된다고 주장합니다. Park 등 [2024] 은 언임베딩 행렬의 공분산 역행렬 ($\Sigma^{-1}$) 로 정의된 인과적 내적을 제안하여 이를 형식화했으며, 인과적으로 분리 가능한 개념은 이 거리 척도 하에서 직교한다는 것을 시사했습니다. 이는 백색화 인과적 정렬 (WCA) 가설로 이어졌는데, 즉 이 인과 기하학 ($\Sigma^{-1/2}$ 로 백색화) 을 사용하여 표현 공간을 정렬하면 표준 유클리드 프로크루스테스 정렬보다 우수한 언어 간 개념 전달이 가능하다는 것입니다.

둘째, 플라톤적 표현 가설은 유능한 모델들이 공유된 내부 표현으로 수렴함을 시사하며, 한 언어에서 추출된 개념 방향이 다른 언어로 이전 가능해야 함을 의미합니다.

저자들은 인과적 내적의 특정 고유 방향이 이러한 언어 간 전달을 촉진하는지 검증하고자 했습니다. 그러나 실험 결과, 더 광범위하고 이전에 특징화되지 않은 현상인 **스펙트럼 반집중 (spectral anti-concentration)**이 발견되었습니다. 연구 결과, 개념 표현은 모델 스펙트럼의 고분산 방향을 체계적으로 회피하는 반면, 정적 어휘는 정반대의 행동을 보였습니다.

방법론

본 연구는 Llama, Qwen, Gemma, Mistral, 그리고 전문가 혼합 (Mixture-of-Experts) 등 5 가지 아키텍처 패밀리에 걸쳐 있는 17 개 모델과 4 가지 언어 쌍에 걸쳐 엄격하고 다중 방법론적인 접근 방식을 채택했습니다.

1. 개념 추출 (세 가지 독립적 방법)

방법론적 인공물을 배제하기 위해 저자들은 세 가지 다른 접근법을 사용하여 개념 방향을 추출했습니다:

• 평균 차이 (Difference-of-Means): 반사실적 단어 쌍에 대한 풀된 잔류 스트림 활성화의 평균 차이를 계산하는 감산 방법.
• 희소 오토인코더 (SAE): Gemma Scope, Llama Scope 등 사전 훈련된 SAE 에서 컨텍스트화된 활성화를 사용하여 최상위 차등 활성화 특징을 추출하는 방법 (비감산, 비지도).
• 선형 프로브 (Linear Probes): 원시, 중심화되지 않은 컨텍스트화된 활성화에 L2 정규화 로지스틱 회귀 분류기를 훈련시키는 방법 (지도).

2. 스펙트럼 분석 프레임워크

모든 개념 벡터는 언어별 언임베딩 공분산 행렬 $\Sigma_L$의 고유 기저에 투영됩니다. 저자들은 다음을 정의합니다:

• 스펙트럼 에너지 분포: 특정 고유벡터 내 벡터 에너지의 비율.
• 지니 편차 (Gini Deviation): 집중 대 반집중을 측정하는 지표. 음수 값은 에너지가 스펙트럼 꼬리 (저분산 방향) 에 집중되어 있음을 나타냅니다.
• 스펙트럼 질량 중심 (SCM): 에너지의 50% 에 도달하는 누적 분산 지점.

3. 주요 실험

• 매칭된 스펙트럼 무작위화: 인과 기하학의 유용성을 테스트하기 위해 저자들은 고유값 스펙트럼을 유지하면서 $\Sigma$의 실제 고유벡터를 무작위 직교 행렬로 대체했습니다. 언어 간 전달에 대해 실제 WCA와 가짜 WCA를 비교했습니다.
• 분할 주입 조향 (Split-Injection Steering): 개념 벡터를 "외치는" (상위 10% 고유벡터, 고분산) 과 "속삭이는" (하위 10% 고유벡터, 저분산) 구성 요소로 분해했습니다. 이를 Gemma 및 Llama 모델의 다양한 깊이에 주입하여 퍼플렉시티 저하 (문법적 간섭의 대리 지표) 를 측정했습니다.
• 품사 태그 프로빙: 고분산 (상위-k) 과 저분산 (하위-k) 부분 공간에 투영된 활성화에 분류기를 훈련시켜 구문 정보가 어디에 존재하는지 확인했습니다.
• 이중 기하학 확인: 정적 언임베딩 행렬 차이와 대비되는 스펙트럼 행동을 식별하기 위해 활성화 공간 개념 벡터와 정적 언임베딩 행렬 차이를 비교했습니다.

주요 결과

1. 전달을 위한 인과 기하학의 실패

매칭된 스펙트럼 무작위화 테스트 결과, 실제 WCA 는 가짜 WCA 와 구별되지 않았습니다 (p = 0.95). 인과적 내적의 특정 고유 방향은 스펙트럼 정규화 (고분산 방향 감쇠) 의 효과 이상으로 언어 간 전달을 측정 가능하게 향상시키지 못했습니다.

2. 스펙트럼 반집중

개념이 고분산 방향과 정렬될 것이라는 기대와 달리, 본 연구는 강력한 스펙트럼 반집중을 발견했습니다:

• 세 가지 추출 방법 모두에서 도출된 활성화 공간 개념 벡터는 일관되게 고유 스펙트럼의 저분산 꼬리에 불균형적인 에너지를 배치합니다.
• 이 현상은 17 개 모델과 5 가지 아키텍처 패밀리에 걸쳐 유효하며 (평균 지니 = -0.282, p < 10⁻³³).
• 이 효과는 배경 스펙트럼 모양과 무관하며, SAE 및 선형 프로브 방법을 통해 감산 인공물이 배제되더라도 지속됩니다.

3. 이중 기하학

본 논문은 어휘 공간과 추론 공간 사이의 근본적인 이중성을 확인합니다:

• 어휘 공간 (정적): 언임베딩 행렬의 개념별 차이는 고분산 방향에 집중됩니다 (양의 지니). 이는 개념 대비가 토큰 예측 로지트에 최대한 영향을 미치도록 합니다.
• 추론 공간 (활성화): 잔류 스트림 내 개념 표현은 스펙트럼 꼬리에 반집중됩니다.
• 무작위 토큰 쌍 차이는 경미한 반집중을 보이는 반면, 개념별 쌍은 어휘 공간에서 능동적인 집중을 보여, 언임베딩 행렬이 주축을 따라 개념 관련 대비를 특히 인코딩함을 확인시켜 줍니다.

4. 기능적 증거

• 간섭 비대칭성: Gemma 및 Llama 에 대한 분할 주입 실험 결과, 개념 벡터를 고분산 ("외치는") 방향에 주입하는 것이 저분산 ("속삭이는") 방향에 주입하는 것보다 훨씬 더 큰 퍼플렉시티 저하 (문법적 교란) 를 초래했습니다 (Cohen's d 최대 1.80).
• 구문 인코딩: 품사 태그 프로빙 결과, 8 개 아키텍처 중 6 개에서 구문 정보가 고분산 부분 공간에 우선적으로 인코딩되는 것으로 나타났습니다.
• Qwen 2.5 이상 현상: Qwen 2.5 패밀리 (3B, 7B) 는 이 패턴을 반전시켜, 품사 정보에 대해 하위-k 우위를 보이며 간섭 비대칭성이 나타나지 않았습니다. 이는 구문과 의미의 스펙트럼 분리가 아키텍처에 의존할 수 있음을 시사합니다.

중요성과 주장

본 논문은 트랜스포머 표현에 **"이중 기하학"**이 존재함을 밝히며, **"개념은 속삭이고 구문은 외친다"**고 주장합니다.

• 기작적 통찰: 트랜스포머는 컨텍스트화된 처리 중에 의미 내용을 스펙트럼적으로 조용한 (저분산) 영역으로 회전시키는 것으로 보입니다. 이를 통해 개념은 문법적 교란을 줄여 조작될 수 있으며, 구문 및 구조적 패턴은 잔류 스트림 노이즈에 강건하게 생존할 수 있는 고분산 "시끄러운" 부분 공간을 차지합니다.
• 해석 가능성에 대한 함의: 주성분 (예: 표준 PCA 시각화) 에만 초점을 맞추는 방법은 스펙트럼 꼬리에 존재하는 개념 수준의 정보를 놓칠 위험이 있습니다. 해석 도구들은 저분산 방향에 주의를 기울여야 합니다.
• 조향에 대한 함의: 이 발견은 활성화 공학에 대한 실용적 개선을 시사합니다: 주향 벡터를 주입하기 전에 저분산 부분 공간에 투영하면 유창성 교란을 줄이면서 개념 조작을 달성할 수 있으며, 구문 라우팅 교란으로 인한 "실어증"을 완화할 수 있습니다.
• 이론적 연결: 이 결과는 중첩 (superposition) 이론에 스펙트럼 차원을 제공합니다. 고분산 방향이 빈번한 구문 패턴에 의해 "점령"된다면, 의미 개념을 위한 유효 차원 수는 감소하여 네트워크가 중첩을 통해 꼬리에 의미 특징을 인코딩하도록 강제합니다.

저자들은 범위에 대해 겸손한 입장을 유지하며, 개념이 단어 수준의 반사실적 사례에서 유래되었으며, 인코더 - 디코더 아키텍처나 매우 추상적인 개념에서 이 현상의 행동은 여전히 열린 질문임을 지적했습니다. 그들은 Qwen 2.5 이상 현상이 특정 훈련 체계나 아키텍처 선택이 스펙트럼 할당을 어떻게 변경하는지에 대한 추가 조사가 필요하다고 강조합니다.