기술적 요약: 특징 구성의 구조적 불안정성

문제 제기

희소 자동 인코더 (SAE) 는 기계적 해석 가능성을 위한 주요 도구가 되어, 조밀한 트랜스포머 활성화를 해석 가능하고 희소한 특징으로 분해할 수 있게 합니다. 이 분해는 "활성화 조향 (activation steering)"을 가능하게 하여, 잠재 벡터를 조작함으로써 특정 모델 행동을 유도합니다. 지배적인 선형 표현 가설은 의미 구성이 선형 벡터 덧셈과 동등하다고 가정합니다 (즉, $v_A + v_B$로 조향하면 개념 $A$와 $B$가 동시에 활성화됨).

그러나 경험적 증거는 이 가설이 취약함을 시사합니다. 여러 특징을 동시에 조작하면 종종 **구성적 붕괴 (compositional collapse)**가 발생하는데, 이는 모델이 고유한 개념을 유지하지 못하는 의미적 불일치 상태입니다. 이전 연구들은 구조화된 다양체에서의 간섭을 지적했으나, 이러한 불안정성이 왜 그리고 언제 발생하는지에 대한 엄밀한 기하학적 규명은 여전히 elusive 합니다. 핵심 문제는 $m \gg n$인 과완비 사전 (overcomplete dictionaries) 에서 불가피한 비직교성으로 인해 발생하는 간섭 노이즈를 선형 중첩이 처리하지 못하게 하는 **합계 기반 조향 (union-based steering)**의 한계를 이해하는 것입니다.

방법론

본 논문은 신경망의 활성화 공간을 모델링하기 위해 **원뿔 적분 기하학 (Conic Integral Geometry)**과 고차원 확률에 기반한 기하학적 프레임워크를 사용합니다.

1. 기하학적 모델링:

   • 활성화 공간은 ReLU 비선형성 ($\sigma(x) = \max(0, x)$) 에 의해 정의된 양의 원뿔들의 합집합인 **희소 원뿔 다양체 (sparse cone manifold)**로 모델링됩니다. 여기서 유효한 $k$-희소 표현이 형성됩니다.
   • 사전 $D \in \mathbb{R}^{n \times m}$는 과완비 원자 집합으로 간주됩니다. 분석은 점근적으로 엄격한 위상 전이 경계를 유도하기 위해 무작위 구형 사전 모델 (원자들이 $Unif(S^{n-1})$에서 i.i.d.로 추출됨) 을 가정하며, CLEVR 과 같은 구조화된 상관관계에 대한 견고성을 경험적으로 검증합니다.

2. 미시 분석 (쌍별 얽힘):

   • 본 논문은 두 개의 분리된 활성 특징 집합 ($S_A, S_B$) 간의 국소적 상호작용을 분석합니다.
   • "유령 특징 (ghost features, 비활성 원자)"으로 신호가 새어나가는 정도를 정량화하기 위해 **누출 연산자 (Leakage Operator)**를 정의합니다.
   • 중요한 점은 **ReLU 정류 (rectification)**가 간섭에 미치는 영향을 조사합니다. 대칭적인 노이즈가 상쇄되는 선형 시스템과 달리, ReLU 는 이 대칭성을 깨뜨려 분산 변동을 체계적인 양의 드리프트로 변환합니다.

3. 거시 분석 (위상 전이):

   • 시스템의 안정성은 볼록 원뿔의 **통계적 차원 (Statistical Dimension, $\delta(C)$)**과 **가우스 평균 너비 (Gaussian Mean Width)**를 사용하여 분석됩니다.
   • 문제는 기하학적 교차 문제로 제시됩니다: **신호 원뿔 (Signal Cone, 활성 특징이 span 하는)**을 **유령 극 원뿔 (Ghost Polar Cone, 비활성 특징이 span 하는)**과 분리할 수 있는가?
   • Gordon 의 Escape Through a Mesh 정리를 활용하여 기하학적 교차 확률을 가우스 과정 비교로 매핑하고, 안정성을 위한 명시적 임계값을 유도합니다.

4. 경험적 검증:

   • 실험은 CLEVR 데이터셋으로 훈련된 SAE 를 갖춘 Qwen-VL(7B 파라미터) 을 사용하여 수행되었습니다.
   • 조향 벡터는 $k$개의 서로 다른 의미 특징 (예: 색상 및 모양 속성) 을 합산하여 구성되었습니다.
   • **위조 에너지 (Spurious Energy, $E_{spur}$)**는 붕괴 시작을 감지하기 위해 복합 신호를 유령 부분 공간에 투영하여 측정되었습니다.

주요 기여

1. 가우스 평균 너비를 통한 안정성 임계값

본 논문은 신호 원뿔의 가우스 평균 너비로 정의된 엄밀한 **안정성 임계값 (Stability Threshold)**을 확립합니다. 임계 구성 밀도 $\gamma^*$를 넘어서면 위조 활성화가 불가피함을 증명합니다. 안정성 경계는 기하학적 포화 조건으로 특징지어집니다:
$$\Psi(\gamma) + \Phi(\delta - \gamma) = 1$$
여기서 $\Psi$는 신호 원뿔의 정규화된 통계적 차원이고, $\Phi$는 극 유령 원뿔의 통계적 차원입니다. 이 점을 넘어서면 신호 원뿔과 안전 영역 간의 교차가 거의 확실하게 공집합이 됩니다.

2. 정류된 래칫 메커니즘

저자들은 ReLU 비선형성에 의해 구동되는 **래칫 메커니즘 (Ratchet Mechanism)**을 특징짓습니다.

• 미시적 기초: 선형 시스템에서 간섭 노이즈는 대칭적입니다 ($E[\epsilon]=0$). 그러나 ReLU 정류는 미시적 상관관계로 인한 분산 변동을 체계적인 평균 드리프트 ($\eta > 0$) 로 변환합니다.
• 초가법성 (Super-additivity): 이 드리프트는 엄격하게 초가법적입니다. 특징 부분 공간 간의 평균 정렬이 0 이라 하더라도, 정류된 드리프트 함수의 볼록성은 등방성 기준선에 비해 기하학적 분산 변동이 기대 간섭 에너지를 엄격하게 증가시킵니다.
• 결과: 이는 확률적 변동을 영구적인 기하학적 편향으로 변환하여 붕괴로의 전이를 가속화합니다.

3. 구조화된 데이터에 대한 경험적 검증

본 논문은 CLEVR 에서 추출된 구조화된 의미 특징에 대한 이론적 스케일링 추세를 검증합니다.

• 상관관계 이동: 경험적 위상 전이는 무작위 기준선보다 낮은 밀도 ($\gamma^*_{CLEVR} < \gamma^*_{theory}$) 에서 발생합니다.
• 가속화: 계층적 의미 상관관계 (예, "빨간색"과 "큐브" 사이) 는 실제로 신호 원뿔을 두껍게 만들어 무작위 사전에 비해 불안정성으로의 전이를 가속화합니다.
• 기하학적 장벽: 결과는 정적 임베딩 공간에서 순진한 선형 구성을 확장하는 데 대한 경성 기하학적 장벽을 확인합니다.

결과

• 위상 전이: 본 연구는 표현 안정성에서의 날카로운 위상 전이를 식별합니다. 임계 밀도 $\gamma^*$ 미만에서는 위조 에너지가 무시할 수 있을 정도로 낮아 정밀한 선형 제어가 가능합니다. $\gamma^*$ 이상에서는 시스템이 의미적 불일치로 급격히 붕괴합니다.
• 스펙트럼 발산: 시스템이 임계 임계값에 접근함에 따라 활성 특징 서브행렬의 조건수가 발산하여 역 매핑이 수치적으로 불안정해집니다. 이는 실험에서 관찰된 "출력 드리프트 (Output Drift)"를 불량 조건 기저의 거의 영공간 (near-null space) 에 대한 투영 잔여물로 설명합니다.
• 구조적 취약성: 실제 세계 의미 구조 (양의 교차 상관관계를 가진) 는 불안정성을 악화시켜 "안전 영역"을 무작위 행렬 경계가 예측하는 것보다 더 좁게 만듭니다.

중요성 및 주장

본 논문은 특징 조향의 취약성과 체인 오브 씽킹 (CoT) 과 같은 메커니즘의 필요성을 해석하기 위한 엄밀한 기하학적 기초를 제공한다고 주장합니다.

• 선형 가설의 한계: 이 작업은 임의의 벡터 쌓기가 기하학적 포화 경계를 초과하면 치명적인 붕괴를 유발함을 보여줌으로써 선형 표현 가설의 근본적 한계를 식별합니다.
• 기하학적 불가능성: 고정된 너비 아키텍처에서 임의의 수의 특징을 구성할 수 없는 것은 훈련의 인공물이 아니라 잔류 스트림의 혼잡함에서 비롯된 기하학적 불가능성이라고 주장합니다.
• 깊이와 직렬화의 역할: 발견된 바에 따르면 깊이(MLP 레이어가 일관성 재설정 연산자로 작용함으로써) 와 직렬화(CoT 를 통해) 는 필수적인 기하학적 자원입니다. 이들은 모델이 한 번의 잠재 상태에 모든 개념을 동시에 표현하려는 시도를 대신하여, 공간을 시간과 교환함으로써 간섭 예산을 "비우고" 위상 경계를 탐색할 수 있게 합니다.
• 안전성 함의: 이러한 기하학적 제약을 이해하는 것은, 특히 활성화 조향을 통해 대규모 언어 모델을 정렬하거나 제어하려는 시도에서 AI 시스템의 안전성과 신뢰성에 중요합니다. 공격적인 조향은 직교 기하학적 공간을 고갈시켜 의도하지 않은 부작용을 초래할 수 있기 때문입니다.