[기술 요약] 표현 곡률이 대규모 언어 모델(LLM)의 행동적 불확실성을 조절한다

1. 연구 배경 및 문제 제기 (Problem)

기존 연구에 따르면, 자기회귀(Autoregressive) LLM은 다음 토큰을 예측하기 위해 입력 시퀀스의 표현(Representation)을 점진적으로 '직선화(Straightening)'하는 경향이 있습니다. 이는 표현의 궤적(Trajectory)을 기하학적으로 예측 가능한 패턴으로 만들어, 선형 외삽(Linear extrapolation)을 통해 다음 상태를 더 쉽게 예측하기 위함이라는 '시간적 직선화(Temporal straightening)' 가설이 존재합니다.

하지만 이러한 내부 표현의 기하학적 특성(궤적의 곡률)이 모델의 실제 출력 행동(예: 예측 불확실성)과 어떻게 직접적으로 연결되는지에 대한 메커니즘적 근거는 부족한 상태였습니다. 본 연구는 표현의 곡률(Curvature)과 모델의 불확실성 지표인 엔트로피(Entropy) 사이의 인과적/상관적 관계를 규명하고자 합니다.

2. 연구 방법론 (Methodology)

연구진은 GPT-2 XL과 Pythia-2.8B 두 모델을 사용하여 다음과 같은 방법론을 적용했습니다.

• 맥락적 곡률(Contextual Curvature) 정의: 토큰의 활성화 값(Activation)을 고차원 공간의 점으로 간주하고, 최근 컨텍스트 구간 내에서 표현 궤적이 얼마나 급격하게 휘어지는지를 각도(Angle)를 이용한 기하학적 수치로 계산했습니다.
• 다음 토큰 엔트로피(Next-token Entropy): 모델이 예측하는 다음 토큰 확률 분포의 엔트로피를 계산하여 모델의 불확실성을 정량화했습니다.
• 섭동 실험(Perturbation Experiments): 잔차 스트림(Residual stream)의 활성화 값에 인위적인 변화를 주어 곡률을 조절한 뒤, 엔트로피가 어떻게 변하는지 관찰했습니다. 이때 섭동의 방향을 5가지(Full-space, Random-subspace, Activation-subspace, Trajectory-subspace, Planar-subspace)로 나누어 '궤적에 정렬된(Trajectory-aligned)' 정도에 따른 차이를 분석했습니다.
• 곡률 정규화 학습(Curvature Regularization): 학습 과정에서 곡률을 최소화(Untangling)하거나 최대화(Tangling)하는 보조 손실 함수(Auxiliary loss)를 추가하여, 기하학적 구조 변화가 모델 성능과 엔트로피에 미치는 영향을 실험했습니다.

3. 주요 연구 결과 (Key Results)

1. 곡률과 엔트로피의 상관관계: 모델의 중간 레이어(Middle layers)에서 맥락적 곡률은 다음 토큰 엔트로피와 유의미한 양의 상관관계를 보였습니다. 즉, 표현 궤적이 더 많이 휘어질수록 모델은 다음 토큰을 예측하기 어려워하며(엔트로피 증가), 궤적이 직선에 가까울수록 예측 확신도가 높아집니다(엔트로피 감소).
2. 학습에 따른 발현: 모델이 학습됨에 따라 표현 궤적은 점점 직선화되며, 이와 동시에 곡률이 엔트로피를 예측하는 능력(Predictivity) 또한 함께 강화되는 양상을 보였습니다.
3. 궤적 정렬 섭동의 효과: 무작위 방향의 섭동은 엔트로피에 큰 영향을 주지 못했지만, 모델의 표현 궤적 방향(Trajectory-subspace) 또는 그 평면(Planar-subspace)에 정렬된 섭동은 엔트로피를 효과적으로 조절했습니다. 이는 곡률이 단순한 수치가 아니라 실제 예측 계산에 관여하는 핵심 기능적 특징임을 시사합니다.
4. 정규화를 통한 제어 가능성: 곡률을 낮추도록 정규화하여 학습시킨 모델(Untangled)은 검증 손실(Validation loss)을 저하시키지 않으면서도 토큰 수준의 엔트로피를 낮추는(즉, 더 확신 있는 예측을 하는) 결과를 보였습니다.

4. 연구의 의의 및 기여 (Significance)

• 이론적 기여: '시간적 직선화' 가설을 단순한 표현의 특징을 넘어, 모델의 '행동적 불확실성(Behavioral Uncertainty)'을 결정하는 기능적 메커니즘으로 격상시켰습니다.
• 메커니즘적 해석(Mechanistic Interpretability): LLM의 내부 계산을 이해할 때 단일 토큰의 상태뿐만 아니라, 토큰 간의 **'시간적/기하학적 흐름(Temporal geometry)'**이 매우 중요하다는 점을 입증했습니다.
• 모델 제어 가능성 제시: 표현의 기하학적 구조를 조절함으로써 모델의 성능(Loss)을 해치지 않고도 모델의 확신도(Confidence)나 불확실성을 제어할 수 있는 새로운 경로를 제시했습니다. 이는 향후 모델의 신뢰성(Reliability) 및 교정(Calibration) 연구에 중요한 기초가 될 것입니다.