기술 요약: 추론의 기하학적 시그니처

문제 정의

Chain-of-Thought(CoT) 프롬프팅이 중간 추론 단계를 생성함으로써 대규모 언어 모델(LLM)이 복잡한 문제를 해결할 수 있게 해주었지만, 이 과정의 내부 메커니즘에 대해서는 근본적인 의문이 남아 있습니다. 구체적으로, 무엇이 LLM에게 작업을 "어렵게" 만드는지, 작업 난이도가 모델의 내부 표현에 어떻게 나타나는지, 그리고 생성이 완료되기 전에 정답 여부를 예측할 수 있는지 여부는 불분 clear합니다. 기존 문헌은 추론 체인의 길이와 텍스트 내용 또는 테스트 시간 연산량(test-time compute)의 스케일링에 초점을 맞추어 왔으며, 계산량이 증가함에 따라 성능이 저하되는 "과잉 사고(overthinking)" 현상을 자주 관찰해 왔습니다. 본 논문은 트랜스포머 모델의 은닉 상태 공간(hidden state space) 내에서 발생하는 추론 궤적의 **내부 기하학(internal geometry)**이 생성된 텍스트와 독립적으로, 작업 난이도와 솔루션 품질 모두에 대한 결정적인 정보를 인코딩하고 있다는 가설을 제시합니다.

방법론

공식 프레임링

저자들은 CoT 추론을 $d$차원 은닉 상태 공간 $\mathbb{R}^d$에서의 이산 곡선 $\gamma = (h_1, \dots, h_n)$으로 공식화하며, 여기서 각 $h_t$는 토큰 위치 $t$에서의 은닉 상태를 나타냅니다. 이들은 이러한 곡선으로부터 속성을 추출하기 위해 다음과 같이 분류된 **기하학적 범함수(Geometric Functionals)**를 도입합니다:

1. 스펙트럼 범함수(Spectral Functionals): 궤적의 공분산 행렬을 분석하여 고유한 차원을 결정합니다.
2. 위치 및 운동학적 범함수(Positional and Kinematic Functionals): 평균 위치, 위치 분산, 초기/최종 은닉 상태, 평균 속도, 평균 속력 및 속력 분산과 같은 특징을 추출합니다.

핵심 지표: 유효 차원 ($d_\rho$)

중심적인 기여는 궤적 복잡도의 척도로서 **유효 차원(Effective Dimension, $d_\rho$)**을 정의한 것입니다. 공분산 행렬 $C(\gamma)$와 고윳값 $\nu_1 \ge \dots \ge \nu_d \ge 0$를 갖는 궤적 $\gamma$에 대해, $d_\rho$는 전체 분산의 최소 $\rho$ 비율을 포착하는 데 필요한 주성분의 최소 개수로 정의됩니다:
$$d_\rho(\gamma) := \min \left\{ k \in \{1, \dots, d\} : \frac{\sum_{i=1}^k \nu_i}{\text{tr}(C(\gamma))} \ge \rho \right\}$$
저자들은 "평평한(flatter)" 고윳값 스펙트럼(분산이 여러 차원에 걸쳐 고르게 퍼져 있는 경우)이 더 높은 유효 차원에 대응함을 이론적으로 입증했습니다. 이들은 메이저라이제이션(majorization) 논증을 통해 평평한 스펙트럼이 $d_\rho$를 최대화함을 증명하였으며, 이는 어려운 작업이 더 넓은 은닉 상태 하위 공간을 탐색하는 궤적을 유도함을 시사합니다.

실험 설정

• 모델: Qwen2.5-0.5B-Instruct (24개 레이어, 은닉 차원 896).
• 데이터셋: MATH500, 특히 "쉬움"(난이도 1)과 "어려움"(난이도 5)으로 라벨링된 대수(Algebra), 계수 및 확률(Counting & Probability), 미적분 전 단계(Precalculus) 문제 선정.
• 데이터 생성: 온도 $T=0.7$에서 문제당 10개의 추론 궤적을 생성하며, 모든 레이어의 모든 토큰 위치에서 은닉 상태를 추출함.
• 평가:
  • 난이도 예측: leave-one-question-out 교차 검증을 통해 $d_\rho$를 사용하여 문제를 쉬움 또는 어려움으로 분류.
  • 정답 예측: 생성된 궤적의 첫 $\alpha$ 비율($\alpha \in (0, 1]$)에서 추출한 운동학적 및 위치적 특징을 사용하여 최종 답변의 정답 여부를 예측. 분류기로는 로지스틱 회귀(LR), MLP, GRU를 테스트함.

주요 결과

1. 작업 난이도의 척도로서의 유효 차원

본 연구는 추론 궤적의 유효 차원과 작업 난이도 사이의 강력한 상관관계를 보여줍니다.

• 예측력: 유효 차원 특징만을 사용했을 때, 모델은 수학 문제의 쉬움과 어려움을 구분하는 데 있어 AUC > 0.93을 달려 성과를 거두었습니다.
• 레이어 역학: 이 신호는 모든 레이어에 존재하지만, 최종 레이어 쪽으로 갈수록 강해지며 레이어 21에서 정점(AUC = 0.93)을 찍습니다.
• 정량적 차이: 어려운 문제는 평균 유효 차원이 $\approx 170$인 궤적을 유도하는 반면, 쉬운 문제는 $\approx 122$를 기록했습니다(40%의 격차). 이는 $p$-값이 $5.79 \times 10^{-166}$로 통계적으로 매우 유의미하며, 어려운 작업이 더 높은 차원의 하위 공간을 활용하도록 모델을 요구한다는 이론적 주장을 뒷받침합니다.

2. 운동학적 특징을 통한 조기 정답 예측

초기 궤적의 기하학적 구조는 생성이 완료되기 전에도 솔루션의 정답 여부를 예측하기에 충분한 정보를 포함하고 있습니다.

• 성능: **생성된 토큰의 첫 20%**에서 추출한 7개의 운동학적 및 위치적 특징을 사용하면, 로지스틱 회귀 분류기가 cross-question 설정에서 AUC 0.806(및 AUPRC $\approx 0.868$)으로 정답 여부를 예측할 수 있습니다.
• 신호 포화: 동일한 질문을 학습 중에 보는 within-question 설정에서는 성능이 조기에 포화됩니다(20% 관찰 시 AUC $\approx 0.90$). 이는 정답에 대한 기하학적 신호가 매우 초기에 나타나며, 더 많은 토큰이 주어진다고 해서 크게 개선되지 않음을 나타냅니다.
• 모델 비교: 단순 선형 모델(LR)이 전체 시퀀스에 대한 더 복plex한 아키텍처(GRU)보다 우수한 성능을 보였는데, 이는 거친 기하학적 구조가 신호의 주요 동력임을 시사합니다.

의의 및 주장

본 논문은 모델의 내부 추론 궤적의 형태가 작업 난이도와 솔루션 품질 모두를 나타내는 원칙적인 지표임을 확립한다고 주장합니다.

• 이론적 통찰: 스펙트럼의 평탄함과 유효 차원 사이의 이론적 연결을 제공하며, 어려운 작업이 더 높은 차원의 궤적을 필요로 하는 이유는 문제를 해결하기 위해 더 많은 잠재 차원을 활용해야 하기 때문이라고 주장합니다.
• 실용적 유용성: 이러한 발견은 조기 종료 전략(궤적 기하학이 낮은 정답 확률을 나타낼 때 생성을 중단) 및 best-of-n 랭킹(초기 궤적의 기하학적 특성을 바탕으로 후보 솔루션의 우선순위를 정함)에 활용될 수 있음을 시사하며, 이는 전체 생성을 기다리지 않고도 수행 가능합니다.
• 상보성: CoT의 텍스트 내용을 모니터링하는 기존 연구와 달리, 이 접근 방식은 은닉 상태 수준에서 작동하여 자연어 출력의 가독성에 의존하지 않는 모델 내부의 신호를 제공합니다.

한계점

저자들은 실험이 단 하나의 작은 모델(0.5B 파라미터)과 MATH500 데이터셋의 세 가지 특정 카테고리에 국한되어 있어, 더 큰 모델 및 다른 도메인으로의 일반화 가능성은 열린 문제로 남아 있음을 인정합니다. 또한, 이론적 분석이 스펙트럼 평탄함과 유효 차원을 연결하기는 하지만, 왜 작업 난이도가 훈련된 트랜스포머에서 이러한 특정 스펙트럼 구조를 유도하는지에 대한 기계론적 이유를 완전히 설명하지는 못합니다. 마지막으로, AUC 결과는 유망하지만, 이러한 기하학적 시그니처를 조기 종료 또는 best-of-n 효율성 향상이라는 구체적인 이득으로 전환하는 것은 향후 과제로 남겨두었습니다.