기술 요약: 가치 축(The Value Axis): 언어 모델은 자신이 올바른 궤도에 있는지 여부를 인코딩한다

문제 제기

언어 모델(LM)은 복잡하고 장기적인 과업(예: 코딩, 수학적 추론)을 수행하며, 이는 현재의 전략을 지속할 것인지 아니면 되돌아가서 대안을 탐색할 것인지에 대한 중간 결정들을 필요로 한다. 강화 학습(RL) 이론은 에이전트가 현재 상태에서 미래 성공 가능성을 추정하는 내부적인 "가치 함수(value function)"를 유지해야 한다고 상정하지만, 언어 모델이 이와 유사한 내부 메커니즘을 실제로 개발하는지는 불분명하다. 구체적으로, 언어 모델은 생성 중간에 자신의 확신과 의사결정을 조절하는 '기대 목표 성공률'에 대한 추정치를 선형적으로 인코딩하는가?

방법론

1. 가치 축(Value Axis)의 구축

저자들은 합성 인컨텍스트 강화 학습(In-Context Reinforcement Learning, ICRL) 데이터를 사용하여 Qwen3-8B의 잔차 스트림(residual stream) 내에 "가치 축"을 구축한다.

• 데이터 생성: 모델이 문단을 수정하기 위해 숨겨진 기준(예: "대시(-)를 포함할 것")을 추측하려고 시도하는 300개의 대화 세트를 생성한다. 모델은 각 시도 후에 이진 피드백(+1 또는 -1)을 받는다.
• 발견의 순간(Discovery Moment): 각 대화에서 모델은 결국 올바른 기준을 "발견"한다. 이 구축 과정은 발견 전(모델이 불확실하고 부정적인 피드백을 받는 상태)의 토큰 활성화와 발견 후(모델이 확신하고 긍정적인 피드백을 받는 상태)의 토큰 활성화를 대조한다.
• 벡터 정의: 레이어 $l$에서의 가치 축 벡터 $v^{(l)}$은 대화 전체에 걸쳐 평균을 낸, 발견 후 토큰과 발견 전 토키 간의 은닉 활성화 차이의 평균으로 정의된다:
  $$v^{(l)} = \frac{1}{|C|} \sum_{c \in C} \left( \frac{1}{|T_{post}^c|} \sum_{t \in T_{post}^c} h_t^{(l)} - \frac{1}{|T_{pre}^c|} \sum_{t \in T_{pre}^c} h_t^{(l)} \right)$$
• 측정: 임의의 시퀀스 $s$에 대하여, "가치"는 해당 시퀀스의 토큰 활성화와 가치 축 벡터 사이의 평균 코사인 유사도로 측정된다.

2. 인과적 스티어링(Causal Steering)

축의 기능적 관련성을 테스트하기 위해, 저자들은 프리필링(prefilling) 및 디코딩 단계에서 활성화 스티어링(잔차 스트림에 스케일링된 벡터 $\alpha \cdot \hat{v}$를 더함)을 수행한다. 이를 통해 모델의 내부 "가치" 신호를 인과적으로 조절하고 행동 변화를 관찰할 수 있다.

3. 평가 도메인

연구는 다음 영역에서 축을 평가한다:

• 수학(Math): AIME 문제 (언어적 확신, 백트래킹).
• 코딩(Coding): LeetCode 문제 (코드 정확성, 장황함/설명).
• 선호도 학습(Preference Learning): 단어 선호도를 유도하기 위한 직접 선호 최적화(DPO).
• 실제 환경(In-the-Wild): Chatbot Arena 프롬프트, 벤치마크에 대한 지도 미세 조정(SFT), 그리고 "평가 인식(Eval-Aware)" 모델.

주요 결과

1. 확신 및 정확도와의 상관관계

• 언어적 확신: AIME 문제에서 가치 축 투영값(projection)은 모델이 확신을 언어로 표현할 때("네, 제 답은 정답입니다") 불확실할 때보다 유의미하게 높게 나타난다. 이 투영값은 확신 있는 생성과 그렇지 않은 생성을 AUROC > 0.75의 성능으로 구분한다.
• 백트래킹(Backtracking): 백트래킹 문구(예: "잠깐," "사실은")를 포함하는 롤아웃은 더 낮은 가치 투영값을 보인다. 투영값은 백트래킹 이벤트 직전에 급격히 떨어진다.
• 코드 정확성: 축은 올바른 코드 솔루션에 오염된 버전(구문 오류, 줄 바뀜, 이름 난독화 등)보다 더 높은 가치를 할당한다. 올바른 코드는 모든 오염 유형에 대해 일관되게 높은 투영값을 나타낸다.

2. 행동의 인과적 조절

가치 축을 따라 모델을 스티어링하면 행동이 인과적으로 변화한다:

• 높은 가치 스티어링: 정답 여부를 묻는 질문에 "예"라고 답하는 비율을 높이고, 백트래킹을 억제하며, 코딩 작업에서의 설명적 장황함(주석, 타입 힌트, 코드 라인 수 등)을 줄인다.
• 낮은 가치 스티어링: 백트래킹을 유도하고, 언어적 확신을 감소시키며, 코드 솔루션의 장황함과 완곡한 표현(hedging)을 증가시킨다.

3. 사후 학습(Post-Training)의 영향

내부 가치 함수는 가변적이며 학습 목표에 의해 형성된다:

• 직접 선호 최적화 (DPO): 특정 단어(예: "grapefruit")를 선호하도록 모델을 학습시키면 해당 단어에 대한 내부 가치가 증가한다. 이 효과는 자유 형식의 문장으로 일반화된다. 또한, 이러한 "고가치" 선호 단어를 코딩 작업에 사용하면 높은 확신 스티어링의 효과를 모방하여 설명의 장황함이 부수적으로 감소한다.
• 지도 미세 조정 (SFT): 특정 벤치마크(예: GSM8K)에 대한 SFT는 해당 도메인의 정답에 대한 내부 가치를 높이지만, 도메인이 다른 벤치마크(예: MATH-500)에는 영향을 미치지 않는다.
• 평가 인식 (Eval-Awareness): 평가 맥락을 인식하도록 학습된 모델은 사용자 프롬프트가 명시적으로 신호를 주지 않더라도, 배포 프롬프트보다 평가 프롬프트에 더 높은 내부 가치를 할당한다.

4. 실제 환경 분석

• Chatbot Arena: 사후 학습된 모델은 제약이 있는 정보 추출 쿼리에 높은 가치를 할당하고, 개방형 또는 정치적으로 민감한 쿼리에는 낮은 가치를 할당한다. 이러한 경향은 베이스 모델에서는 나타나지 않으며, 이는 사후 학습이 가치 축을 형성함을 시사한다.
• 일반화: 가치 축은 다양한 도메인(수학, 코딩, 선호도 학습)에 걸쳐 일반화되며, 중간에서 후반부 레이어(Qwen3-8B의 경우 레이어 21)에 걸쳐 안정적이다. 레이어 13 부근에서 급격한 방향 전환이 발생한다.

의의 및 주장

본 논문은 언어 모델이 기대 목표 성공률(가치 함수)에 대한 추정치를 선형적으로 인코딩하며, 이것이 현재의 궤적을 지속할지 여부에 대한 모델의 확신을 조절한다고 주장한다.

• 메커니즘: 이 표현은 단순히 정확도와의 상관관계가 아니라, 모델의 의사결정에 인과적 역할을 수행하며, 모델이 전략을 지속할지 아니면 백트래킹할지를 결정한다.
• 일반성: 이 메커니즘은 명시적인 RL 학습 없이도 다양한 태스크로 전이되는 범용적인 성격을 띠며, 이는 언어 모델이 "올바른 궤도에 있다"는 것에 대한 내부적인 "취향"을 발달시킨다는 것을 시사한다.
• 학습의 영향: 내부 가치 함수는 고정된 것이 아니라 DPO, SFT와 같은 사후 학습 방법을 통해 재형성될 수 있으며, 이는 모델의 내부 확신을 보상받는 행동과 정렬시킨다.
• 시사점: 가치 축은 모델의 목표와 확신에 관한 증거를 제공하는 잠재적인 도구가 될 수 있으며, 이는 모델의 자기 보고(self-report)에 의존하지 않는 방식이다.

저자들은 자신의 연구 결과에 대해 겸허한 입장을 유지하며, 본 분석이 Qwen3-8B로 제한되어 있고 가치 축의 구체적인 구성 방식이 합성 ICRL 데이터의 특이한 구성 요소를 포착했을 가능성이 있다는 점을 언급했다. 그러나 다양한 도메인에 걸친 일반화 능력은 이 메커니즘이 견고한 기저 원리임을 시사한다.