기술 요약: 지혜의 형상: 언어 모델의 결정 궤적 (The Shape of Wisdom: Decision Trajectories in Language Models)

문제 정의

현재 대규모 언어 모델(LLM)에 대한 평가는 일반적으로 출력을 마지막 레이어에서 선택된 최종 토큰이라는 단일 종착점으로 취급합니다. 본 논문은 이러한 관점이 내부의 의사결정 과정을 가린다고 주장합니다. 다지선다형 설정에서 모델의 정답 선호도는 정적인 것이 아니라, 네트워크의 깊이에 따라 진화합니다. 모델은 초기에 정답을 선호했다가 오답으로 전환되거나, 결정 경계 근처에서 머뭇거리거나, 혹은 후반부에 결정을 내릴 수 있습니다. 본 논문은 정답을 마지막 레이어의 이벤트가 아니라 네트워크의 레이어를 통과하는 **궤적(trajectory)**으로 이해해야 한다고 상정합니다. 핵심 과제는 종단 정확도(endpoint accuracy)에 의해 흔히 혼동되는 세 가지 별개의 속성, 즉 결정의 현재 상태(current state), 움직임의 방향(direction of motion), 그리고 결정 반전(decision flip)에 대한 근접성(proximity)을 분리하는 것입니다.

방법론

본 연구는 세 가지 지시어 튜닝된 7~8B 파라미터 모델인 Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3를 대상으로 9,000개의 모델-프롬프트 궤적을 분석합니다. 모든 모델은 동일한 3,000개의 4지선다형 MMLU 프롬프트로 평가되었습니다.

관찰 대상 및 지표

저자들은 모든 레이어(Layer 1부터 최종 레이어까지)에서 추적되는 세 가지 주요 양을 정의합니다:

1. 상태 (Margin, 마진): 정답 옵션의 점수에서 가장 강력한 오답 경쟁자의 점수를 뺀 값입니다. 양(+)의 마진은 정답이 앞서고 있음을 나타내며, 음(-)의 마진은 오답이 앞서고 있음을 나타냅니다.
2. 움직임 (Drift, 드리프트): 한 레이어에서 다음 레이어로 넘어갈 때 발생하는 마진의 변화량입니다.
3. 경계 거리 (Boundary Distance): 마진의 절대값으로, 결정 반전(마진이 0을 교차하는 지점)까지의 거리를 나타냅니다.

궤적 분류

최종 정답과 궤적 꼬리 부분(최종 레이어들)의 안정성을 바탕으로, 저자들은 궤적을 네 가지 운영 체제로 분류합니다:

• 안정-정답 (Stable-Correct, SC): 최종 답변이 정답이며, 꼬리 부분이 안정적임.
• 안정-오답 (Stable-Wrong, SW): 최종 답변이 오답이며, 꼬리 부분이 안정적임.
• 불안정-정답 (Unstable-Correct, UC): 최종 답변은 정답이지만, 궤적이 후반 레이어에서 상당한 움직임을 보임.
• 불안정-오답 (Unstable-Wrong, UW): 최종 답변이 오답이며, 후반 레이어에서 상당한 움직임을 보임.

메커니즘 분석

이러와 궤적 내의 움직임을 설명하기 위해, 저자들은 600개의 프롬프트(각 궤적 유형당 150개)로 구성된 추적된 하위 집합을 활용했습니다.

• 스칼라 회계 (Scalar Accounting): 저장된 트레이스는 Attention(어텐션) 블록과 MLP 블록이 각 레이어에서 마진을 얼마나 이동시켰는지에 대한 스칼라 요약을 기록했습니다.
• 스팬 삭제 (Span Deletion): 프롬프트의 특정 구간(증거, 방해 요소, 또는 중립으로 라벨링됨)을 제거하여 정답 마진에 미치는 인과적 효과를 측정하는 개입 실험입니다.
• 역사실적 재생 (Counterfactual Replay): "실패하는" 궤적의 구성 요소 기여도(어텐션 또는 MLP 스칼라)를 "안정-정답" 소스 궤적의 것으로 대체하여 최종 마진의 변화를 관찰하는 시뮬레이션 제거 및 교체 실험입니다.

주요 결과

1. 정답성의 이질성

가장 중요한 경험적 발견은 **불안정-정답 (UC)**이 전체 모델-프롬프트 행의 42.1%(3,790개 궤적)를 차지하는 가장 큰 궤적 그룹이라는 점입니다. 반면, **안정-정답 (SC)**은 19.0%(1,711개 궤적)에 불과합니다.

• 이는 정답을 맞혔다는 것이 반드시 모델이 조기에 그 답에 "안착(settled)"했음을 의미하지는 않는다는 것을 시사합니다. 즉, 많은 정답은 지속적인 불확실성과 후반 레이어의 움직임을 통해 도달됩니다.
• 종단 정확도는 "안착된 정답성"과 "취약한 정답성"을 혼동합니다.

2. 움직임의 메커니즘적 동인

• 선형 회계: 어텐션과 MLP 스칼라의 선형 결합은 레이어 간 마진 드리프트를 성공적으로 재구성하였으며, 높은 $R^2$ 점수를 달성했습니다 (Qwen 0.90, Llama 0.76, Mistral 0.91).
• 안정-정답 역학: 안정-정답 궤적에서 평균 어텐션 스칼라는 양수(0.14)이며, 이는 정답을 앞서 나가게 함을 나타냅니다. 반대로, 평균 MLP 스칼라는 음수(-0.22)입니다.
• 안정-오답 역학: 안정-오답 궤적에서는 어텐션과 MLP 스칼라 모두 음수입니다.

3. 입력 개입

스팬 삭제 실험은 프롬프트 내용과 마진 움직임 사이의 인과 관계를 확인했습니다:

• 증거(evidence) 구간을 제거하면 정답 마진이 하락했습니다 (평균 효과: +2.92 로짓 단위).
• 방해 요소(distractor) 구간을 제거하면 정답 마진이 상승했습니다 (평균 효과: -2.18 로짓 단위).
• 중립 구간은 무시할 만한 영향을 미쳤습니다. 이는 특정 텍스트 세그먼트가 궤적 체제로 정의된 마진을 인과적으로 구동함을 입증합니다.

4. 역사실적 교체

실패하는 궤적에 안정-정답 궤적의 후반 레이어 구성 요소를 교체했을 때:

• MLP 교체는 어텐션 교체(-0.31)에 비해 최종 마진에서 더 큰 평균 변화(예: "legacy first" 프로토콜에서 +5.75)를 생성했습니다.
• 이는 어텐션이 레이어별로 안정성을 향한 일관된 추진력을 제공하는 반면, MLP가 이 특정 재생 프로토콜에서 최종 마진에 대한 더 큰 전이 가능한 "부스트(boost)"를 전달한다는 것을 시사합니다.

의의 및 주장

본 논문은 완전한 숨겨진 상태 회로(hidden-state circuit)나 보편적인 물리적 상전이를 발견했다고 주장하는 것을 명시적으로 피합니다. 대신, 그 의의는 서로 다른 유형의 모델 행동을 구분하는 재현 가능한 프레임워크를 제공하는 데 있습니다:

1. 정확도와 안정성의 분리: 본 연구는 "정답을 맞히는 것"과 "정답이 확정되는 것"이 별개의 속성임을 보여줍니다. 불안정-정답 궤적의 높은 빈도는 많은 정답 출력이 취약하며 마지막 레이어까지 결정 경계 근처에 머물러 있음을 시사합니다.
2. 의사결정 과정의 가독성: 상태, 움직임, 경계 거리를 추적함으로써, 복잡한 회로 발견에 의존하지 않고도 의사결정 과정을 가독성 있게 만듭니다.
3. 움직임의 원인 식별: 연구는 어텐션이 레이어별로 안정-정답 움직임에 대한 명확한 양의 기여자인 반면, MLP 구성 요소는 역사실적 개입 중에 최종 마진에 대한 더 큰 시뮬레이션된 변화를 유도하는 것으로 보임을 식별했습니다.
4. 인과적 입력 민감도: 정답을 뒷받받는 텍스트를 제거하거나 방해 요소를 추가하는 것이 예측 가능하고 해석 가능한 방향으로 결정 마진을 움직인다는 결과를 확인했습니다.

저자들은 이 모델들의 "최선의 행동"은 단순히 올바른 종착점에 도달하는 것이 아니라, 정답에 조기에 도달하고 그 위치를 유지하는 것(안착)이라고 결론짓습니다. 제공된 지표와 개입 방식은 어떤 답변이 안착되었는지, 어떤 것이 취약한지, 그리고 측정된 힘(어텐션 vs MLP, 증거 vs 방해 요소)이 이러한 결과들을 어떻게 구동하는지를 측정하는 방법을 제시합니다.