Reasoning Fine-Tuning Induces Persistent Latent Policy States

당신이 한 명의 뛰어난 학생이 복잡한 수학 문제를 푸는 모습을 지켜보고 있다고 상상해 보십시오. 때때로 그들은 그냥 답을 툭 내뱉기도 하고, 어떤 아이디어가 통할 때까지 하나씩 시도하며 추측의 안갯속을 헤매기도 합니다. 또 다른 때에는 그들은 명확하고 단계적인 계획을 가지고 있습니다. 질문을 이해하기 위해 잠시 멈추고, 문제를 작은 조각으로 나누며, 자신의 풀이를 재검토한 다음, 확신을 가지고 최종 해답을 써 내려갑니다. 수년 동안 과학자들은 이러한 형태의 사고를 수행하도록 '대규모 언어 모델(LLM)'이라 불리는 컴퓨터 프로그램이 어떻게 학습하는지 궁금해해 왔습니다. 이 모델들은 방대한 양의 텍스트를 통해 학습하지만, 추론 능력을 키우기 위해 연구자들은 최종 답안을 내놓기 전 단계별 설명인 '사고의 사슬(Chain of Thought)'을 요구하는 문제들로 추가 학습을 시킵니다.

여기서 큰 미스터리는 이 추가 학습이 단순히 문장의 다음 단어를 더 잘 맞히게 만드는 것인지, 아니면 시간이 흐름에 따라 모델의 '두뇌'가 작동하는 방식을 근본적으로 재구성하는 것인지 하는 점입니다. 이것은 마치 무작위로 단어를 외치는 혼란스러운 군중과, 잘 연습된 오케스트라가 교향곡을 연주하는 것의 차이와 같습니다. 이 논문은 이 학습 과정이 모델을 정확히 언제 바이올린을 등장시키고 언제 드럼 소리를 키워야 할지 아는 '지휘자'로 만드는 것인지, 아니면 그저 더 크고 자신감 넘치는 '군중'을 만드는 것인지를 묻습니다. 우리가 이 모델들이 어떻게 생각하는지 이해하는 것은 매우 중요합니다. 왜냐하면 이를 통해 모델이 막혔을 때 고치거나, 현재 실패하고 있는 문제들을 해결하도록 도울 수 있기 때문입니다입니다.

---

AI 두뇌 내부의 숨겨진 교환기

이 논문에서 연구자들은 AI의 사고 과정을 **스위칭 동적 시스템(switching dynamical system)**으로 취급합니다. 이는 모델의 두뇌가 단순히 매끄럽게 흐르는 생각의 강물이 아니라, 서로 다른 '궤도' 또는 잠재 정책 상태(latent policy states) 사이를 건너뛰는 기차라고 상상하는 방식입니다.

AI를 긴 여정을 떠나는 여행자라고 상상해 보십시오. '기본(base)' 모델(추론을 위해 특별히 학습되지 않은 모델)은 정처 없이 떠도는 관광객과 같습니다. 커피숍에 들렀다가, 공원에 갔다가, 박물관에 가기도 하지만, 종종 같은 곳을 맴돌거나 목적지 없이 무작위로 위치를 바꾸며 혼란스러워합니다. 그들의 경로는 무질서하고 예측 불가능합니다.

반면, 추론 미세 조정(reasoning-fine-tuned) 모델은 노련한 가이드와 같습니다. 이 가이드는 뚜렷한 '모드'나 '상태'가 담긴 숨겨진 지도를 가지고 있습니다. 가이드가 '계획 모드'에 진입하면, 그곳에 한동안 머물며 경로를 신중하게 짭니다. 그런 다음 숫자를 계산하는 '계산 모드'로 전환합니다. 마지막으로, 도착지에 도달하기 전 모든 것을 재확인하기 위해 '검증 모드'로 이동합니다. 이 논문의 핵심 발견은 학습이 단순히 가이드를 더 똑똑하게 만드는 것이 아니라, 이러한 모드들 사이를 전환하는 훨씬 더 조직적이고 구조화된 방식을 부여한다는 것입니다.

연구진의 발견

연구팀은 15억 개에서 320억 개의 파라미터를 가진 다양한 AI 모델들이 수학 및 논리 퍼즐을 풀 때 발생하는 내부 '활성화(activations)'(전기 신호)를 관찰했습니다. 그들은 이 방대한 데이터를 단순한 저차원 지도로 압축하기 위해 CEBRA라는 특수 도구를 사용했으며, 숨겨진 '레짐(regime)' 또는 상태를 찾기 위해 **스위칭 동적 시스템(SDS)**이라는 수학적 프레임워크를 적용했습니다.

연구 결과는 다음과 같습니다.

1. 더 조직적인 전환: 추론 학습을 받은 모델은 단순히 상태가 더 많은 것이 아니라, 상태 간의 전환이 훨씬 더 구조적이었습니다. 기본 모델은 (고장 난 전등 스위치처럼) 근처의 상태들 사이를 무작위로 깜빡이며 움직이는 경향이 있었지만, 추론 모델은 뚜렷하고 잘 분리된 '클러스터(집단)'를 형성했습니다. 이들은 한 상태에 더 오래 머무는 높은 **지속성(persistence)**을 보였으며, 그다음 필요한 상태로 의도적인 도약을 했습니다.
2. 기능적 전문화: 연구진은 이러한 숨겨진 상태들이 실제 추론 단계와 일치한다는 것을 발견했습니다. 어떤 상태는 명확히 '문제에 대해 생각하는 중'이었고, 어떤 상태는 '수학 계산을 하는 중'이었으며, 어떤 상태는 '답을 확인하는 중'이었습니다. 추론 모델은 적절한 상태에 적절한 시간 동안 머무는 능력이 훨씬 뛰어났습니다.
3. 단순히 정답률의 문제가 아님: 이 연구의 중요한 부분은 이러한 패턴이 추론 모델이 정답을 더 많이 맞혔기 때문에 나타난 현상이 아님을 입증하는 것이었습니다. 연구진은 기본 모델과 추론 모델이 모두 정답을 맞힌 문제만을 골라 테스트했습니다. 이러한 '완벽한' 경우에도 추론 모델은 여전히 조직적이고 다중 상태적인 구조를 보여준 반면, 기본 모델은 여전히 혼란스러운 상태였습니다. 이는 이 구조가 단순히 점수가 높아진 부수적인 효과가 아니라, 모델이 생각하는 방식의 근본적인 변화임을 시사합니다.
4. 인과적 증명 (이식 실험): 이 상태들이 실제로 중요한 역할을 한다는 것을 증명하기 위해, 연구진은 '수술'을 수행했습니다. 그들은 추론 모델의 '전환 규칙(정책)'을 가져와 기본 모델에 이식하려고 시도했습니다. 기본 모델이 추론 모델의 경로를 따르도록 부드럽게 유도함으로써, 연구진은 기본 모델이 이전에 실패했던 문제들을 해결할 수 있도록 도왔습니다. 이는 조직적인 전환 패턴 자체가 차이를 만드는 핵심 요소임을 입증했습니다.

실용적인 초능력: "프리픽스 가드(Prefix Guard)"

가장 흥-미로운 실용적 응용은 이 발견을 사용하여 실수를 바로잡는 데서 나왔습니다. 연구진은 모델이 잘못된 경로(실패로 이어지는 추론 접두사)로 들어서기 시작할 때, 특정하고 도움이 되지 않는 상태에 갇히는 경향이 있다는 점을 발견했습니다.

그들은 PREFIXGUARD라는 도구를 구축했습니다. 러너(달리기 선수)를 지켜보는 코치를 상상해 보십시오. 선수가 잘못된 방향으로 질주하기 시작하면, 코치는 너무 많은 에너지를 낭비하기 전에 "멈춰!"라고 외칩니다. PREFIXGUARD는 AI를 위해 이 역할을 수행합니다. 이 도구는 모델이 생각하기 시작할 때의 숨겨진 상태를 관찰합니다. 만약 모델이 '실패하기 쉬운' 상태로 진입하는 것을 포착하면, PREFIXGUARD는 그 사고의 흐름을 끊고 모델이 더 나은 접근 방식으로 다시 시작하도록 강제합니다.

결과는 인상적이었습니다. 12가지의 서로 다른 테스트 환경(다양한 모델과 수학 데이터셋 조합)에서, 이 방법은 표준 방식에 비해 모델의 정확도를 최대 12.5 퍼센트 포인트까지 향상시켰습니다. 이 도구는 단순히 더 잘 추측하는 것이 아니라, 잘못된 길 자체를 피하게 만들었습니다.

이것이 의미하는 바

이 논문은 우리가 AI에게 추론을 가르칠 때, 단순히 새로운 사실을 가르치는 것이 아니라고 제안합니다. 우리는 AI의 내부 '운영 체제'를 근본적으로 재구성하고 있는 것입니다. 우리는 모델에게 뚜렷하고 지속적인 정신적 모드 세트를 부여하고, 이를 일관성 있고 시간 인지적인 순서에 따라 전환하는 법을 가르치고 있습니다.

저자들은 이것이 모델이 인간과 같은 의식을 가졌다거나 철학적인 의미에서 무엇을 '알고' 있다는 뜻은 아니라고 주의를 기울입니다. 대신, 이는 모델의 사고를 구성하는 수학적 구조가 혼란스러운 발짓이 아닌, 잘 짜인 안무와 같은 형태로 변했음을 의미합니다. 이 발견은 AI가 어떻게 작동하는지 분석하는 새로운 방법을 열어줄 뿐만 아니라, 더 나아가 우리가 이러한 모델을 오류로부터 멀어지게 하고 더 나은 해결책으로 이끌 수 있는 새로운 도구를 제공합니다.