기술 요약: 사고 토큰(Thinking Tokens)은 안전성에 도움이 되는가?

문제 정의

대규모 추론 모델(LRM)은 최종 응답을 생성하기 전 확장된 "사고 흔적(thinking traces)"을 생성하며, 이는 수학이나 코딩과 같은 복잡한 작업에서 성능을 향고시키는 기제로 평가받는다. 이러한 숙고 모드가 모델이 요청이 안전 원칙을 위반하는지 여부를 평가할 수 있는 "안전한 공간"을 제공함으로써 안전성 또한 향상시킬 것이라는 가설이 지배적이다. 이러한 직관은 많은 규칙 기반 및 명세 기반 안전 방어 체계의 기초가 된다. 그러나 최근 연구에 따르면 표준 인스트럭션 튜닝 모델의 안전 정렬(safety alignment)은 종종 피상적이며, 결정은 초기 토큰에 의해 결정되고 쉽게 우회될 수 있다. 본 논문이 다루는 핵심 질문은 LRM의 확장된 사고 과정이 진정으로 안전 결정 능력을 개선하는지, 아니면 단순히 생성 과정 초기에 이미 내려진 결정에 대한 사후 합리화(post-hoc rationalization) 역할을 하는 것인지이다.

방법론

저자들은 네 가지 최첨단 오픈 웨이트 추론 모델인 Qwen3-8B, Olmo-3-7B-Think, Phi-4-Reasoning, GPT-OSS-20B를 평가한다. 연구는 다각적인 접근 방식을 채택한다:

1. 해독 가능성 분석(Decodability Analysis): 저자들은 첫 번째 사고 토큰($h_0$)의 은닉 표현(hidden representations)을 조사하여, 가시적인 사고가 일어나기 전에 최종 거절/준수 결과가 이미 인코딩되어 있는지 확인한다. 이들은 선형 프로브(로지스틱 회귀)를 사용하여 첫 번째 토큰의 표현을 조사하고, AUROC와 균형 정확도(Balanced Accuracy, BAcc)를 통해 성능을 측정한다. 또한 전체 사고 흔적에 걸쳐 피셔 판별비(Fisher discriminant ratio, $J(t)$)를 계산하여 거절 그룹과 준수 그룹의 분리도를 시간에 따라 추적한다.
2. 계속 변동성(Continuation Variance): 사고 과정이 결정 궤적을 변경하는지 테스트하기 위해, 저자들은 단일 프롬프트에 대해 여러 독립적인 사고 흔적을 생성하고, 이를 자연스러운 길이의 다양한 비율(20%~100%)에서 절단(truncation)한다. 그 후 이 접두사(prefix)들에 조건화된 최종 응답을 샘플링하여 결과의 변동성을 측정한다. 낮은 변동성은 접두사가 결정을 고착시킴을 의미한다.
3. 진동 분석(Oscillation Analysis): 저자들은 최첨단 LLM(GPT-5.4, Gemini 3 Pro, Sonnet 4.6)을 사용하여 사고 흔적의 문장 단위 세그먼트를 분석하고 입장 라벨(거절 경향, 중립, 준수 경향)을 부여한다. 이들은 "진동(oscillations)"(입장의 변화)을 식별하고, 이러한 변화가 "의미 있는(meaningful)" 것인지(최종 응답 분포를 통계적으로 변화시킴), 아니면 "수행적(performative)"인 것인지(최종 결정에 영향이 없는 텍스트 변화) 판단한다.
4. 방어 체계 평가(Defense Evaluation): 본 연구는 기존의 추론 시점 방어(예: SafePath ZS, PSR, SafeRemind)와 학습 기반 방어(예: STAR-1, R1-ACT, ThinkSafe, STAIR, RAPO)를 평가하여, 이들이 공격 성공률(ASR)과 과잉 거절률(Over-Refusal Rate, ORR) 사이의 트레이드오프를 개선하는지, 혹은 사고 흔적의 숙고적 성격을 증가시키는지 평가한다.

주요 기여 및 결과

1. 안전 결정은 가시적 추론 전에 해독 가능하다

가장 놀라운 발견은 거절/준수 결과가 실질적인 사고 텍스트가 생성되기 전, 즉 첫 번째 사고 토큰($h_0$)의 은닉 표현으로부터 강력하게 예측 가능하다는 것이다.

• 지표: $h_0$에 대한 선형 프로브는 모든 모델에서 0.84에서 0.95 사이의 AUROC를, 76%에서 88% 사이의 균형 정확도를 달성했다.
• 대조: 첫 번째 토큰의 표면 텍스트에만 기반한 프로브는 우연 수준 근처(AUROC ~0.5)의 성능을 보였는데, 이는 신호가 토큰의 정체성이 아닌 잠재 표현(latent representation)에 인코딩되어 있음을 나타낸다.
• 궤적: 피셔 판별비는 "U자형" 또는 "계곡" 형태를 보인다: 시작 지점($t=0$)에서 높은 분리도를 보이다가, 흔적 중간에서 떨어졌다가, 마지막에 다시 회복된다. 이는 결정이 초기에 공고화되어 나머지 사고 과정으로 상속됨을 시사한다.

2. 사고는 숙고적 수정이 아닌 접두사 완성(Prefix Completion) 역할을 한다

사고 과정은 초기 접두사에 의해 설정된 궤적에서 모델을 벗어나게 하는 경우가 드물다.

• 계속 변동성: 사고 흔적을 단 20% 길이에서 절단하더라도 최종 결과의 변동성은 거의 제로(<0.2)에 가깝다. 후반부의 사고 토큰은 거절을 준수로, 혹은 준수를 거절로 바꾸는 경우가 거의 없다.
• ASR-ORR 트레이드오프: 사고를 활성화하는 것이 ASR과 ORR을 일관되게 개선하지는 않는다. 대신, 이는 이상적인 저-ASR/저-ORR 영역으로 파레토 프런티어를 이동시키기보다, 모델을 트레이드오프 곡선 상에서 이동시킨다(예: ASR을 줄이면 ORR이 증가함).

3. 대부분의 "숙고"는 수행적이다

사고 흔적은 종종 거절과 준수 입장 사이를 오가는 것처럼 보이는 텍스트를 포함하지만, 이러한 세그먼트들은 최종 결정에 미미한 인과적 영향만을 미친다.

• 수행적 vs 의미 있는: 발견된 진동 중 **71–92%**는 "수행적"이었다. 즉, 텍스트는 입장이 변하지만 최종 응답 분포는 고정되어 있었다. 오직 적은 비율의 세그gment만이 "의미 있는"(통계적으로 유의미한 변화를 일으키는) 변화를 보였다.
• 고착 상태: 모든 진동의 약 **73–77%**는 모델의 결정이 이미 "고착된"(확률 >0.95 또는 <0.05) 상태에서 발생하며, 이는 텍스트적 숙고를 결과와 무관하게 만든다.

4. 기존 방어 체계는 진정한 숙고를 유도하는 데 실패한다

본 연구는 다양한 안전 개입을 평가하였으며, 이들이 진정한 안전 숙고를 유도하는 데 대체로 실패함을 발견했다.

• 추론 시점 방어: SafePath ZS 및 PSR과 같은 방법은 일반적으로 높은 ORR(과잉 거절)을 대가로 ASR을 낮춘다. 결정적으로, 이들은 이미 약해진 숙고 신호를 억제하며, 일부 모델에서는 의미 있는 진동을 최대 95%까지 감소시킨다.
• 학습 기반 방어: STAR-1 및 ThinkSafe와 같은 방법은 더 큰 행동 변화를 유도하지만, 유사하게 모델을 과잉 거절 쪽으로 몰아넣는다. 이들은 사고 흔적의 숙고적 품질을 일관되게 높이지 못하며, 일부는 거절 신호의 초기 해독성을 유지하면서도 의미 있는 진동을 오히려 감소시킨다.

의의 및 주장

본 논문은 현재의 추론 모델 패러다임이 흔히 가정되는 안전 숙고를 위해 사고 토큰을 활용하지 않는다고 주장한다. 대신, 이 모델들의 안전 행동은 다음과 같다:

1. 사전 결정됨: 첫 번째 사고 토큰의 은닉 상태에 인코딩되어 있다.
2. 비숙고적임: 후속 사고 흔적은 주로 초기 결정에 대한 사후 합리화 역할을 할 뿐, 수정 과정이 아니다.
3. 오해의 소지가 있음: 현재의 방어 체계는 숙고의 외양(텍스트적 진동)을 실제 안전 추론으로 오인하는 경우가 많으며, 많은 개입이 존재하는 몇 안 되는 숙고 신호마저 의도치 않게 억제한다.

저자들은 현재 LRM의 안전 행동이 "흔히 가정되는 것보다 훨씬 덜 숙고적"이라고 결론짓는다. 이들은 단순히 안전한 느낌의 추론 텍스트 생성을 장려하는 것이 아니라, 실질적인 안전 숙고에 보상을 주는 새로운 학습 목표가 필요함을 강조한다. 이 연구는 단순히 사고 시간을 늘리거나 안전 알림을 삽입하는 것만으로는 불충분하며, 사고 과정이 안전 결과에 진정으로 영향을 미칠 수 있도록 의사결정 메커니즘 자체를 변경해야 함을 시사한다.