Predicting Future Behaviors in Reasoning Models Enables Better Steering

기술 요약: 추론 모델의 미래 행동 예측을 통한 더 나은 스티어링(Steering)

문제 정의

배포된 대규모 추론 모델(Large Reasoning Models, LRMs)은 종종 예상치 못한 행동을 보이며, 이는 강력한 제어 메커니즘을 필요로 합니다. 은닉 표현(hidden representations)에 개입하여 출력을 제어하는 테스트 타임 활성화 스티어링(test-time activation steering)이 유망한 방법으로 보여왔으나, 이는 출력 품질과 모델 능력의 저하라는 결정적인 한계에 자주 직면합니다.

저자들은 기존의 스티어링 방식이 탐지 특징(detection features), 즉 생성된 텍스트에 이미 존재하는 행동을 식별하는 내부 표현에 암묵적으로 의존하고 있다고 주장합니다. 그러나 LRM은 사고 사슬(Chain-of-Thought, CoT) 추론 과정 동안 결정을 언어화하기 전, 여러 가능한 미래 응답에 대한 분포를 유지합니다. 본 논문은 과거의 행동을 탐지하는 특징에 의존하는 것이 하위한 개입 대상이라고 상정하는데, 왜냐하면 이러한 특징들은 미래의 행동적 결과를 예측하는 데 부적합하기 때문입니다. 결과적으로, 탐지 특징에 기반한 스티어링은 모델을 자연스러운 생성 매니폴드(natural generation manifold)에서 벗어나게 하여, 일관성이 없거나 품질이 낮은 출력을 유도합니다.

방법론

1. 행동 분포 역학 분석

연구는 먼저 LRM이 "행동적 불확실성(behavioral uncertainty)"을 나타내는 경우가 많다는 점을 확립했습니다. 즉, 단일 프롬프트가 추론 경로에 따라 여러 행동적 결과로 이어질 수 있습니다. 저자들은 리샘플링 분석을 통해 CoT 추론 과정 중 문장 단위로 특정 행동의 확률이 어떻게 진화하는지 추적했습니다. 그 결과, 불확실한 예시들에 대해 모델은 행동을 미리 결정하는 것이 아니라, 추론 과정 도중에 최종 결정에 수렴한다는 것을 발견했습니다.

2. 탐지 특징과 예측 특징의 구분

본 연구의 핵심적인 이론적 기여는 두 가지 구별되는 클래스의 내부 특징을 식별한 것입니다:

• 탐지 특징 (Detection Features): 텍스트에 특정 행동이 이미 발생했음을 알리는 활성화 값 (일반적으로 최종 답변에서 추출됨).
• 예측 특징 (Prediction Features): 중간 추론 단계를 통해 파생되며, 모델이 미래에 특정 방식으로 행동할 경향을 인코딩하는 활성화 값.

이를 검증하기 위해 저자들은 각 문장의 끝에 있는 잔차 스트림(residual stream) 활성화에 대해 선형 프로브(Linear Probes)(및 MLP 프로브)를 학습시켜 미래 행동 확률을 예측하도록 했습니다.

• 예측 프로브 (Prediction Probes): 미래 행동 가능성을 예측하기 위해 중간 CoT 활성화에 대해 학습되었습니다. 이 프로브들은 행동 발생 여부를 예측하는 데 있어 높은 정확도(이진 분류 정확도 64%~91%)를 달了습니다.
• 탐지 프로브 (Detection Probes): 행동을 탐지하기 위해 최종 답변의 활성화에 대해 학습되었습니다. 이를 (중간 단계의) 미래 결과를 예측하는 데 사용했을 때, 이 특징들은 성능이 현저히 낮았으며, 이는 탐지 특징과 예측 특징이 서로 구별되며 일치하지 않음을 확인시켜 줍니다.

3. 미래 프로브 제어 생성 (Future Probe Controlled Generation, FPCG)

예측 특징의 존재를 바탕으로, 저자들은 텍-레벨 스티어링 알고리즘인 **미래 프로브 제어 생성(FPCG)**을 제안합니다. 생성된 토큰의 잔차 스트림을 수정하는 활성화 스티어링과 달리, FPCG는 다음과 같이 작동합니다:

1. 후보 생성 (Candidate Generation): 각 추론 단계(문장)에서 모델은 $M$개의 후보 문장을 생성합니다.
2. 점수 산정 (Scoring): 각 후보 문장(문장 끝까지)에 대한 모델의 활성화를 추출합니다.
3. 예측 (Prediction): 학습된 프로브가 각 후보에 대해 원하는 (또는 원하지 않는) 미래 행동의 가능성을 예측합니다.
4. 선택 (Selection): 목표 행동의 예측 확률을 최대화(또는 최소화)하는 후보를 선택합니다.
5. 반복 (Iteration): 다음 문장에 대해 이 과정을 반복합니다.

이 접근 방식은 외부 벡터 덧셈 대신 모델 자신의 확률적 계획(probabilistic planning)에 기반하여 선택을 수행하므로, 모델이 자연스러운 데이터 매니폴드 내에 머물면서 원하는 행동에 부합하는 경로를 "선택"할 수 있게 합니다.

주요 결과

예측 정확도

중간 활성화에 대해 학습된 선형 프로브는 미래 행동 확률을 높은 정확도로 성공적으로 예측했습니다. 이진화된 정확도(행동이 일어날 가능성이 높은지 낮은지를 예측)는 다양한 모델(DeepSeek-R1-Distill-Llama-8B, Qwen3-14B, gpt-oss-20b, QwQ-32B)과 데이터셋(Myopic Reward, Refusal, Prompt Injection 등) 전반에 걸쳐 64%에서 91% 사이였습니다. 이는 내부 표현이 미래의 행동 경향성에 대한 강력한 신호를 포함하고 있음을 확인해 줍니다.

스티어링 성능 및 품질

저자들은 FPCG를 표준적인 차이 평균(Difference-in-Means) 활성화 스티어링과 비교 평가했습니다:

• 행동 제어: FPCG는 테스트된 모든 모델과 데이터셋에서 행동 비율을 유의미하게 변화시켰습니다 (예: DeepSeek-R1에서 "Myopic Reward" 행동을 46.2%에서 5.1%로 감소시킴).
• 출력 품질: 결정적으로, FPCG는 출력 품질 저하를 거의 일으키지 않았습니다. 형식 위반이나 비일관성으로 인해 필터링된 생성물의 비율이 대부분의 경우 0~3%로 매우 낮았습니다. 반면, 활성화 스티어링은 최대 18%의 생성물이 필터링되는 등 상당한 품질 저하를 일으켰으며, 12개 시나리오 중 9개에서 퍼플렉시티(perplexity)를 증가시켰습니다.
• 퍼플렉티티: 활성화 스티어링은 대부분의 시나리오에서 생성 퍼플렉티를 증가시켰으며, 이는 모델을 자연스러운 데이터 매니폴드에서 밀어낸다는 것을 시사합니다. FPCG는 12개 시나리오 중 단 하나에서만 퍼플렉티를 증가시켰습니다.
• 스티어러빌리티 (Steerability): gpt-oss-20b 모델에서 활성화 스티어링은 Refusal, Prompt Injection, Wealth Seeking 작업에서 생성 자체가 깨지는 현상이 발생하며 완전히 실패한 반면, FPCF는 품질 저하 없이 이러한 행동들을 성공적으로 스티어링했습니다.

의의 및 주장

본 논문은 **행동 탐지(behavior detection)**와 행동 예측(behavior prediction) 특징을 구분하는 것이 LRM의 효과적인 제어를 위해 필수적이라고 주장합니다.

• 개념적 통찰: 본 연구는 LRM이 실현된 텍스트를 탐지하는 특징과는 구별되는 특징을 통해, 내부적으로 미래 행동에 대한 확률 분포를 유지하고 있다는 증거를 제공합니다.
• 실용적 유용성: FPCG를 통해 예측 특징을 타겟팅함으로써, 출력 품질을 보존하면서도 강력한 강도로 모델 행동을 스티어링할 수 있으며, 이는 현재 활성화 스티어링 방식의 주요 한계를 극복합니다.
• 상호 보완성: FPCG는 활성화 기반 방식이 실패하거나 성능을 저하시키는 시나리오에서도 작동할 수 있는, 기존 방식에 대한 상호 보완적인 접근법으로 제시됩니다.

저자들은 내부 표현이 계획에서 언어화로 진화하는 과정을 이해하는 것이 LRM 행동에 대한 더 미세하고 효과적인 제어를 가능하게 한다고 결론짓습니다.