기술 요약: 연극을 버리라: 신뢰할 수 있는 체인 오브 사고 추론을 위한 프로브 필터 강화 학습

문제 정의

강화 학습 (RL), 특히 그룹 상대 정책 최적화 (GRPO) 로 훈련된 현재 추론 모델들은 내부 의사 결정과 생성된 출력 사이에 체계적인 격차를 보입니다. 이러한 모델들은 종종 추론 과정 초기에 내부적으로 정답에 '결정'을 내린 후에도, 고심하는 것처럼 보이지만 정확성에는 아무런 기여를 하지 않는 단계를 계속 생성합니다. 저자들은 이 현상을 **추론 연극 (reasoning theater)**이라고 명명합니다.

이러한 행동은 세 가지 주요 비용을 초래합니다:

1. 비효율성: 추론 토큰을 낭비하여 에이전트 배포 시 비용을 증가시킵니다.
2. 해석 가능성 오염: 과정 기반 보상 훈련에 허위 신호를 도입하고 모델이 수행한 실제 계산을 흐리게 만듭니다.
3. 신뢰성 부족: 체인 오브 사고 (CoT) 가 더 이상 정답에 이르게 한 추론 경로를 충실히 반영하지 못합니다.

기존의 진단 작업은 이러한 격차를 식별했지만, 표준 RL 보상 설계는 이를 해결할 수 없습니다. 왜냐하면 검증자 (예: 문자열 매처, 코드 실행기) 는 최종 답안만 볼 뿐, 내부 결정 시점이나 중간 단계의 신뢰성을 보지 못하기 때문입니다.

방법론: ProFIL (Probe-Filtered Reinforcement Learning, 프로브 필터 강화 학습)

저자들은 인간 주석 없이 추론 연극을 억제하도록 설계된 GRPO 의 바로 적용 가능한 확장인 ProFIL을 소개합니다. 핵심 통찰은 사후 결정 단계를 감지하는 데 필요한 '검증자'가 이미 모델의 내부 활성화 내에 존재한다는 것입니다.

1. 라벨 생성 (강제 답변)

연극 탐지기를 훈련하기 위해 저자들은 인간 개입 없이 단계별 라벨을 생성합니다:

• 추론 체인의 모든 단계 경계에서, 모델에게 지금까지 생성된 추론 만을 기반으로 최종 답안을 제공하도록 요청하는 강제 답변 프롬프트가 삽입됩니다.
• 이 강제 답변이 표준 작업 검증자에 의해 확인된 정답과 일치하는 첫 번째 단계를 **결정 시점 (commitment point, $c$)**으로 정의합니다.
• $c$ 이후에 발생하는 모든 단계는 **연기적 (performative, theater)**으로 라벨링됩니다.

2. 고정 베이스 프로브

다중 헤드 어텐션 프로브가 **고정된 베이스 모델 ($\pi_{base}$)**에서 강제 답변 라벨을 사용하여 한 번 훈련됩니다.

• 아키텍처: 고정된 베이스의 특정 레이어 ($\ell_1, \ell_2$) 에서 레이어 정규화 (LayerNorm) 를 거친 잔여 스트림 활성화 값을 입력으로 받는 게이트형 다중 헤드 어텐션 메커니즘 (RLFR 과 유사).
• 훈련: 프로브는 이진 교차 엔트로피 (BCE) 를 사용하여 연기성 라벨 (신뢰할 수 있는 경우 0, 연기적인 경우 1) 을 예측하도록 훈련됩니다.
• 안정성: 핵심적으로, 프로브는 고정된 베이스에서 훈련된 후 고정됩니다. 정책 ($\pi_\theta$) 의 RL 훈련 동안 업데이트되지 않습니다. 이는 정책이 동적 모니터로부터 행동을 숨기는 'RL-가려기 (RL-obfuscation)' 실패 모드를 방지합니다.

3. GRPO 내의 프로브 필터

GRPO 훈련 중 각 프롬프트에 대해 $K$개의 롤아웃이 샘플링됩니다. 이점 (advantage) 계산 전에:

1. 고정된 프로브가 고정된 베이스의 활성화 값을 사용하여 각 롤아웃에 대한 단계별 연기성 점수를 계산합니다.
2. 롤아웃에 대한 평균 연기성 점수 ($\bar{p}$) 가 계산됩니다.
3. 만약 $\bar{p} \geq \tau$ (임계값 하이퍼파라미터) 라면, 해당 롤아웃의 보상과 이점은 0 으로 설정됩니다.
4. 이러한 필터링된 롤아웃은 그래디언트 업데이트에 전혀 기여하지 않으므로, 정책이 내부 결정이 감지된 후 단계 생성을 중단하도록 효과적으로 가르칩니다.

주요 기여

• 목표 정렬 방법: ProFIL 은 GRPO 에 대한 단일 확장으로, 사후 결정에 대한 심화 설명을 억제하고, 체인의 신뢰할 수 있는 비율을 높이며, 체인 길이를 줄이면서 동시에 작업 정확도를 유지하거나 향상시킵니다.
• 일반성: 이 방법은 네 가지 다양한 추론 도메인 (GSM8K, LiveCodeBench, ToolUse, MMLU-Redux) 과 두 가지 모델 아키텍처 (Llama-8B, Qwen-7B) 에서 일관된 개선을 보여줍니다.
• 게임 방지 메커니즘: 프로브를 고정된 베이스에서 훈련함으로써 시스템은 RL-가려기 실패 모드를 견딥니다. 모델은 프로브를 회피하기 위해 활성화를 이동시키는 법을 배우는 대신, 연극 자체를 억제하는 법을 배웁니다. 프로브는 훈련 내내 LiveCodeBench 에서 1.000 의 AUROC 를 유지합니다.
• 의미론적 대 길이 압축: 이 논문은 메커니즘을 의미론적 결정 감지로 분리합니다. 매칭된 길이 패널티 기준선은 실제로 연기성을 증가시켰으며, 이는 단순한 토큰 감소가 작동 메커니즘이 아님을 증명합니다.
• 아티팩트: 저자들은 네 가지 도메인에 대한 프로브 가중치, 훈련 구성, 및 롤아웃 캐시를 공개합니다.

실험 결과

네 가지 도메인에서 ProFIL 은 다음과 같은 결과를 달성했습니다:

• 연극 억제: 연기성 비율 (사후 결정 단계의 비율) 을 **11% 에서 100%**까지 감소시켰습니다.
  • GSM8K: 약 100% 감소 (0.006 $\to$ 0.000).
  • LiveCodeBench: 72% 감소 (0.267 $\to$ 0.076).
  • ToolUse: 11% 감소 (0.527 $\to$ 0.468).
  • MMLU-Redux: 50% 감소 (0.016 $\to$ 0.008).
• 신뢰성: "신뢰할 수 있는 비율" (낮은 연기성을 가진 체인) 이 증가했습니다. 특히 ToolUse 에서 신뢰할 수 있는 비율은 0.029 에서 0.147 로 상승하여 5 배 증가했습니다.
• 정확도: 모든 경우에서 작업 정확도가 유지되거나 향상되었습니다.
  • GSM8K: +5.2 퍼센트 포인트 (pp).
  • LiveCodeBench: +7pp (sampled@1 피크).
  • MMLU-Redux: 정확히 동일.
• 독립적 검증: 프로브 점수에 접근할 수 없는 자연어 신뢰성 평가 기준을 사용한 독립적인 Claude 3.7 Sonnet 심판은 LiveCodeBench 에서 신뢰할 수 있는 비율이 +24pp 증가했음을 확인했습니다.
• 체인 길이: 정확도 손실 없이 체인이 4~19% 단축되었습니다.

중요성과 주장

이 논문은 ProFIL 이 신뢰할 수 있는 비율과 같은 검증 불가능한 목표를 최적화하기 위한 일반적인 레시피를 보여준다고 주장합니다. 모델의 자체 내부 표현 (고정된 베이스에서 한 번 읽음) 을 활용함으로써 외부 검증자가 볼 수 없는 안정적이고 주석 없는 훈련 신호를 생성합니다.

저자들은 추론 연극이 "학습된 자신감 의식"—이미 해결 방법을 알고 있는 문제에 모델이 사후에 덧붙이는 공연이라고 주장합니다. ProFIL 은 불확실성이나 자기 수정 (결정 전 발생) 을 억제하지 않습니다. 대신, 고연극 모드를 축소하여 모델이 내부적으로 결정된 후 단계 생성을 중단하도록 강제합니다. 그 결과, 실제 계산을 더 잘 반영하는 추론 체인이 만들어져 감사 가능성과 해석 가능성을 향상시키면서 추론 비용을 줄입니다.