기술 요약: CopT: 일반적 및 에이전트 추론을 위한 연속 공간 기반의 대비적 온-정책 사고

문제 제기

연쇄 사고 (Chain-of-Thought, CoT) 프롬프팅은 대형 언어 모델 (LLM) 에서 추론 능력을 이끌어내는 표준이 되었습니다. 그러나 기존의 CoT 패러다임은 사고를 답변의 엄격한 전제 조건으로 간주하여, 모델이 최종 답변을 생성하기 전에 완전한 추론 경로를 생성하도록 강요합니다. 최근 관찰에 따르면 LLM 은 종종 "연기적 추론 (performative reasoning)"을 보여, 내부적으로 타당한 답변을 식별한 후에도 추론 단계를 계속 생성합니다. 이러한 행동은 올바른 답변에 접근하는 것을 지연시키고 불필요한 토큰 비용을 초래합니다. 또한, 연속 임베딩을 활용하는 기존 방법 (Latent CoT) 은 명시적 추론의 가독성을 희생하거나, 생성에 직접 사용할 때 보이지 않는 표현이나 노이즈로 인한 편향과 같은 문제를 야기합니다.

방법론: CopT

저자들은 CopT(Contrastive On-Policy Thinking) 를 제안합니다. 이는 훈련이 필요 없는 추론 파이프라인으로, 표준 작업 순서를 반대로 뒤집습니다: 먼저 답변, 그 다음 사고. 이 방법론은 두 가지 주요 단계와 새로운 대비적 검증 메커니즘으로 구성됩니다.

1. 반전된 추론 파이프라인

• 초안 답변 유도: 먼저 사고하는 대신, 모델은 즉시 <answer> 토큰을 출력하고 입력 질문 ($q$) 을 기반으로 초안 답변 ($a$) 을 생성하도록 강요받습니다.
• 온-정책 사고: 초안 답변이 신뢰할 수 없다고 판단되면, 모델은 초안에 조건부인 후속 사고 단계를 트리거합니다. 이를 통해 필요할 때만 반성 및 수정이 가능해집니다.

2. 대비적 신뢰도 추정

초안 답변을 신뢰할지 아니면 추가 사고가 필요한지 결정하기 위해 CopT 는 정규화된 시퀀스 레벨 역 KL 추정기($\kappa$) 를 도입합니다. 이 메커니즘은 생성에 사용하지 않고 추론 시 검증기로 연속 임베딩을 활용합니다.

• 이산 대 연속 입력: 생성 과정에서 모델은 각 단계에 대해 두 가지 표현을 캐시합니다:
  1. 이산 접두사: 이산 토큰 히스토리를 기반으로 선택된 토큰의 표준 확률 $p_t$.
  2. 연속 접두사: 모든 어휘 임베딩의 확률 가중 평균으로 계산된 연속 임베딩 $e_t$로, 불확실성 정보를 보존합니다.
• 추정기: 길이 $T_a$의 초안을 생성한 후, 모델은 이산 접두사 하에서 생성된 토큰의 확률 ($p_\theta(a_t | q, a_{<t})$) 과 연속 접두사 하에서의 확률 ($p_\theta(a_t | q, e_{<t})$) 을 비교합니다.
  $$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$$
• 해석: 높은 $\kappa_a$는 불확실성 정보 (연속 임베딩) 를 고려할 때 답변이 현저히 덜 지지됨을 나타내며, 이는 초안이 신뢰할 수 없음을 시사합니다. $\kappa_a$가 임계값 $\tau_a$를 초과하면 모델은 온-정책 사고 단계에 진입합니다.

3. 동적 가시성 제어

온-정책 사고 단계 동안 초안 답변은 유용한 부분 정보를 포함할 수 있지만, 근본적으로 결함이 있는 경우 모델을 오도할 수도 있습니다. CopT 는 후속 사고 청크 동안 초안 답변의 가시성을 동적으로 제어함으로써 이를 해결합니다.

• 사고 궤적은 청크로 분할됩니다.
• 각 청크에 대해 두 번째 KL 추정기 ($\kappa_r$) 를 계산하여 현재 사고 과정의 안정성을 평가합니다.
• $\kappa_r$이 불안정성 (높은 차이) 을 나타내면, 모델이 오도되는 것을 방지하기 위해 다음 청크에 대해 초안 답변을 숨깁니다 ($m_k=0$). 안정적이라면 초안은 가시적으로 유지됩니다 ($m_k=1$).

4. 이론적 기반

이 논문은 "혼합 - 선형 (mixture-linear)" 가정 하에 역 KL 추정기의 기대값이 미해결 잠재 추론 상태 $S$와 방출된 답변 토큰 $A$ 사이의 상호 정보 $I(S; A)$와 같음을 보여주는 이론적 분석을 제공합니다. 이는 추정기가 잠재 상태의 임의적 불확실성이 아닌 답변 관련 불확실성을 측정함을 증명합니다. 결과적으로, 이 점수는 연속 임베딩에 보존된 불확실성이 실제로 생성된 토큰에 대한 모델의 지지를 변경할 때만 증가합니다.

주요 기여

1. 반전된 패러다임: LLM 이 초안 답변을 먼저 생성하고 초안이 신뢰할 수 없다고 판단될 때만 온-정책 사고를 호출하는 훈련이 필요 없는 파이프라인을 제안하여, 답변에 대한 조기 접근과 선택적 수정을 가능하게 합니다.
2. 대비적 검증: 연속 임베딩 (기존 Latent CoT 에서 생성에 사용됨) 을 추론 시 검증기로 재해석하는 메커니즘을 도입합니다. 이산 및 연속 입력을 대비함으로써 초안 신뢰도를 추정하고 명시적 CoT 의 가독성을 희생하지 않으면서 초안 가시성을 조절합니다.
3. 이론적 통찰: 제안된 추정기가 잠재 상태와 답변 사이의 상호 정보를 측정함을 입증하여, 왜 이것이 효과적으로 답변 관련 불확실성을 포착하는지 설명합니다.
4. 실증적 검증: 수학, 코딩, 에이전트 추론 작업 전반에 걸쳐 방법을 광범위하게 검증하여 표준 CoT 베이스라인 대비 일관된 개선을 보였습니다.

실험 결과

저자들은 Qwen3 및 Qwen3.5 모델 (2B, 8B, 35B 규모) 에 대해 GSM8K, Math500, AIME, HumanEval, LeetCode-Contest 및 에이전트 벤치마크 (BFCL v4, ZebraArena) 를 포함한 10 개 벤치마크에서 CopT 를 평가했습니다.

• 정확도 및 효율성: CopT 는 표준 CoT 대비 동등하거나 더 높은 정확도 수준에서 피크 정확도를 최대 **23%**까지 향상시키고 (예: ZebraArena large split), 토큰 사용량을 최대 **57%**까지 감소시킵니다.
• 수학 및 코딩: GSM8K 에서 CopT 는 토큰을 55.1% 줄이면서 정확도를 +0.23% 향상시켰습니다. 까다로운 AIME 벤치마크에서는 AIME24 에서 정확도를 +3.34%, AIME25 에서 +2.92% 향상시켰습니다.
• 에이전트 추론: 다중 턴 에이전트 작업 (ZebraArena) 에서 CopT 는 large split 에서 정확도를 +23.03% 향상시키면서 토큰 사용량을 19.6% 감소시켰습니다.
• 연속 방법과의 비교: 생성에 연속 임베딩을 사용하는 훈련이 필요 없는 방법 (예: Soft-Thinking, SwiReasoning) 과 달리, CopT 는 더 적은 토큰으로 더 높은 정확도를 달성하면서도 완전히 명시적이고 가독성 있는 추론을 유지합니다.
• 지연 시간: 토큰 절감은 지연 시간 감소로 직접 연결되어, CopT 는 HumanEval 에서 샘플당 평균 지연 시간을 최대 69% 감소시킵니다.

중요성 및 주장

이 논문은 CopT 가 추가 훈련 없이 추론 시 더 비용 효율적인 LLM 추론을 위한 실용적인 길을 제공한다고 주장합니다. 사고 - 답변 순서를 반전시키고 연속 임베딩을 대비적 검증기로 활용함으로써, CopT 는 정확도, 효율성, 추론 투명성 사이의 균형을 성공적으로 잡습니다. 저자들은 이 접근 방식이 직접적인 연속 생성의 함정 (예: 다양성 감소 및 노이즈) 을 피하면서도 연속 공간에 내재된 불확실성 정보를 활용하여 언제 사고하고 언제 멈출지에 대해 더 지능적인 결정을 내린다고 강조합니다. 이 방법은 다양한 모델 아키텍처 및 추론 도메인에 적용 가능한 일반화 가능한 프레임워크로 제시됩니다.