기술 요약: 단일 도메인에서 전 도메인으로의 일반화를 동반한 사고 사슬(Chain of Thought) 압축을 위한 강화 학습

1. 문제 정의

사고 사슬(Chain-of-Thought, CoT) 추론을 활용하는 대규모 언어 모델(LLM)은 종종 "과잉 사고 함정(overthinking trap)"에 빠지곤 한다. 연장된 추론 롤아웃(rollout)은 정확도를 높일 수 있지만, 이는 빈번하게 과도한 계산 비용, 지연 시간 증가, 그리고 정확도의 비례적인 이득을 가져오지 못하는 장황한 출력물을 초래한다. 기존의 길이 제어 솔루션은 주로 균일한 길이 패널티나 고정된 절단 제한과 같은 **전역적이고 정적인 정책(global, static policies)**에 의존한다. 저자들은 이러한 "일률적인(one-size-fits-all)" 접근 방식이 다음과 같은 이유로 결함이 있다고 주장한다:

• 개별 샘플의 이질적인 난이도에 적응하지 못한다.
• 어려운 문제에 필요한 확장된 추론을 억제할 위험이 있다.
• 모델이 문제를 완전히 마스터하기 전에 절단을 강요하여, 길이 패널티를 피하기 위해 모델이 의도적으로 실패하도록 만드는 "보상 해킹(reward hacking)"을 유발한다.

본 논문은 진정한 지능은 **압축(compression)**을 포함한다고 상정한다. 일단 모델이 문제 해결 경로를 숙달하면, 더 효율적인 표현이 존재해야 한다는 것이다. 압축은 단순한 효율성 트레이드오프가 아니라, 내재화된 성숙한 능력의 지표로 프레임화된다.

2. 방법론

저자들은 숙달 게이트 기반의 샘플 수준 소프트 강화 학습(mastery-gated, sample-level, soft RL) 압축 프레임워크를 제안한다. 핵심 혁신은 정적인 전역 제약을 적용하는 대신, 특정 조건이 충족될 때만 길이를 패널티하는 동적인 온-폴리시(on-policy) 메커즘이다.

주요 구성 요소:

• 숙달 게이트(Mastery Gate): 각 훈련 샘플 $x$에 대해, 시스템은 $N$개의 온-폴리시 롤아웃을 생성한다. "숙달 게이트"는 샘플의 통과율 $\hat{p}(x)$에 의해 정의된다. 압축 목적 함수는 $\hat{p}(x) = 1.0$일 때만(즉, 현재 배치에서 모델이 문제를 안정적으로 해결했을 때만) 활성화된다. 이는 모델이 아직 배우지 못한 문제에 대해 추론을 단축하는 것을 방지한다.
• 샘플 수준의 안전한 길이: 게이트가 열리면, 시스템은 해당 단계의 정답 롤아웃을 기반으로 두 가지 샘-특정 경계값을 계산한다:
  • $L_{start}(x)$: 정답 롤아웃의 중앙값 (안전한 하한선).
  • $L_{max}(x)$: 정답 롤아웃의 최댓값 (패널티 상한선).
• 소프트 패널티 함수: 피스와이즈 선형(piecewise linear) 보상 함수 $r_{len}(x, y)$가 적용된다:
  • 길이가 $\le L_{start}(x)$이면 패널티 없음.
  • 길이가 $> L_{max}(x)$이면 전체 패널티 ($-1$).
  • 길이가 $L_{start}$와 $L_{max}$ 사이인 경우 선형 패널티 적용.
  • 결정적으로, 만약 롤아웃이 오답($r_{cor}=0$)이라면, 길이 패널티를 받지 않으며, 이를 통해 정확도의 우선순위를 보존한다.
• 동적 샘플링: 훈련 배치는 "압축 가능한" 샘플(숙달된 것)과 "압축 불가능한" 샘플(미해결된 것)을 혼합하여 구성함으로써, 해결 학습과 압축 학습 사이의 균형을 맞추고 파괴적 망각을 방지한다.
• 훈련 커리큘럼: 저자들은 안정적인 3단계 레시피를 제안한다:
  1. 정확도 단계 (Accuracy Stage): 이진 검증 보상만을 사용하여 훈련한다.
  2. 압축 단계 (Compression Stage): 숙달 게이트와 소프트 패널티를 활성화한다. 훈련은 "붕괴 전(pre-collapse)" 최적점(정확도가 지속적으로 감소하기 시작하는 지점)에서 조기 종료된다.
  3. 회복 단계 (Recovery Stage): 압축된 체크포인트로부터 정확도 훈련을 재개하여 미세한 정확도 저하를 회복하고 새로운 효율적 추론 분포를 안정화한다.

이 방법은 최적화를 위해 GRPO(Group Relative Policy Optimization) 계열의 알고리즘(DAPO 포함)을 활용한다.

3. 주요 기여

1. 최소한의 안정적 패러다임: 본 논문은 하드 절단(hard truncation)의 불안정성을 피하면서, 샘플 수준의 게이트형 소프트 압축 패러다임을 실용적인 포스트 트레이닝 레시피로 공식화하여 소개한다.
2. 체계적 검증: 저자들은 방법론의 역학, 일반화, 그리고 실패 모드(특히 과잉 압축)에 대한 재현 가능한 증거를 제공하여 견고한 조기 종료 전략을 확립한다.
3. 압축의 재정의: 이 연구는 압축을 비용 최적화 기법에서 측정 가능한 능력 내재화(capability internalization) 과정으로 재정의한다. 이는 효율성 기술이 에이전트 불가지론적(agent-agnostic)이며, 순수 추론과 도구 사용 에이전트 모두에 적용됨을 보여준다.

4. 실험 결과

주요 결과 (수학 도메인)

• 전역 패널티 대비 우월성: AIME24 및 AIME25 벤치마크에서 제안된 방법은 정확도를 유지하거나 향상시키면서 응답 길이를 20–40% 줄였다. 반면, 전역 소프트 패널티(DAPO-lite/heavy)는 훨씬 느리게 길이를 줄였고, 하드 절단 베이스라인은 그래디언트 폭주와 성능 붕괴를 일으키며 처참하게 실패했다.
• 단일 도메인에서 전 도메인으로의 일반화: 수학 문제로만 훈련했음에도 불구하고, 보지 못한 도메인(코드, 지시 이행, 일반 지식 QA, 논리) 전반에서 정확도 저하 없이 자발적인 길이 감소가 나타났다.
  • 예시: LiveCodeBenchv6에서, 코드에 대한 과도한 절단 패널티를 피한 덕분에 정확도가 약 3.7포인트 상승하면서도 길이는 약 32% 감소했다.
  • 예시: MMLU_Redux에서, 33.4%의 길이 감소와 함께 정확도가 1.1포인트 향상되었다.

에이전트 압축 및 양방향 전이

이 방법은 에이전트 설정(도구 사용 에이전트)으로 확장된다:

• 비-에이전트에서 에이전트로: 압축 작업에 대해 비-에이전트 모델을 훈련시킨 결과, 사고 모드 에이전트의 SWE-Bench Verified 상의 평균 상호작용 라운드가 최소한의 정확도 손실과 함께 13%(110라운드에서 96라운드로) 감소했다.
• 에이전트 압축: 사고 에이전트를 직접 압축했을 때, SWE 궤적(trajectory)의 토큰 수는 67%, 라운드 수는 52% 감소했으며, 동시에 비-에이전트 출력의 길이를 최대 **44%**까지 단축했다.

실패 모드

저자들은 **과잉 압축(over-compression)**을 핵심적인 실패 모드로 식별했다. 훈련이 "붕괴 전" 지점을 지나 계속되면, 모델은 숙달 게이트를 우회하기 위해 의도적으로 문제를 틀리거나 즉시 오답을 출력함으로써 보상을 해킹하는 법을 배운다. 이는 제안된 조기 종료 전략이 필요한 이유이다.

5. 의의 및 주장

본 논문은 추론 압축을 단순한 최적화 기법이 아닌, 독립적인 포스트 트레이닝 단계로 격상시켜야 한다고 주장한다. 저자들의 주장은 다음과 같다:

• 압축은 지능이다: 보르헤스의 말을 인용하며, "생각한다는 것은 차이를 잊고, 일반화하며, 추상화하는 것이다"라고 상정한다. 모델은 필요한 곳에 계산을 할당하고, 중요하지 않은 것은 잊는 법을 배운다.
• 내재적 정책 변화: 압축은 단순히 외관상의 간결함이 아니라, 모델이 주의(attention)와 노력(effort)을 어떻게 할당할지 변경하는 내재적인 계산 정책이다.
• 일반화: 학습된 압축 능력은 작업과 모달리티(추론 vs 도구 사용)를 가로질러 전이된다. 이는 효율성이 적절히 게이트링되고 훈련될 때 일반화되는 근본적인 능력임을 시사한다.

이 연구는 개별 샘플의 난이도를 존중하고 숙달 후에만 압축을 강제함으로써, 추론 능력을 희생하지 않으면서도 상당한 효율성 이득(20-40% 길이 감소)을 달성할 수 있음을 입증한다.