기술 요약: 언제 사고하고 언제 말할 것인가: LLM 추론을 위한 공개 정책 학습

문제 정의

현재의 단일 스트림 자기회귀형 대규모 언어 모델 (LLM) 은 구조적 한계에 직면해 있습니다. 내부 상태 업데이트와 공개적 공개가 결합되어 있기 때문입니다. 표준 인터페이스에서는 생성된 모든 토큰이 모델의 숨겨진 상태를 업데이트함과 동시에 되돌릴 수 없는 공개적 약속이 됩니다. 이로 인해 '침묵세 (silence tax)'가 발생합니다. 사용자는 작업과 관련된 콘텐츠를 보기 위해 전체 추론 과정이 완료될 때까지 기다려야 하거나, 반대로 모델이 초기에 스트리밍할 경우 지지되지 않는 주장으로 후속 생성에 편향을 초래할 수 있는 '조기 약속 (premature commitments)'의 위험을 감수해야 합니다.

연쇄 사고 (Chain-of-Thought, CoT) 프롬프팅은 중간 추론을 유도하여 정확도를 향상시키지만, 심의를 길고 사용자가 볼 수 있는 서두로 표현함으로써 이러한 긴장을 악화시킵니다. 기존 해결책들은 공개를 위한 고정된 템플릿/휴리스틱에 의존하거나, 저정보 채우기를 장려하는 방식으로 더 빠른 출력을 유도합니다. 본 연구가 다루는 핵심 문제는 표준 자기회귀 디코딩 내에서 공개 타이밍을 학습 가능한 의사결정 변수로 만들어, 초기에 보이는 텍스트가 그 시점까지 생성된 추론에 의해 엄격히 지지되도록 보장하는 것입니다.

방법론: 병렬 (Side-by-Side, SxS) 교차 추론

저자들은 병렬 (Side-by-Side, SxS) 교차 추론을 제안합니다. 이는 단일 토큰 스트림 내에서 가시성을 제어 가능한 속성으로 취급하는 프레임워크입니다. 모델은 각 단계에서 두 가지 행동 중 하나를 선택합니다.

1. 사고 (Think, R): 비공개 심의 (공개되지 않음).
2. 말하기 (Speak, A): 사용자 대상 공개.

두 행동 모두 동일한 자기회귀 컨텍스트 내에서 발생합니다. '말하기' 토큰은 모델이 더 일찍 공개하기로 선택한 최종 응답의 접두어를 형성하는 반면, '사고' 토큰은 이전 약속과 모순되지 않으면서 지속적인 비공개 정제를 가능하게 합니다.

학습 파이프라인

이 접근법은 채우기를 장려하지 않고 속도를 학습하기 위해 2 단계 학습 프로세스를 사용합니다.

1. 함의 정렬 감독 미세 조정 (Entailment-Aligned Supervised Fine-Tuning, SFT):

   • 데이터 구성: 표준 $(x, r, a)$ 삼중체 (입력, 추론, 답변) 를 교차된 궤적으로 변환합니다.
   • 정렬: 함의 체커 (대형 LLM 을 통해 구현됨) 는 주어진 추론 접두어가 지지하는 가장 긴 답변 접두어를 결정합니다.
   • 교차: 모델은 함의 경계가 전진할 때만 답변 블록을 생성하도록 학습됩니다. 이는 '더 빠른' 공개가 '지지된' 공개와 동의어가 되도록 보장합니다.
   • 후행 추론: 전체 답변이 추론 시퀀스 종료 전에 지지되면, 나머지 추론은 후행 블록으로 추가되어 솔루션 이후 행동 (예: 자기 점검) 을 보존합니다.

2. 강화 학습 (Reinforcement Learning, RL):

   • 목적: SFT 는 이중 행동 의미론을 가르치지만, 교차된 형식은 최종 작업 정확도를 저하시킬 수 있는 분포 변화를 유발합니다. RL 은 새로운 형식 하에서 추론 성능을 회복하는 데 사용됩니다.
   • 알고리즘: 결과만 기반의 보상 (최종 답변의 정확성) 을 사용하여 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 적용합니다.
   • 세분성 제어: 저자들은 정확성 신호 (올바른 롤아웃과 잘못된 롤아웃 분리) 를 엄격히 보존하면서 더 짧은 추론 블록 (더 높은 세분성) 을 장려하기 위해 2 차 계획법을 사용하는 선택적 보상 형성 메커니즘을 탐구합니다.

주요 기여

1. 제어로서의 공개: 이 논문은 공개 타이밍을 표준 자기회귀 디코딩 내의 순차적 의사결정 문제 (사고 vs 말하기) 로 공식화하여, 아키텍처 변경이나 별도의 모델 없이 가시성을 제어 가능한 속성으로 변환합니다.
2. 정당화된 조기 공개: 함의 정렬 교차 궤적을 구성함으로써, 이 방법은 조기 공개가 안전하게 표시될 수 있도록 보장하여 조기 약속과 채우기를 방지합니다.
3. 파레토 트레이드오프 학습: SFT 와 RL 의 결합은 다양한 모델 아키텍처 (MoE 대 밀집형), 규모, 도메인 전반에 걸쳐 향상된 정확도 - 지연 시간 트레이드오프를 입증합니다.

실험 결과

저자들은 도메인 내 (AIME25) 와 도메인 외 (GPQA-Diamond, LiveCodeBench, KOR-Bench) 벤치마크에서 두 가지 Qwen3 아키텍처 (MoE Qwen3-30B-A3B 및 밀집형 Qwen3-4B) 에 대해 SxS 를 평가했습니다.

• 침묵세 타파: SxS 는 사용자 대기 시간의 토큰 수준 대리 지표인 **평균 응답 간 대기 (Average Inter-Response Wait, AIRW)**를 크게 감소시킵니다. 예를 들어, Qwen3-4B 에서 AIRW 는 표준 CoT 의 약 21,316 토큰에서 SxS 의 약 8,519 토큰으로 감소하여 더 빈번한 부분 공개를 나타냅니다.
• 정확도 회복: SFT 는 분포 변화로 인해 초기에 정확도 하락을 초래합니다 (예: Qwen3-30B-A3B 는 SFT 후 76.9% 에서 50.8% 로 하락). 그러나 후속 RL 단계는 교차 구조를 유지하면서 정확도를 성공적으로 회복시킵니다 (79.2% 로 복원).
• 도메인 외 견고성: SxS 는 도메인 외 작업에서 파국적 망각을 완화합니다. GPQA-Diamond 에서 수학 중심 RL 후 표준 CoT 는 상당한 하락을 보였습니다 (예: Qwen3-4B 는 55.9% 에서 19.0% 로 하락). 반면 SxS 는 훨씬 더 높은 정확도 (49.3%) 를 유지했습니다.
• 세분성 안정성: 교차 행동은 결과만 기반의 RL 하에서도 견고하게 유지됩니다. RL 은 교차 빈도를 약간 감소시키는 경향이 있지만, 단일 거대한 추론 블록으로 다시 수렴하지는 않습니다. 필요 시 보상 형성을 통해 세분성을 능동적으로 제어할 수 있습니다.

의의 및 주장

이 논문은 응답 속도를 추론 모델의 실용적이면서도 미탐구된 제어 차원으로 위치시킵니다. 저자들은 SxS 가 아키텍처 수정 없이 정확도 - 콘텐츠 - 지연 시간 파레토 트레이드오프를 향상시킨다고 주장합니다. 공개를 구체적인 지지 조건 (함의) 에 기반한 학습된 약속 정책으로 만듦으로써, 이 방법은 모델이 신뢰성을 유지하면서 부분적 진전을 더 일찍 공개할 수 있게 합니다.

이 발견들은 심의와 반응성 사이의 인식된 트레이드오프가 단일 스트림 공개 관례에 의해 크게 형성됨을 시사합니다. SxS 는 속도가 휴리스틱에 의해 부과되는 것이 아니라 안정적인 행동 정책으로 학습될 수 있음을 보여주며, 모델이 정당화된 부분적 진전을 일찍 공개하고 사적으로 심의를 계속하는 '언제나 가능한 상호작용 (anytime interaction)'을 가능하게 합니다. 저자들은 절대적 정확도 향상이 때로는 미미할지라도, 의미 있는 가시적 업데이트 간의 지연이 지속적으로 감소한다는 점은 사용자 지각 반응성의 상당한 개선임을 지적합니다.