기술 요약: TTRL-CoCoV

문제 정의

테스트 타임 강화 학습(Test-Time Reinforcement Learning, TTRL)은 인간의 주석이나 정답 레이블 없이도 자기 샘플링(self-sampling)과 내부 보상 구축을 통해 정책을 최적화함으로써, 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 레이블 프리(label-free) 패러다임으로 부상했습니다. 최근의 TTRL 방법론들은 단일 패스 생성 정확도(Pass@1)를 개선하는 데 성공했지만, 레이블이 없는 환경에서 Pass@k(k개의 샘플 내 생성 커버리지)를 최적화하는 문제는 여전히 매우 미개척된 영역으로 남아 있습니다.

검증 가능한 보상을 활용한 지도 학습 기반의 강화 학습(RLVR)에서 사용되는 표준 Pass@k 최적화 전략을 TTRL에 직접 적용할 경우, 다음과 같은 세 가지 근본적인 문제로 인해 실패하게 됩니다:

1. 노이즈가 섞인 탐색 신호: Pass@k 최적화는 저신뢰도 샘플을 탐색하는 데 의존합니다. 레이블이 없는 설정에서 이러한 샘플들은 심각한 의사 레이블(pseudo-label) 노이즈를 겪으며, 이는 탐색 신호를 오염시키고 성능을 저하시킵니다.
2. 길이 분산 붕괴(Length Variance Collapse): 지도 학습 설정과 달리, TTRL에서의 Pass@k 최적화는 응답의 다양성을 유지하지 못합니다. 모델은 응답의 표준 편차가 줄어드는 "길이 붕패" 현상을 보이며, 이는 경직되고 반복적인 추론 템플릿으로 조기 수렴함을 의미합니다.
3. 공식화 실패(Formulation Failure): 표준 지도 학습 기반의 Pass@k 이점(advantage) 공식은 비지도 환경에 효과적으로 전이되지 않으며, 결과적으로 의도했던 탐색 공간의 확장 대신 실제 Pass@k 성능의 저하를 초래합니다.

방법론: TTRL-CoCoV

저자들은 단일 공유 가중치 모델($\pi_\theta$)이 생성기(generator)와 검증기(verifier) 역할을 동시에 수행하는 새로운 프레임워크인 TTRL-CoCoV(Confidence-Conditioned Verification을 이용한 테스트 타임 강화 학습)를 제안합니다. 핵심 혁신은 모델의 내부 합의 신뢰도($C_{maj}$)에 따라 검증 자원을 동적으로 할당하여 앞서 언급한 문제들을 해결하는 신뢰도 조건부 메커니즘입니다.

이 프레임워크는 샘플을 세 가지 별도의 최적화 구역으로 분류합니다:

1. 고신뢰도 탐색 구역 ($C_{maj} \ge \tau_{high}$)

• 상태: 모델이 높은 합의를 보임; 의사 레이블이 신뢰할 수 있는 상태임.
• 동작: 다수결 답변을 의사 레이블로 사용함. 검증($I_{verify}=1$)은 필터링을 위해서가 아니라, 고품질 데이터를 사용하여 **검증기를 부트스트래핑(bootstrap)**하고 공동 진화(co-evolution)를 가능하게 하기 위해 활성화됨.
• 다양성 메커니즘: 표준 TTRL에서 관찰되는 "길이 붕괴"를 방지하기 위해, **탐색 강화 보상($R_{div}$)**이 적용됨. 이 보상은 올바르게 레이블링된 샘플에 대해 궤적 다양성(평균 응답 길이로부터의 편차)을 장려하여, 모델이 숙달된 문제에서도 다양한 추론 전략을 계속 탐색하도록 보장함.

2. 저신뢰도 검증 구역 ($C_{maj} < \tau_{low}$)

• 상태: 모델이 낮은 합의를 보임; 다수결 투표를 통한 의사 레이블의 노이즈가 매우 높음.
• 동작: 프레임워크는 의사 레이블 선택 권한을 검증기에 위임함. 모델은 후보 답변들에 대해 여러 개의 검증 궤적을 생성함.
• 필터링: 높은 검증 통과율(Verification Pass Rate, VPR)을 가진 후보들만 신뢰 집합(trusted set)에 포함됨. 만약 어떤 후보도 통과하지 못하면, 잘못된 그래디언트로 모델을 오염시키는 것을 방지하기 위해 해당 샘플은 건너뜀. 이는 "노이즈가 섞인 탐색 신호" 문제를 해결함.

3. 중간 신뢰도 전이 구역 ($\tau_{low} \le C_{maj} < \tau_{high}$)

• 상태: 검증이 다수결 투표보다 큰 이점을 제공하지 못하는 모호한 신뢰도 수준.
• 동작: 추론 오버헤드를 줄이기 위해 검증을 우회함($I_{verify}=0$). 추가적인 탐색 보상 없이 다수결 답변을 직접 생성기 업데이트에 사용함.

학습 목적 함수

전체 손실(loss)은 생성 정책 손실($L_{first}$)과 검증 정책 손실($L_{second}$)의 가중 합으로 구성됩니다. 검증 손실은 **비대칭 소프트 보상 행렬(asymmetric soft reward matrix)**을 사용하여, 검증기가 엄격한 필터 역할을 할 수 있도록 거짓 양성(잘못된 답을 올바르다고 검증하는 것)에 대해 거짓 음성보다 더 무거운 페널티를 부여합니다.

2단계 어닐링 전략 (Two-Stage Annealing Strategy)

레이블 프리와 지도 학습 간의 격차를 더욱 좁히기 위해, 저자들은 사후 학습 단계인 정책 어닐링(policy annealing) 단계를 도입합니다. 초기 "탐색" 단계(TTRL-CoCoV) 이후, 다양성 보상을 제거하고 단일 경로 Pass@1 극대화에 집중하는 "착취(exploitation)" 단계로 전환합니다. 이를 통해 모델은 탐색 중에 축적된 다양한 추론 궤적을 고도로 최적화된 솔루션으로 정제할 수 있습니다.

주요 기여

1. 경험적 진단: 본 논문은 비지도 TTRL에서 Pass@k 최적화의 실패 모드(노이즈 신호, 다양성 붕괴, 공식화 불일치)를 규명하는 최초의 체계적인 조사를 제공합니다.
2. 신뢰도 적응형 프레임워크: TTRL-CoCoV는 생성기와 검증기가 공동 진화하는 메커니즘을 도입합니다. 고신뢰도 샘플은 검증기를 학습시키고, 검증기는 다시 저신뢰도 샘플의 노이즈를 필터링함으로써 선순환 구조를 만듭니다.
3. 탐색 강화 보상: 고신뢰도 영역에서 궤적 다양성을 유지하기 위해 설계된 맞춤형 보상 메커니즘($R_{div}$)을 통해 조기 수렴을 방지합니다.
4. SOTA 성능: 본 방법론은 여러 벤치마크에서 최첨단(SOTA) 결과를 달ей하며, 레이블이 없는 설정에서 발생하는 전형적인 Pass@k 저하 현상을 역전시킵니다.

실험 결과

Qwen3-4B 및 Qwen3-8B 백본을 사용하여 MATH500, AIME24/25, AMC, GPQA, DAPO를 포함한 6개의 추론 벤치마크에서 실험을 수행했습니다.

• Pass@1 개선: TTRL-CoCoV는 Qwen3-4B에서 표준 TTRL 대비 평균 +9.8%, Qwen3-8B에서 **+6.2%**의 절대적 이득을 달성했습니다.
• Pass@16 개선: 생성 커버리지 측면에서 막대한 이득을 보였으며, TRL 대비 평균 절대 개선 폭은 Qwen3-4B에서 +18.7%, Qwen3-8B에서 **+13.0%**였습니다.
• 지도 학습 베이스라인 상회: 2단계 어닐링 전략을 통해, 완전 비지도 방식인 TTRL-CoCoV는 특정 복잡 추론 벤치마크(예: AIME25, GPQA)에서 완전 지도 학습 기반 GRPO 베이스라인보다 최대 +5.0% 높은 Pass@1 성능을 기록하며, 지도 학습 방법이 설정한 성능 상한선을 효과적으로 돌파했습니다.
• 안정성: 프레임워크는 훈련 과정 전반에 걸쳐 안정적인 보상 정확도(>0.8)를 유지하며, 경쟁 방법론에서 나타나는 후기 단계의 의사 레이블 붕괴 현상을 피했습니다.

의의 및 주장

본 논문은 TTRL-CoCoV가 비지도 학습에서 "검증-생성 간극(verification-generation gap)"을 근본적으로 해결한다고 주장합니다. 검증 능력이 일반적으로 생성 능력으로 이어진다는 점을 입증함으로써, 프레임워크는 자신의 출력을 검증하는 모델 스스로의 능력을 활용하여 훈련 신호를 정제합니다.

저자들은 자신들의 접근 방식이 레이블 프리와 레이블 지도 학습 사이의 간극을 성공적으로 메운다고 주장합니다. 특히, 탐색 공간(Pass@k)을 먼저 확장한 다음 이를 정제(annealing)함으로써, 훈련 과정 중 어떠한 정답 레이블도 필요 없이 도전적인 추론 과제에서 완전 지도 학습 베이스라인의 성능 상한선을 따라잡을 뿐만 아니라 초과 달성할 수 있음을 보여줍니다.