💬 NLP

Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning

이 논문은 다수결 투표의 편향과 희소 보상 문제를 해결하기 위해 모델 신뢰도와 동적 하위 그룹 분할을 결합한 SCOPE 프레임워크를 제안하여, 테스트 시간 강화 학습에서 LLM 의 추론 능력을 크게 향상시킨다는 것을 보여줍니다.

원저자: Weiqin Wang, Yile Wang, Kehao Chen, Hui Huang

게시일 2026-04-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weiqin Wang, Yile Wang, Kehao Chen, Hui Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎓 배경: 학생들은 어떻게 스스로 공부할까?

과거에는 AI 가 문제를 풀 때, 정답이 있는 교재 (정답지) 를 보고 "맞았나요? 틀렸나요?"를 확인하며 공부했습니다. 하지만 정답이 없는 어려운 문제 (수학 경시대회 문제 등) 가 많아서, AI 가 스스로 정답을 찾아내야 하는 상황이 생겼습니다.

기존의 방법 (TTRL) 은 이렇게 작동했습니다:

"학생 8 명에게 같은 문제를 풀게 해보자. 가장 많이 나온 답을 '정답'으로 믿고, 그 답과 다른 학생들은 틀렸다고 가르쳐라."

이 방법은 간단하지만 큰 두 가지 문제가 있었습니다.

다수결의 함정 (확증 편향): 만약 8 명 중 5 명이 모두 틀린 답을 똑같이 외워서 썼다면? AI 는 "아, 5 명이 맞았으니 이게 정답이구나!"라고 착각하며, 오히려 틀린 답을 더 열심히 외우게 됩니다.
희박한 보상: "맞았다/틀렸다"는 이분법적인 평가만 있어서, "어디서 왜 틀렸는지"에 대한 구체적인 피드백이 부족합니다.

💡 SCOPE 의 해결책: "신뢰도"와 "작은 그룹"의 마법

이 논문 (SCOPE) 은 이 두 가지 문제를 해결하기 위해 두 가지 창의적인 전략을 제안합니다.

1. "단순한 숫자"가 아닌 "신뢰도"를 보자 (Step-wise Confidence)

기존 방식은 "누가 몇 번 말했는지"만 세었습니다. 하지만 SCOPE 는 **"그 학생이 그 답을 얼마나 자신 있게 말했는지"**를 봅니다.

비유: 시험지 8 장을 봤을 때, A 학생은 "정답은 B 야!"라고 떨리는 목소리로 말했지만, D 학생은 "정답은 D 야!"라고 단호하고 자신 있는 목소리로 말했다고 칩시다.
기존 방식: B 가 5 명, D 가 3 명이라서 "B 가 정답이야!"라고 합니다. (틀릴 확률 높음)
SCOPE 방식: D 학생의 목소리 (신뢰도) 가 훨씬 높으므로, "B 가 많지만 D 가 더 확실해. D 를 정답으로 삼자!"라고 판단합니다.
- 핵심: 단순히 많은 사람이 말한 답이 아니라, 모델이 스스로 "이건 확실해"라고 느끼는 답을 더 중요하게 여깁니다.

2. "큰 무리"가 아닌 "작은 스터디 그룹"으로 나누자 (Subgroup Partitioning)

전체 8 명을 한 덩어리로 보면, 소수의 뛰어난 아이디어가 묻히거나, 다수의 잘못된 생각이 지배할 수 있습니다. SCOPE 는 8 명을 **작은 그룹 (예: 2 명씩 4 개 그룹)**으로 나눕니다.

비유: 전체 8 명을 한 방에 모아놓고 "정답은 뭐야?"라고 물으면, 소란스럽고 의견이 분산될 수 있습니다.
SCOPE 방식:
- 1 번 그룹 (A, B): "우리 둘이서 정답을 찾아보자." → A 가 정답이라고 하면, A 를 믿고 B 를 가르친다.
- 2 번 그룹 (C, D): "너희는 C 가 정답이라고 하니 C 를 믿자."
- ...이렇게 각 그룹마다 서로 다른 정답 후보를 만들어냅니다.
효과: 이렇게 하면 AI 는 **다양한 사고방식 (탐색)**을 시도하면서도, 각 그룹 내부에서는 **확실한 기준 (신뢰도 높은 정답)**을 가지고 학습할 수 있습니다. 마치 여러 개의 작은 스터디 그룹이 서로 다른 해법을 시도하며 전체적인 지식을 넓히는 것과 같습니다.

3. "자동 조절기" (Pareto Optimization)

그룹을 몇 명씩 나눌지 (2 명? 4 명?) 를 정하는 것도 AI 가 스스로 결정합니다.

너무 작으면 (1 명씩) → 소음이 많고 불안정함.
너무 크면 (8 명 한 덩어리) → 새로운 아이디어가 나오기 어려움.
SCOPE: "지금 학습 단계에서는 2 명 그룹이 가장 좋네, 다음엔 4 명으로 바꿔보자"라고 상황에 따라 그룹 크기를 자동으로 조절합니다.

🏆 결과: 왜 이 방법이 더 좋은가?

이 방법 (SCOPE) 을 적용한 결과, 기존 방식보다 수학 문제 풀이 능력이 압도적으로 향상되었습니다.

특히 AIME 2025(매우 어려운 수학 경시대회) 같은 난이도 높은 문제에서 13.1%, AMC에서 **8.1%**나 더 높은 점수를 기록했습니다.
핵심 메시지: "많은 사람이 말한다고 해서 정답이 아니다. 자신감 있는 소수와 다양한 작은 그룹의 시도가 진짜 지능을 키운다."

📝 한 줄 요약

**"거대 언어 모델이 스스로 공부할 때, '다수결'이라는 맹목적인 규칙을 버리고, '자신감'이라는 나침반과 '작은 스터디 그룹'이라는 유연한 구조를 도입하여 더 똑똑하고 정확한 사고를 하도록 만든 방법"**입니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 테스트 시간 강화 학습 (Test-Time Reinforcement Learning, TTRL) 이 주목받고 있습니다. 기존 TTRL(Zuo et al., 2025) 은 여러 응답을 샘플링하여 다수결 투표 (Majority Voting) 를 통해 정답으로 간주할 '의견 일치 (Consensus)' 라벨을 생성하고, 이를 가짜 라벨 (Pseudo-label) 로 사용하여 지도 학습 없이 모델을 학습시킵니다.

하지만 이 방식에는 두 가지 치명적인 한계가 존재합니다:

확증 편향 (Confirmation Bias): 다수결은 단순히 빈도수만 세기 때문에, 모델이 잘못 추론하여 다수 의견을 형성한 경우에도 이를 정답으로 간주하게 되어 오류를 강화하게 됩니다.
희소 보상 (Sparse Rewards): 이진법적인 투표 결과 (맞음/틀림) 만으로는 추론 과정의 미세한 차이를 포착하지 못해, 모델이 세밀하게 수정하고 학습할 수 있는 밀도 높은 보상 신호가 부족합니다.

2. 제안 방법: SCOPE (Methodology)

저자들은 이러한 한계를 극복하기 위해 그룹별 단계별 신뢰도 가중 가짜 라벨 추정 (Subgroup-specific Step-wise Confidence-weighted Pseudo-label Estimation, SCOPE) 프레임워크를 제안합니다.

핵심 구성 요소:

단계별 신뢰도 (Step-wise Confidence) 기반 라벨 추정:
- 단순한 토큰 확률 대신, LLM 이 추론 과정에서 생성하는 각 단계 (Step) 의 평균 신뢰도를 계산합니다.
- 다수결 투표 시 빈도수 대신 평균 단계별 신뢰도를 가중치로 사용하여 라벨을 추정합니다.
- 효과: 빈도는 낮지만 신뢰도가 높은 올바른 추론 경로를 다수결의 오류가 있는 경로보다 우선시하여, 확증 편향을 줄이고 정답을 복원할 가능성을 높입니다.
그룹별 (Subgroup) 세분화된 보상 계산:
- 전체 응답 풀을 하나의 그룹으로 묶어 단일 라벨을 부여하는 대신, 응답을 여러 개의 하위 그룹 (Subgroups) 으로 나눕니다.
- 각 하위 그룹마다 부트스트래핑 (Bootstrap sampling) 을 통해 독립적인 '로컬 일치 라벨 (Local Consensus Label)'을 생성합니다.
- 효과: 전체 그룹의 일관성만 추구할 때 발생하는 보상 희소성을 해결하고, 다양한 추론 경로를 탐색하도록 유도하여 모드 붕괴 (Mode Collapse) 를 방지합니다.
파레토 최적화를 통한 자동 그룹 크기 선택:
- 하위 그룹의 크기 ( $m$ ) 를 고정하지 않고, 학습 중에 자동으로 최적의 크기를 선택합니다.
- 두 가지 목표의 균형:
  - 품질 (Quality): 로컬 일치 라벨과의 일치도 (정확성).
  - 탐색 (Exploration): 다양한 일치 라벨의 발견 (다양성).
- 이 두 목표를 파레토 프론트 (Pareto Front) 상에서 최적화하여, 품질과 다양성 사이의 트레이드오프를 자동으로 조절하는 최적의 그룹 크기를 결정합니다.

3. 주요 기여 (Key Contributions)

SCOPE 프레임워크 제안: 희소 보상과 확증 편향 문제를 해결하기 위해 단계별 신뢰도 가중치와 동적 그룹 분할을 결합한 새로운 테스트 시간 RL 프레임워크를 개발했습니다.
정교한 보상 신호 설계: 다수결의 빈도 중심 접근을 넘어, 모델의 추론 불확실성을 정량화하여 정답이 소수일 경우에도 이를 포착할 수 있는 메커니즘을 도입했습니다.
동적 균형 전략: 파레토 최적화를 통해 학습 과정에서 '정확성'과 '탐색' 사이의 균형을 자동으로 조절하는 알고리즘을 구현했습니다.

4. 실험 결과 (Results)

다양한 모델 (Qwen2.5, Qwen3, LLaMA3.1) 과 벤치마크 (AIME 2024/2025, AMC, MATH-500) 에서 실험을 수행했습니다.

성능 향상: SCOPE 는 기존 TTRL 및 다른 무감독 RL 기법 (INTUITOR, RLPR 등) 을 일관되게 능가했습니다.
- Qwen3-8B: AIME 2025 에서 13.1%, AMC 에서 8.1% 의 상대적 개선을 기록했습니다.
- Qwen2.5-Math-1.5B (경량 모델): AIME 2024 에서 TTRL 대비 36.5% 의 상대적 성능 향상을 보이며, 작은 모델이 자체 검증 능력을 크게 향상시킬 수 있음을 입증했습니다.
Ablation Study:
- '신뢰도 가중치 제거 (w/o Conf)' 시 성능이 크게 저하되어, 다수결의 한계를 신뢰도 기반 보정이 어떻게 해결하는지 확인되었습니다.
- '그룹 분할 제거 (w/o Subgroup)' 시에도 성능이 떨어지며, 단일 글로벌 라벨이 탐색을 제한하고 보상을 희소하게 만든다는 것이 입증되었습니다.
학습 동역학: 자동 그룹 크기 선택 전략은 고정된 그룹 크기보다 더 빠른 수렴 속도와 더 높은 최종 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 무감독 강화 학습 환경에서 LLM 의 추론 능력을 향상시키는 데 있어 단순한 다수결 투표의 한계를 극복하는 중요한 방향을 제시합니다.

신뢰성 있는 자기 진화: 모델이 스스로 생성한 데이터의 품질을 신뢰도 지표를 통해 정교하게 평가하고, 다양한 추론 경로를 탐색하도록 유도함으로써, 외부 정답 레이블 없이도 복잡한 수리 및 추론 문제를 해결하는 능력을 극대화합니다.
실용적 가치: 고비용의 수동 라벨링 없이도 고품질의 보상 신호를 생성할 수 있어, 대규모 LLM 의 테스트 시간 학습 (Test-time Training) 및 자기 개선 (Self-improvement) 파이프라인에 실용적인 솔루션을 제공합니다.

결론적으로, SCOPE 는 정밀한 (Fine-grained) 보상 신호와 다양한 (Diverse) 탐색 전략을 결합하여 무감독 RL 의 신뢰성과 효율성을 동시에 높인 획기적인 접근법입니다.