기술 요약: LLM 추론을 위한 힌트 유도 다양성 정책 최적화 (HDPO)

문제 정의

최근 대규모 언어 모델(LLM)의 발전은 검증 가능한 보상을 활용한 강화 학습(RLVR)을 통해 상당한 추론 능력을 입증했습니다. 그러나 GRPO(Group Relative Policy Optimization)와 같은 기존의 RLVR 프레임워크는 주로 결과 수준의 보상에 국한되어 있습니다. 이러한 메커니즘은 최종 답변의 정답 여부는 평가하지만, 모델이 다양한 솔루션 경로를 탐색하도록 유도하는 명시적인 신호는 부족합니다. 결과적으로 모델은 솔루션의 동질화(homogenization) 문제를 겪게 됩니다. 즉, 모델이 잘못된 추론 궤적에 갇히게 되면, 충분한 솔루션 공간 탐색이 이루어지지 않아 올바른 답을 찾지 못하거나 복구하는 데 어려움을 겪습니다. 이러한 한계는 특히 샘플링 시도가 제한적인 상황에서 추론 과정의 결함 허용 능력(fault tolerance)을 저하시킵니다.

방법론

이러한 한계를 해결하기 위해 저자들은 "제안-선택-사고(propose-select-think)" 추론 궤적을 통해 다양하고 신뢰할 수 있는 솔루션 생성을 장려하도록 설계된 프레임워크인 **힌트 유도 다양성 정책 최적화(Hint-Guided Diversified Policy Optimization, HDPO)**를 제안합니다. HDPO는 두 가지 별도의 단계로 작동합니다.

1. 구조적 추론을 위한 콜드 스타트 (Cold Start for Structured Reasoning)

첫 번째 단계는 지도 미세 조정(SFT)을 사용하여 정책 모델에 "제안-선택-사고" 패턴을 주입하는 것입니다.

• 데이터 구축: 고도화된 교사(Teacher) LLM이 구조화된 추론 궤적을 생성합니다. 주어진 문제에 대해, 모델은 먼저 여러 개의 후보 솔루션 개요(힌트)를 나열하고, 가장 신뢰할 수 있는 하나를 선택한 다음, 상세한 추론을 진행하도록 프롬프트됩니다.
• 필터링: 데이터 품질을 보장하기 위해 생성된 궤적은 이중 필터링 과정을 거칩니다.
  • 정답 확인 (Correctness Check): 최종 답변을 정답(ground truth)과 비교합니다.
  • 신뢰도 확인 (Reliability Check): 경량 모델이 각 후보 솔루션 개요에 대해 답변을 샘플링하여 정확도를 계산합니다. 선택된 후보가 가장 높은 샘플링 정확도를 보이는 것과 일치하는 경우에만 궤적을 유지합니다.
• 목표: 정책 모델이 이 구조화된 형식을 따르도록 미세 조정하여, 추론을 시작하기 전에 후보 힌트를 생성하는 기초를 확립합니다.

2. 힌트 유도 다양성 강화 학습 (Hint-Guided Diversified Reinforcement Learning)

두 번째 단계에서 모델은 다양하고 신뢰할 수 있는 솔루션을 생성하도록 최적화하기 위해 강화 학습(RL)을 수행합니다. 전체 보상 함수는 네 가지 구성 요소의 조합으로 이루어집니다.

• 형식 보상 ($r_{fmt}$): 출력이 "제안-선택-사고" 구조(예: 특정 태그의 존재, 1개에서 5개 사이의 후보 수)를 준수하는지 확인합니다.
• 정확도 보상 ($r_{acc}$): 최종 답변이 정답과 일치하는지에 따라 이진 신호(1 또는 0)를 제공합니다.
• 다양성 보상 ($r_{div}$): 모델이 구별되는 후보 솔루션을 생성하도록 장려합니다. 후보 솔루션은 임베딩으로 인코딩되며, 유사도는 코사인 유사도를 통해 측정됩니다. 초기 학습 단계에서 모델이 정확도보다 다양성을 우선시하는 것을 방지하기 위해, 다양성 스케줄링 전략이 사용됩니다. 이는 사인(sine) 기반 학습 계수를 사용하여 웜업 기간 이후 다양성 보상의 가중치를 점진적으로 높입니다.
• 신뢰도 보상 ($r_{rel}$): 모델이 가장 신렴할 수 있는 후보를 선택하도록 유도합니다. 샘플링 기반의 신뢰도 체크는 RL 과정에서 계산 비용이 많이 들기 때문에, 저자들은 **토큰 엔트로피(token entropy)**를 신뢰도의 대리 지표로 사용합니다. 엔트로피가 낮은(확신도가 높은) 솔루션이 더 높은 순위를 갖습니다. 보상은 선택된 솔루션이 전체 후보 중 몇 번째로 신뢰할 수 있는 것인지에 반비례합니다 (예: 선택된 솔루션이 $k$번째로 신뢰할 수 있는 것이라면, $r_{rel} = 1/k$).

전체 보상은 다음과 같이 계산됩니다:
$$r_i = r_{fmt} + r_{acc} + \mathbb{I}[r_{acc} > 0] \cdot r_{div} + \bar{r}_{acc} \cdot r_{rel}$$
여기서 다양성 보상은 정답이 맞았을 때만 적용되며, 신뢰도 보상은 과잉 확신을 완화하기 위해 그룹 수준의 평균 정확도에 의해 스케일링됩니다.

주요 기여

1. HDPO 프레임워크: "제안-선택-사고" 패러다임에 기반한 새로운 프레임워크를 도입하여, 모델이 추론 경로를 결정하기 전에 명시적으로 후보 솔루션 힌트를 생성할 수 있도록 합니다.
2. 다양성 및 신뢰성 메커니즘: 솔루션 공간의 탐색과 견고한 후보 선택을 공동으로 최적화하는 다양성 스케줄링 전략과 신뢰도 기반 보상 메커니즘을 개발했습니다.
3. 정책 내재화 (Policy Internalization): 반복적인 샘플링을 통해 높은 지연 시간을 초래하는 추론 시점 탐색 방법(예: Tree-of-Thought)과 달리, HDPO는 '탐색 후 활용(explore-then-exploit)' 메커니즘을 RLVR를 통해 정책 파라미터에 내재화하여 오버헤드가 없는 단일 패스(single-pass) 추론을 가능하게 합니다.

실험 결과

저자들은 Qwen3-4B, Qwen2.5-Math-7B, DeepSeek-R1-Distill-Llama-8B와 같은 다양한 규모의 백본 모델을 사용하여 AMC 2023, AIME 2024/2025, Math-500, Minerva, Olympiad-Bench, MMLU-Pro, SciBench, GPQA-Diamond를 포함한 9개의 추론 벤치마크에서 HDPO를 평가했습니다.

• 성능 향상: HDPO는 표준 GRPO 및 기타 최첨단 RLVR 베이스라인(예: EDGE-GRPO, Critique-GRPO, LUFFY)보다 일관되게 우수한 성능을 보였습니다. 예를 들어, Qwen3-4B 모델에서 HDPO는 GRPO의 53.76점에 비해 61.03점의 평균 점수를 달성했습니다.
• 적중률(Hit Rate) 개선: 실험 결과, HDPO는 제한된 샘플링 시도(Hit@N)에서도 우수한 정확도를 유지하는 반면, GRPO는 시도 횟수가 줄어듦에 따라 성능이 크게 하락하는 것을 보여주었습니다. 이는 HDPO가 더 적은 시도로 정답을 찾아내는 능력이 탁과함을 나타냅니다.
• 절제 연구 (Ablation Studies): 콜드 스타트 단계, 다양성 보상, 또는 신뢰도 보상을 제거했을 때 상당한 성능 저하가 발생하여 각 구성 요소의 필요성을 확인했습니다. 또한, 콜드 스타트 데이터를 생성하는 데 더 강력한 교사 모델을 사용하는 것이 더 나은 결과를 낳는다는 점을 검증했으며, 자기 진화적 반복 접근 방식(self-evolving iterative approach) 또한 유망함을 보여주었습니다.
• 효율성: HDFA는 약간의 추론 지연 시간 증가(SOTA 방법 대비 0.2초 미만)를 초래하지만, 1초 미만으로 유지되어 실질적인 추론 개선을 제공하면서도 실제 환경에 배포가 가능합니다.

의의 및 주장

본 논문은 HDPO가 현재의 RLVR 프레임워크에서 발생하는 솔루션 동질화 문제를 효과적으로 해결한다고 주장합니다. 다양한 후보 솔루션 생성을 명시적으로 장려하고 가장 신뢰할 수 있는 것을 선택하도록 훈련함으로써, HDPO는 모델의 결함 허용 능력과 추론 견고성을 향상시킵니다. 저자들은 HDPO가 단순히 정확도 중심의 최적화를 넘어 다양성과 신뢰성을 공동으로 최적화함으로써, 추론 시점의 탐색 오버헤드 없이 LLM이 더 넓은 범위의 잠재적 솔루션을 탐색하고 가장 유망한 경로를 식별할 수 있게 한다고 강조합니다. 결과는 HDPO가 수학 및 일반 도메인 모두에서 LLM 추론을 강화하기 위한 확장 가능하고 효과적인 전략임을 시사합니다.