🤖 machine learning

Exploration-Driven Optimization for Test-Time Large Language Model Reasoning

본 논문은 추론 시 샘플링 다양성과 RL 에 의해 유도된 분포의 날카로움 사이의 긴장 관계를 해결하여 분포 내 및 분포 외 작업 모두에서 LLM 추론 성능과 안정성을 향상시키기 위해 iDPO 와 GRPO 와 같은 반복적 사후 훈련 방법에 다양성 증진 탐사 목표를 통합하는 새로운 프레임워크인 탐사 주도 최적화 (EDO) 를 제안합니다.

원저자: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Changhao Li, Yuchen Zhuang, Chenxiao Gao, Haotian Sun, Rushi Qiang, Chao Zhang, Bo Dai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 복잡한 수학 퍼즐을 풀도록 배우는 뛰어난 학생 (대규모 언어 모델) 이 있습니다. 여러분은 그 학생이 문제 해결의 대가가 되기를 원합니다.

보통 이러한 학생들을 훈련시킬 때 **강화 학습 (Reinforcement Learning)**이라는 방법을 사용합니다. 이는 오직 단 하나의 최선의 답을 찾을 때만 학생에게 보상하는 엄격한 코치와 같습니다. 시간이 지남에 따라 학생은 그 특정 경로를 찾는 데 매우 능숙해집니다. 하지만 여기에 문제가 있습니다. 그들은 탐색을 멈춥니다. 그들은 "고착"되어 문제를 해결하는 한 가지 방법만 알게 됩니다. 만약 그 한 가지 방법이 실패한다면, 그들은 대안이 없습니다.

이것은 갈등을 만듭니다. 정말 어려운 퍼즐을 해결하기 위해 우리는 종종 테스트 시간에 **"자기 일관성 (Self-Consistency)"**이라는 기법을 사용합니다. 이는 학생에게 동일한 문제를 10 번 다르게 풀게 한 다음, 가장 자주 나타나는 답을 선택하는 것과 같습니다. 학생이 10 가지 서로 다른 접근법을 생성한다면 이는 매우 잘 작동합니다. 하지만 학생이 한 가지 접근법만 하도록 훈련되었다면, 10 번 시도해 보라고 해도 (잠재적으로 틀린) 동일한 답의 복사본 10 개만 얻게 됩니다.

이 논문은 이를 해결하기 위해 **EDO (Exploration-Driven Optimization, 탐색 주도 최적화)**라는 새로운 훈련 방법을 소개합니다.

핵심 아이디어: "호기심 많은 탐험가" 대 "안전한 전문가"

저자들은 "자기 일관성"이라는 트릭이 작동하려면 모델이 훈련 중에 단순히 안전한 전문가가 아니라 호기심 많은 탐험가여야 한다는 것을 깨달았습니다.

옛 방식 (전문가): 코치는 말합니다. "정답을 맞췄다면 훌륭해! 틀렸다면, 마지막으로 정답을 맞췄을 때와 더 비슷해지려고 해." 학생은 성공적인 패턴을 반복해서 학습합니다. 그 결과는 매우 좁고 "날카로운" 사고 방식입니다.
새 방식 (EDO - 탐험가): 코치는 말합니다. "정답을 맞추되, 지난번에 한 일을 그대로 반복하지 마라. 약간 다른 경로를 시도해 봐. 만약 정확히 같은 일을 계속한다면, 나는 너를 gently nudging 하여 새로운 것을 시도하게 할 거야."

창의적인 비유: 미로와 손전등

상상해 보세요. 학생은 정답 (출구) 을 찾으려 거대하고 어두운 미로 (문제 공간) 안에 있습니다.

표준 훈련: 학생은 출구로 가는 경로를 찾습니다. 보상을 받습니다. 다음 번에는 레이저처럼 그 정확히 같은 경로를 따르도록 훈련받습니다. 그들은 벽이나 다른 복도를 보지 않습니다. 만약 그 한 가지 경로가 나중에 막히면, 그들은 갇히게 됩니다.
EDO 훈련: 학생은 출구로 가는 경로를 찾고 보상을 받습니다. 하지만 코치는 규칙을 추가합니다. "너는 또한 아직 시도해 보지 않은 몇몇 옆 복도로도 배회해야 해." 학생은 자신이 아는 경로뿐만 아니라 많은 다른 경로를 비추는 "손전등" (확률 분포) 을 넓게 유지하도록 학습합니다.

실제 작동 방식

이 논문은 두 가지 기존 훈련 방법 ( iDPO와 GRPO라고 함) 을 가져와 여기에 "호기심" 규칙을 추가합니다. 그들은 새로운 버전을 ED-iDPO와 ED-GRPO라고 부릅니다.

메커니즘: 수학적으로, 모델이 이전 답변에 너무 편안해지면 "페널티"를 부과합니다. 이는 모델이 약간 "불편"하고 다양하게 유지되도록 하여 옵션을 열어둡니다.
결과: 이 새로운 모델들을 테스트했을 때, 그들은 단순히 하나의 좋은 답만 얻는 것이 아니라 다양한 다른 해결책을 생성합니다.

이것이 중요한 이유 ("테스트 시간"의 마법)

모델이 이제 다양한 해결책을 생성하므로, "자기 일관성" 트릭 (10 개의 답을 요청하고 투표하는 것) 이 갑자기 훨씬 더 잘 작동합니다.

전에는: 10 개의 답을 요청 $\rightarrow$ 10 개의 동일한 틀린 답을 받음 $\rightarrow$ 투표 $\rightarrow$ 여전히 틀림.
EDO 와 함께: 10 개의 답을 요청 $\rightarrow$ 10 개의 서로 다른 접근법 (일부는 맞고 일부는 틀림) 을 받음 $\rightarrow$ 투표 $\rightarrow$ 올바른 답이 여러 형태로 여러 번 나타났기 때문에 승리함.

결과

저자들은 AIME 및 MATH 데이터셋과 같은 어려운 수학 경시대회에서 이를 테스트했습니다.

정확도: 새로운 방법 (ED-iDPO 및 ED-GRPO) 은 이전 최선 방법보다 더 많은 문제를 정확하게 해결했습니다.
다양성: 모델들은 훨씬 더 다양한 답변을 생성했습니다 (단어와 단계가 얼마나 다른지로 측정).
안정성: 때때로 모델이 "붕괴" (모든 것을 잊고 반복적이 됨) 를 일으키는 다른 방법들과 달리, EDO 는 훈련 내내 모델을 안정적이고 창의적으로 유지했습니다.

요약

간단히 말해, EDO 는 AI 모델이 "완벽한 일관성"에 집착하는 것을 덜 하고 "창의적인 다양성"을 기꺼이 받아들이도록 가르칩니다. 훈련 중에 모델이 다른 경로를 탐색하도록 강제함으로써, 테스트 시간에 여러 해결책을 생성하도록 요청받을 때 어려운 문제를 훨씬 더 잘 해결하게 됩니다. 이는 한 가지 해결책을 암기하는 학생과 문제의 지형을 충분히 이해하여 다양한 각도에서 답을 찾을 수 있는 학생의 차이와 같습니다.

기술 요약: 테스트 시간 대규모 언어 모델 추론을 위한 탐색 주도 최적화

1. 문제 제기

대규모 언어 모델 (LLM) 의 최근 발전은 후속 학습 기법 (특히 강화 학습, RL) 과 추론 시간 확장 (inference-time scaling) 을 결합하면 추론 능력이 크게 향상된다는 것을 보여줍니다. 그러나 이러한 두 패러다임 사이에는 근본적인 긴장 관계가 존재합니다.

추론 시간 확장: 자기 일관성 (Self-Consistency), Best-of-N(BoN) 샘플링, 몬테카를로 트리 탐색 (Monte Carlo Tree Search) 과 같은 기법들은 최적의 해를 발견하기 위해 상대적으로 평탄화된 확률 분포로부터의 다양한 샘플링에 의존합니다.
RL 후속 학습: 기존의 RL 기반 후속 학습 (예: PPO, DPO, GRPO) 은 본질적으로 출력 분포를 날카롭게 만듭니다. 높은 신뢰도와 높은 보상을 갖는 해답을 향해 모델을 미세 조정함으로써, 이러한 방법들은 종종 "모드 붕괴 (mode collapse)"를 초래하여 생성된 트레젝토리의 다양성을 감소시킵니다.

이러한 분포적 붕괴는 테스트 시간 확장의 효과를 제한합니다. 왜냐하면 모델이 집계 방법들이 정답을 식별하는 데 필요한 다양한 후보 해답을 생성하지 못하기 때문입니다. 기존 접근법들은 종종 추론 시간 확장을 사후 (post-hoc) 절차로 취급하여, 훈련 목적을 다양한 탐색의 요구 사항과 정렬시키지 못합니다.

2. 방법론: 탐색 주도 최적화 (EDO)

저자들은 후속 학습 단계에서 다양성을 촉진하면서도 작업 목표와의 정렬을 유지하도록 설계된 탐색 주도 최적화 (Exploration-Driven Optimization, EDO) 프레임워크를 제안합니다. EDO 는 이전 연구 (예: VPO, XPO) 의 보상 편향 탐색 목적을 반복적 후속 학습 설정으로 확장합니다.

핵심 메커니즘

EDO 는 정적 참조 정책 ( $\pi_{ref}$ ) 에만 국한되지 않고, 현재 정책 ( $\pi_\theta$ ) 이 이전 정책 반복체 ( $\pi_{t-1}$ ) 와 명시적으로 이격되도록 하는 정규화 항을 도입합니다.

보상 편향 공식화:
이 방법은 테스트 시간 계산을 암시적 Q 함수로 재해석합니다. 탐색을 장려하기 위해 EDO 는 이전 정책과의 이격을 촉진하는 항을 포함하는 목적 함수를 최대화합니다.
- 최적화 목표는 $J^*(r^{(t)})$ 를 최대화하도록 재구성되며, 이는 특정 제약 조건 (이전 정책 하에서 기댓값이 0 인 경우) 하에서 역 Kullback-Leibler(KL) 발산을 최소화하는 것으로 변환됩니다: $-\beta D_{KL}(\pi_{t-1} \parallel \pi_\theta)$ .
- 이 항은 "반발" 힘으로 작용하여 정책이 이전 반복의 지배적 모드들로 붕괴되는 것을 방지하는 반면, 표준 순방향 KL 항 ( $D_{KL}(\pi_\theta \parallel \pi_{ref})$ ) 은 안정성을 유지하고 재앙적 망각을 방지합니다.
기존 알고리즘과의 통합:
EDO 는 두 가지 인기 있는 반복적 RL 패러다임과 매끄럽게 통합됩니다.
- ED-iDPO (탐색 주도 반복적 직접 선호도 최적화): 탐색 항을 추가하여 iDPO 손실을 수정합니다. 목적 함수는 다음과 같습니다:
  $L_{ED-iDPO} = L_{iDPO} - \alpha J^*(r^{(t)})$
  여기서 $\alpha$ 는 탐색 편향의 강도를 조절합니다.
- ED-GRPO (탐색 주도 그룹 상대 정책 최적화): GRPO 목적 함수를 현재 정책과 이전 정책 간의 토큰 수준 역 KL 발산을 포함하도록 적응시켜, 별도의 크리틱 모델 없이 출력 확률 분포를 부드럽게 만듭니다.
반복적 훈련 파이프라인:
이 프레임워크는 반복적 루프에서 작동합니다.
- 현재 정책으로부터 $N$ 개의 후보 해답을 생성합니다.
- 정답성에 기반하여 선호도 쌍 (iDPO 의 경우) 또는 그룹 보상 (GRPO 의 경우) 을 구성합니다.
- EDO 강화 목적 함수를 사용하여 정책을 업데이트합니다.
- 업데이트된 정책을 다음 반복의 탐색 항에 대한 참조로 사용하여 반복합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다.

원칙적 프레임워크: 탐색과 활용을 균형 있게 맞추기 위해 평탄화된 출력 분포를 촉진하는 EDO 프레임워크의 도입으로, 특히 더 효과적인 추론 시간 확장을 용이하게 합니다.
매끄러운 통합: EDO 가 표준 후속 학습 파이프라인 (iDPO 및 GRPO) 에 통합되어 솔루션 다양성과 추론 성능을 크게 향상시키는 강화된 변형 (ED-iDPO 및 ED-GRPO) 을 생성할 수 있음을 입증합니다.
실증적 검증: 다양한 백본 (Qwen, LLaMA) 과 데이터셋에 걸쳐 일관된 개선을 보여주는 종합적 평가로, 과최적화 붕괴를 방지하는 EDO 의 견고성을 강조합니다.

4. 실험 결과

분포 내 (In-Distribution) 성능

실험은 세 가지 추론 벤치마크인 GSM8K(초등학교 수학), Math(고등학교 경시대회), s1K(도전적인 경시대회 수준 질문) 에서 수행되었습니다.

정확도 향상: ED-iDPO 와 ED-GRPO 는 강력한 베이스라인 (ETO, GRPO, DAPO) 보다 우수한 성능을 보였습니다.
- s1K에서 ED-GRPO 는 (탐욕적) 38.6% 의 정확도와 (자기 일관성) 48.4% 의 정확도를 달성하여, 가장 좋은 베이스라인 (ETO+SC) 을 각각 1.1% 와 1.3% 상회했습니다.
- Math와 GSM8K에서 EDO 변형들은 표준 CoT 및 자기 일관성 베이스라인보다 일관되게 정확도를 향상시켰습니다.
추론 시간 확장과의 시너지: 성능 향상은 자기 일관성과 결합되었을 때 가장 두드러졌으며, 이는 EDO 가 생성한 다양한 해답들이 추론 시간 방법들에 의해 효과적으로 집계됨을 나타냅니다.

분포 외 (OOD) 일반화

s1K 로 훈련된 모델들을 다섯 개의 OOD 데이터셋 (AIME24, AIME25, MATH500, Minerva Math, Olympiad Bench) 에서 평가했습니다.

플러그 앤 플레이 능력: EDO 로 훈련된 모델들은 재훈련 없이도 강력한 교차 데이터셋 일반화를 보여주었습니다.
개선: ED-GRPO 는 모든 OOD 작업에서 GRPO 베이스라인 대비 평균 2.4% 의 향상을 달성하여, 향상된 탐색 이 이질적인 데이터 분포로의 전이성을 개선함을 입증했습니다.

제거 실험 및 분석

훈련 안정성: 몇몇 에포크 후 성능 저하 또는 정체 (과최적화의 징후) 를 보인 표준 GRPO 나 ETO 와 달리, EDO 변형들은 여러 훈련 반복에 걸쳐 꾸준한 성능 향상을 유지했습니다.
엔트로피 보존: 논문의 Figure 4 는 표준 방법들이 정책 엔트로피를 빠르게 낮은 수준으로 끌어내리는 반면, ED-GRPO 는 훈련 내내 훨씬 더 높은 엔트로피를 유지하여 모드 붕괴를 방지함을 보여줍니다.
다양성 지표: EDO 변형들은 (Distinct-4 로 측정) 훨씬 더 다양한 출력을 생성했습니다. 예를 들어, s1K 에서 ED-GRPO 는 베이스라인 대비 Distinct-4 를 47.0% 향상시켰습니다.
사례 연구: 기하학 문제에 대한 정성적 분석은 표준 모델들이 동질적이고 잘못된 추론 경로를 생성한 반면, ED-iDPO 는 좌표 기하학, 영역 분해, 대칭성 논증 등 다양한 전략을 생성하여 테스트 시간 투표가 정답을 선택할 수 있게 했음을 드러냈습니다.

5. 중요성 및 주장

이 논문은 EDO 를 RL 기반 정렬과 테스트 시간 확장의 다양성 요구 사항 사이의 긴장 관계를 해결하는 실용적인 프레임워크로 위치시킵니다.

붕괴 방지: 저자들은 EDO 가 모델들이 대체 해답을 탐색하는 능력을 상실하는 RLHF 의 일반적인 실패 모드인 "과최적화 붕괴"를 효과적으로 방지한다고 주장합니다.
호환성: 이 방법은 다양한 정책 최적화 알고리즘과 자기 일관성, BoN, 트리 탐색과 같은 테스트 시간 추론 기법과 호환됨이 강조됩니다.
확장성: 모델들이 다양한 추론 경로를 활용하도록 함으로써, EDO 는 모델 파라미터를 증가시키지 않고도 추론 능력을 확장하는 데 중요한 요소인 테스트 시간 계산의 더 효과적인 활용을 가능하게 합니다.

저자들은 EDO 가 탐색과 활용 사이의 균형을 맞추는 원칙적인 접근법을 제공하며, 특히 테스트 시간 확장에 의존하는 설정에서 매우 효과적인 LLM 추론을 위한 새로운 기준을 확립한다고 결론지었습니다.