💬 NLP

QuestA: Expanding Reasoning Capacity in LLMs via Question Augmentation

이 논문은 강화 학습 훈련 시 부분 해답을 도입하여 문제 난이도를 낮추고 학습 신호를 강화하는 'QuestA' 전략을 제안함으로써, 15 억 파라미터 모델이 수학 추론 벤치마크에서 새로운 최첨단 성능을 달성하도록 했습니다.

원저자: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiazheng Li, Hongzhou Lin, Hong Lu, Kaiyue Wen, Zaiwen Yang, Jiaxuan Gao, Yi Wu, Jingzhao Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

QUESTA: 어려운 문제를 풀게 해주는 '힌트'의 마법

이 논문은 인공지능 (LLM) 이 수학이나 논리 같은 어려운 문제를 풀 때, 어떻게 하면 더 똑똑해질 수 있는지에 대한 새로운 방법을 소개합니다. 연구팀이 제안한 방법의 이름은 **'QUESTA'**입니다.

이걸 이해하기 위해 일상생활에 비유해 볼까요?

1. 문제점: "너무 어려운 시험지"와 "너무 쉬운 시험지"의 함정

기존에 인공지능을 가르칠 때 (강화 학습이라고 부릅니다), 두 가지 극단적인 문제가 있었습니다.

너무 쉬운 문제만 풀게 하면: 학생은 이미 아는 내용만 반복해서 풀게 됩니다. 점수는 오를 것 같지만, 실제로는 새로운 것을 배우지 못하고 "자신감만 과하게" 생깁니다. 나중에 진짜 어려운 시험을 보면, 오히려 평소보다 더 못 풀게 됩니다. (논문의 Figure 2 에서 보듯, 쉬운 문제만 풀면 정답률이 떨어집니다.)
너무 어려운 문제만 풀게 하면: 학생은 문제를 보자마자 "어떻게 시작하지?"라며 막힙니다. 정답을 한 번도 못 찾아내니, 선생님 (AI) 은 "정답을 줘야지"라고 생각하지만, 학생은 힌트도 없이 막막해서 아무것도 배우지 못합니다. (보상이 거의 없으니 학습이 멈춥니다.)

2. 해결책: QUESTA (힌트 달아주기)

연구팀은 이 문제를 해결하기 위해 QUESTA라는 방법을 개발했습니다. 핵심은 **"문제 풀이 과정의 일부 (힌트) 를 미리 알려주는 것"**입니다.

비유: 요리 레시피

기존 방식: "오늘 저녁 메뉴는 스테이크야. 만들어봐!"라고만 하면 초보자는 당황해서 실패합니다.
QUESTA 방식: "오늘 저녁 메뉴는 스테이크야. 일단 소고기를 두툼하게 썰고, 소금과 후추를 뿌려두면 돼. 그다음부터 네가 해봐!"라고 말합니다.

이렇게 문제 해결의 첫 단계를 미리 보여줌으로써, AI 는 "아, 이렇게 시작하는구나!"라고 배우고, 그 다음 단계부터는 스스로 고민하며 정답에 도달할 수 있게 됩니다.

3. 왜 이것이 효과적인가요? (학습의 효율성)

학습 속도 빨라짐: 처음부터 끝까지 혼자 끙끙 앓지 않아도 되니, 정답을 찾는 확률이 훨씬 높아집니다.
진짜 실력 향상: 힌트는 훈련할 때만 줍니다. 시험 (평가) 때는 힌트를 주지 않습니다. 그런데 신기하게도, 훈련할 때 힌트를 받아본 AI 는 시험 때 힌트가 없어도 훨씬 더 잘 풉니다. 마치 "어려운 문제를 풀 때 필요한 사고방식"을 체득했기 때문입니다.
작은 모델도 거인 됨: 이 방법을 쓰면, 파라미터가 15 억 개 (1.5B) 인 작은 AI 모델도, 320 억 개 (32B) 나 되는 거대 모델 못지않은 실력을 보여주었습니다. (논문 Table 1 참조)

4. 실제 성과: 수학 올림피아드에서도 승리

이 방법을 적용한 AI 모델 (QUESTA-Nemotron-1.5B) 은 세계적인 수학 경시대회인 AIME과 HMMT 같은 아주 어려운 시험에서 놀라운 성적을 냈습니다.

기존 15 억 개 모델의 실력을 10% 이상 끌어올렸습니다.
심지어 320 억 개 모델보다 더 좋은 점수를 받은 문제들도 있습니다.

5. 결론: "스caffolding(비계)"의 힘

이 논문의 핵심 메시지는 **"어려운 문제를 가르칠 때는, 처음부터 끝까지 혼자 시키지 말고, 적절한 '비계 (힌트)'를 세워주는 것이 중요하다"**는 것입니다.

기존: "너 혼자 해봐!" (너무 어려움) 또는 "너 이미 다 알잖아?" (너무 쉬움)
QUESTA: "이 부분은 내가 도와줄게, 나머지는 네가 해봐! 그리고 나중에 그 도움은 빼고 네가 해볼 거야."

이처럼 **질문 (Question) 을 보완 (Augmentation)**하여 AI 가 스스로 성장할 수 있는 길을 열어준 이 기술은, 앞으로 AI 가 더 복잡한 문제를 해결하는 데 큰 역할을 할 것으로 기대됩니다.

한 줄 요약:

"어려운 수학 문제를 풀 때, 처음 몇 줄만 힌트로 알려주면 AI 가 스스로 더 똑똑해져서, 힌트가 없어도 거인처럼 문제를 푼다!"

1. 연구 배경 및 문제 정의 (Problem)

배경: 최근 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키기 위해 강화 학습 (RL), 특히 검증 가능한 보상을 사용하는 RLVR(Reinforcement Learning with Verifiable Rewards) 이 핵심 패러다임으로 부상했습니다.
문제점:
1. RL 의 한계: 최근 연구들은 RL 이 베이스 모델의 기존 추론 능력을 단순히 활용 (exploit) 할 뿐, 새로운 추론 능력을 확장 (expand) 시키지는 못한다고 지적합니다. 특히 베이스 모델이 풀기 어려운 고난이도 문제에서는 RL 이 효과적이지 않습니다.
2. 학습 효율성 대 용량 확장 간의 트레이드오프:
  - 쉬운 문제 (Easy Prompts) 로 학습: 모델이 얕은 패턴에 과적합되어 엔트로피가 붕괴 (entropy collapse) 되고, $k$ 가 커질수록 Pass@k 성능이 저하됩니다.
  - 어려운 문제 (Hard Prompts) 로 학습: 추론 능력을 확장하는 데 필수적이지만, 희소한 보상 신호 (sparse rewards) 로 인해 학습 속도가 매우 느리고 샘플 효율성이 낮습니다.
3. 핵심 질문: RL 훈련을 어떻게 구조화하여 어려운 추론 문제를 해결하면서도 학습 효율성을 높일 수 있을까요?

2. 제안 방법론: QUESTA (Methodology)

저자들은 **QUESTA (Question Augmentation)**라는 간단하지만 효과적인 전략을 제안합니다. 이는 훈련 데이터에 **부분 해답 (Partial Solutions)**을 주입하여 문제의 난이도를 조절하고 학습 신호를 풍부하게 만드는 데이터 증강 기법입니다.

핵심 메커니즘:
- 원본 질문의 전체 해답 중 처음 $p\%$ (예: 50%, 25%) 에 해당하는 해답 스케치 (solution sketch) 를 프롬프트의 힌트로 추가합니다.
- 이는 모델이 복잡한 문제를 처음부터 해결해야 하는 부담을 줄여주며, 중간 단계의 추론 과정을 학습하게 합니다.
- 주의: 추론 과정 (Chain-of-Thought) 전체가 아닌, 최종 **해답 블록 (Solution Block)**의 일부를 힌트로 사용합니다.
커리큘럼 학습 (Curriculum Learning) 전략:
1. 1 단계 (Partial-50): 부분 해답 비율을 50% 로 설정하여 모델이 어려운 문제를 해결할 수 있는 기반을 다집니다.
2. 2 단계 (Partial-25): 부분 해답 비율을 25% 로 줄여 모델이 점차 독립적으로 추론하도록 유도합니다.
- 이 방식은 모델이 평가 시 (힌트 없이) 에도 일반화될 수 있도록 합니다.
데이터 필터링:
- OpenR1-Math-220K 데이터셋 중 베이스 모델의 성공률이 0 에 가까운 가장 어려운 문제들 (약 26K 개) 을 선별합니다.
- 부분 해답이 추가된 후에도 여전히 모델이 해결하기 어려운 (Pass Rate 가 낮은) 사례들만 최종 훈련 데이터로 선정하여 학습 신호의 강도를 유지합니다.

3. 이론적 분석 (Theoretical Analysis)

학습 가능성 (Learnability) 향상:
- RL 에서의 주요 병목 현상은 유한한 샘플링 예산 내에서 성공적인 해답 경로를 찾는 것임을 지적합니다.
- 정리 4.4: 모델의 용량 집합 (Capacity Set) 이 해답 집합 (Solution Set) 과 교차하지 않으면 (즉, 모델이 정답을 낼 확률이 0 에 가까우면), RL 알고리즘은 보상을 받지 못해 업데이트가 멈출 수 있습니다.
- 정리 4.6: 부분 해답 (힌트) 을 제공하면, 모델이 정답을 생성할 확률을 높여 샘플링 예산을 $\Theta(1/\delta_p)$ 에서 $\Theta(1/\sqrt{\delta_p})$ 수준으로 줄일 수 있음을 이론적으로 증명합니다. 즉, 샘플 효율성을 극적으로 개선합니다.

4. 주요 실험 결과 (Results)

데이터셋 및 모델:
- 베이스 모델: Nemotron-1.5B, DeepScaleR-1.5B 등 1.5B 파라미터 모델.
- 데이터: OpenR1-Math-220K, OpenMathReasoning.
- 평가 벤치마크: AIME24, AIME25, HMMT25, Olympiad Bench 등 고난이도 수학 경시대회 문제.
성능 향상 (State-of-the-Art):
- Nemotron-1.5B에 QUESTA 를 적용한 결과, 1.5B 모델 중 새로운 SOTA 를 달성했습니다.
  - AIME24: 72.50% (+10.73% 향상)
  - AIME25: 62.29% (+12.79% 향상)
  - HMMT25: 41.67% (+10.11% 향상)
- 중요한 성과: 파라미터 수가 20 배 이상 큰 DeepSeek-R1-Distill-32B 모델을 여러 벤치마크에서 능가하거나 대등한 성능을 보였습니다.
Pass@k 및 엔트로피 분석:
- 기존 RL 은 $k$ 가 커질수록 Pass@k 가 감소하는 경향이 있었으나, QUESTA 는 모든 $k$ 구간에서 일관된 성능 향상을 보였습니다.
- 훈련 중 엔트로피가 붕괴되지 않고 오히려 안정적으로 유지되거나 증가하여, 모델이 다양한 해답 경로를 탐색 (Exploration) 하고 있음을 확인했습니다.
힌트 제거 시 일반화:
- 훈련 시에는 힌트가 있었으나, 평가 시에는 힌트가 없는 상태에서도 모델의 성능이 크게 향상되었습니다. 이는 QUESTA 가 모델의 내재적 추론 능력을 실제로 확장시켰음을 의미합니다.

5. 주요 기여 및 의의 (Contributions & Significance)

효율적인 RL 훈련 프레임워크: 모델 아키텍처나 보상 함수를 변경하지 않고, **입력 데이터 (Question Augmentation)**만 수정하여 RL 의 샘플 효율성을 극대화했습니다.
소규모 모델의 능력 확장: 1.5B 와 같은 상대적으로 작은 모델이 거대 모델 (32B 이상) 의 추론 능력을 따라잡거나 능가할 수 있음을 증명했습니다.
이론적 근거: 부분 해답이 왜 RL 학습을 가속화하는지에 대한 이론적 분석 (샘플 복잡도 감소) 을 제시했습니다.
실용성: 오픈소스 코드, 데이터, 모델을 공개하여 재현성을 보장하며, 코딩이나 에이전트 작업 등 다른 도메인으로도 확장 가능함을 시사합니다.

결론

QUESTA 는 RL 기반 추론 훈련에서 발생하는 "어려운 문제의 희소 보상"과 "쉬운 문제의 과적합"이라는 딜레마를 해결합니다. 부분 해답을 힌트로 제공하는 간단한 데이터 증강 기법을 통해 모델이 고난이도 문제를 점진적으로 학습하게 함으로써, 소규모 모델의 추론 능력을 획기적으로 확장하고 새로운 SOTA 를 달성한 혁신적인 연구입니다.