기술 요약: 올바른 질문하기 (ARQ)

문제 정의

대형 언어 모델 (LLM) 은 사후 학습 (post-training) 과 추론 시간의 발판 (test-time scaffolding) 을 통해 복잡한 추론 작업 (수학, 코딩) 해결에서 상당한 진전을 이루었지만, 현재 접근법은 주로 문제를 직접 해결하거나 제안된 솔루션을 검증하기 위해 긴 사고의 사슬 (CoT) 을 생성하는 데 중점을 둡니다. 인간 지능의 핵심 구성 요소인 어려운 문제를 관리 가능한 중간 단계로 분해하는 관련성 있고 통찰력을 생성하는 질문을 던지는 능력은 상대적으로 덜 주목받았습니다. 기존 추론 시간 방법들 (예: Self-Ask, Analogical Reasoners) 은 종종 보조 질문을 유도하기 위해 프롬프팅에 의존하지만, 이러한 방법들은 이미 긴 CoT 를 생성하는 현대적 추론 LLM 에 적용될 때 체감 수익이 감소하는 경향을 보입니다. 더 나아가, LLM 이 원래 목표 작업의 성공률을 genuinely 향상시키는 "발판 (stepping stones)"(더 단순하고 관련된 하위 문제) 을 생성할 수 있는지, 그리고 이러한 생성 능력이 사후 학습을 통해 학습될 수 있는지에 대한 체계적인 연구는 부족합니다.

방법론: ARQ 프레임워크

저자들은 ARQ(올바른 질문하기) 를 제안하며, 이는 질문 생성기 ($\phi$) 와 문제 해결기 ($\pi$) 라는 두 개의 명확한 모듈로 구성된 프레임워크입니다.

1. 추론 절차

목표 문제 $x$를 직접 해결하여 솔루션 $y \sim \pi(x)$를 생성하는 대신, ARQ 는 다단계 추론 파이프라인을 도입합니다:

1. 생성: 생성기 $\phi$는 $x$에 조건부로 "발판" 문제 $z$를 생성합니다 ($z \sim \phi(x)$). 발판은 $x$와 관련되지만 해결하기 쉬운 문제로 정의됩니다 (예: 특수한 경우, 단순화된 버전, 또는 관련된 하위 문제).
2. 발판 해결: 해결기 $\pi$는 발판에 대한 솔루션 $y_z$를 생성합니다 ($y_z \sim \pi(z)$).
3. 목표 해결: 해결기 $\pi$는 원래 문제 $x$, 발판 $z$, 그리고 그 솔루션 $y_z$를 프롬프트로 받아 최종 솔루션 $y$를 생성합니다 ($y \sim \pi(x; z, y_z)$).

이 프레임워크는 여러 개의 발판을 위한 두 가지 전략을 지원합니다:

• 순차적: $x$와 모든 이전 발판들 ($z_1, \dots, z_{i-1}$) 에 조건부로 발판 $z_i$를 생성합니다.
• 재귀적: 이전 발판 $z_{i-1}$을 해결하는 데 도움이 되는 새로운 발판 $z_i$를 생성하여, 역방향으로 커리큘럼을 구축합니다.

2. 사후 학습 및 데이터 큐레이션

기성 LLM 이 유용한 발판과 해로운 발판을 혼합하여 생성한다는 점을 인식하여, 저자들은 생성기 $\phi$를 개선하기 위한 사후 학습 파이프라인을 제안합니다:

• 점수 함수: 생성된 발판 $z$의 품질은 $z$에 조건부로 목표 $x$를 해결할 때 해결기 $\pi$의 기대 보상 (expected reward) 으로 평가됩니다. 공식적으로: $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$이며, 몬테카를로 롤아웃 (Monte Carlo rollouts) 을 통해 추정됩니다.
• 지도 미세 조정 (SFT): 생성기는 목표 문제 데이터셋에 대해 생성된 최고 점수 발판들로 미세 조정됩니다.
• 직접 선호도 최적화 (DPO): 동일한 목표에 대해 고점수 발판과 저점수 발판을 짝지어 선호도 데이터셋을 구성합니다. 생성기는 DPO 를 사용하여 저점수 발판보다 고점수 발판을 생성할 확률을 최대화하도록 추가 미세 조정됩니다.
• 합성 데이터: 전체 파이프라인은 발판에 대한 비싼 인간 주석이 필요하지 않도록 프런티어 모델 (예: GPT-120B) 을 사용하여 훈련 쌍을 생성하는 합성 데이터 생성에 의존합니다.

주요 기여

1. 양호한 발판의 존재와 전이 가능성: 이 논문은 "양호한" 발판이 존재하며 전이 가능함을 입증합니다. 강력한 모델이 생성한 고품질 발판은 다양한 능력을 가진 해결기 (더 작은 모델을 포함함) 의 성공률을 크게 향상시키며, 이는 이 이점이 특정 해결기의 편향에 과적합된 결과 때문이 아님을 시사합니다.
2. ARQ 프레임워크: 질문 생성과 문제 해결을 분리하여 발판 생성을 고립적으로 연구할 수 있게 하는 새로운 추론 시간 발판 (inference-time scaffold) 입니다.
3. 사후 학습 레시피: 합성 데이터와 해결기 성능에서 도출된 보상 신호를 사용하여 LLM 을 더 나은 발판 생성기로 미세 조정하는 방법입니다. 이는 올바른 질문을 던지는 능력이 학습될 수 있음을 보여줍니다.
4. 다중 발판 확장: 이 프레임워크는 순차적 또는 재귀적으로 여러 발판을 생성하도록 확장되었으며, 순차적 생성이 추가적인 성능 향상을 가져온다는 것을 보여줍니다.

실험 결과

저자들은 ARQ 를 세 가지 까다로운 수학 벤치마크인 AIME 2024, AIME 2025, 그리고 BeyondAIME에서 평가했습니다.

• 추론 시간 성능: 강력한 기성 모델 (GPT-120B) 을 생성기로 사용하여, 20 개의 후보 중 최상의 발판을 선택할 때 해결기의 성공률을 평균 13% 향상시켰습니다. 그러나 해로운 발판의 존재로 인해 20 개 발판 전체의 평균 성능은 낮았으며, 이는 더 나은 생성의 필요성을 강조합니다.
• 전이 가능성: 기준 해결기 (GPT-120B) 가 선택한 양호한 발판은, 해결기 스스로가 선택한 발판과 유사한 정도로 더 약한 해결기 (GPT-20B, Qwen3-4B) 의 성능을 향상시켰습니다.
• 사후 학습 영향: 합성 발판 데이터셋으로 Qwen3-8B 와 Qwen2.5-32B 를 미세 조정한 결과 상당한 개선이 있었습니다. 미세 조정된 모델들은 생성한 발판으로 인해 해결기 성능을 평균 각각 **3.1%**와 2.9% 향상시켰으며, 이는 "Solver Only" 베이스라인과 사전 학습 버전보다 우월했습니다.
• 다중 발판 확장: ARQ 를 3 개의 순차적 발판을 생성하도록 확장하면 성능이 더욱 향상되었습니다. GPT-120B 의 경우, 단일 발판을 사용하는 것에 비해 최상위 점수가 5.2% 향상되었고 평균 점수는 3.9% 향상되었습니다. 재귀적 생성은 순차적 접근법에 비해 변동적이거나 성능이 저하되는 경향을 보였습니다.
• 비교: ARQ 는 Analogical Reasoning, Least-to-Most, Plan-and-Solve 와 같은 다른 중간 단계 방법들보다 우월했습니다. 기존 LLM 에서는 Self-Refine(솔루션의 반복적 정제) 보다 약간 낮은 성능을 보였는데, 이는 Self-Refine 이 기존 RLVR 학습 파이프라인과 더 직접적으로 정렬되기 때문일 가능성이 높지만, ARQ 는 보완적이며 추가 향상을 위해 Self-Refine 과 결합될 수 있습니다.

의의 및 주장

이 논문은 ARQ 가 무엇을 질문할 가치가 있는지 식별하고 LLM 을 훈련하여 이를 생성하도록 하는, 아직 탐구되지 않은 연구 방향에 대한 고무적인 단계라고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 발판은 고유한 추론 능력입니다: 이는 단순히 더 긴 CoT 가 아니라 직관을 구축하고 전략을 검증하기 위해 관련되고 더 쉬운 문제를 구성하는 것을 포함합니다.
• 생성 능력은 학습 가능합니다: 올바른 질문을 던지는 능력은 모든 추론 모델의 고유한 속성이 아니라, 합성 데이터에 대한 표적 사후 학습을 통해 크게 향상될 수 있습니다.
• 확장성: 이 접근법은 직접적인 솔루션 생성이 어렵고 인간이 아이디어를 검증하기 위해 단순화된 프로토타입을 routinely 사용하는 극도로 까다로운 영역 (예: IMO 수준의 수학, 과학 연구) 에서 특히 유망합니다.

저자들은 현재 사후 학습 실험의 규모가 (컴퓨팅 및 데이터 소스에 의해 제한됨) 제한적임을 겸손하게 인정하며, 더 큰 데이터셋, 코딩과 같은 다른 영역으로의 확장, 그리고 질문 생성에 대한 온라인 RL 탐구를 향후 작업으로 제안합니다.