기술 요약: Preplan 을 통한 LLM 수학적 추론 강화 (PPC)

1. 문제 제기

대형 언어 모델 (LLM) 을 위한 기존 계획 기반 추론 방법들은 질문 → 계획 → CoT 패러다임을 정립해 왔습니다. 비록 효과적이기는 하지만, 저자들은 이 접근법에는 근본적이고 패러다임 수준의 격차가 존재한다고 지적합니다. 즉, 계획 수립과 실행 단계 모두 문제를 어떻게 해결할지 (단계 구성 및 수행) 결정하는 데 전념하는 반면, 무엇을 해결할 것인지에 대한 선행 질문은 완전히 암시적으로만 남아 있다는 것입니다.

"무엇을 해결할지" 단계는 문제 유형을 인식하고, 적용 가능한 도구와 개념을 식별하며, 경계 조건을 표시하고, 함정을 예측하는 것을 포함합니다. 기존 방법들은 이러한 이해가 계획 생성 과정에서 암시적으로 도출된다고 가정합니다. 그러나 오류 분석 (그림 1) 은 현재 계획 기반 방법들의 실패 상당 부분이 계산 오류에서 비롯된 것이 아니라, 문제의 본질을 올바르게 이해하지 못해 발생함을 보여줍니다 (예: 동차 2 차 방정식을 잘못 식별하여 비효율적인 해결 경로를 따르는 경우).

2. 방법론: PPC 프레임워크

이 격차를 해소하기 위해 저자들은 PPC(Preplan-Plan-CoT) 를 제안합니다. 이는 명시적인 Preplan(사전 계획) 단계를 도입하여 새로운 질문 → Preplan → 계획 → CoT 패러다임을 창출합니다. Preplan 은 어떻게 해결할지는 후속 계획 및 실행 단계에 맡긴 채, 무엇을 해결할지 결정하는 포괄적이고 비계산적인 분석입니다.

이 프레임워크는 특정 파이프라인을 통해 두 가지 주요 과제를 해결합니다:

과제 1: 데이터 구축 (누출 및 스포일러 방지)

깨끗한 Preplan 감독 데이터를 생성하는 것은 어려운데, 모델들이 종종 "어떻게 해결할지" 행동으로 회귀하기 때문입니다.

• 누출 실패 (Leakage Failure): Preplan 이 향후 계획의 단계 순서를 미리 연습하는 경우.
• 스포일러 실패 (Spoiler Failure): Preplan 이 분석이라는 명목 하에 중간 계산을 수행하는 경우.

해결책: 저자들은 스포일러 점수 감지기로 보호되는 3 단계 합성 파이프라인을 설계했습니다.

1. 3 단계 생성: 궤적은 엄격하게 왼쪽에서 오른쪽으로 생성됩니다: $y_{pp} \sim \pi_{pp}(\cdot|q)$, $y_p \sim \pi_p(\cdot|q, y_{pp})$, 그리고 $y_e \sim \pi_e(\cdot|q, y_p)$. Preplan 프롬프트는 유도 과정, 확장된 공식, 계산된 값을 명시적으로 금지합니다.
2. 스포일러 점수 필터링: 규칙 기반 점수 $s(\cdot) \in \{0, \dots, 6\}$ 가 유도 및 답변 노출 신호 (예: "단순화하면"과 같은 구, 높은 수식 밀도, 긴 인라인 수학 범위, 다중 자리 상수) 를 집계합니다. 궤적은 $s(y_{pp}) \leq \tau_s$ (여기서 $\tau_s=2$) 이고 최종 답변이 정확한 경우에만 유지됩니다. 이를 통해 Preplan 은 가식적인 해결책이 아닌 순수한 문제 이해임을 보장합니다.

과제 2: 학습 시간 준수 (유틸리티 보장)

깨끗한 데이터가 있더라도 모델이 표면적으로 올바른 Preplan 을 생성하면서도 계획 단계에서는 이를 무시하도록 학습할 수 있습니다.

해결책: 저자들은 구조적 및 의미적 정렬을 강제하는 복합 보상 함수 $R(y)$ 를 통해 그룹 상대 정책 최적화 (GRPO) 를 확장합니다:
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$ (결과 보상): 이진 정확도뿐만 아니라 LLM 이 판단한 해결 경로의 근접도에 기반한 부분 점수를 사용하여 근접 실패 궤적에 대한 기울기를 제공합니다.
• $R_{adh}$ (준수 보상): LLM 비평가가 Preplan 과 계획 간의 전략적 정렬을 평가합니다. 핵심적으로, Preplan 을 무시하는 고품질 계획은 낮은 점수를 받아 모델이 Preplan 의 안내를 진정으로 따르도록 강제합니다.
• $R_{fmt}$ (형식 가드): 출력이 <preplan>, <plan>, <execute> 태그를 각각 정확히 한 번씩 순서대로 포함하고 박스 처리된 답변이 있는지 확인합니다.
• $R_{sty}$ (스타일 패널티): RL 중 스포일러 점수 $s(\cdot)$ 를 패널티로 재사용합니다. 학습 중 Preplan 이 다시 계산 내용으로 흐르면 보상이 패널티를 받아 데이터 구축 시 확립된 개념적 무결성을 유지합니다.

3. 주요 기여

• 개념적: 본 논문은 기존 추론 방법의 패러다임 수준 격차, 즉 어떻게 해결할지에 대한 명시적 모델링과 무엇을 해결할지에 대한 암시적 처리 간의 격차를 공식화합니다. 이를 해결하기 위해 질문 → Preplan → 계획 → CoT 패러다임을 제안합니다.
• 방법론적:
  • 누출 및 스포일러 실패에 대비한 스포일러 점수 감지기 보호 하에 명시적인 Preplan 감독을 갖춘 최초의 추론 데이터셋 구축.
  • 모델이 Preplan 을 장식적이지만 무시되는 단계로 취급하지 않도록 계획 - Preplan 정렬을 명시적으로 강제하는 복합 GRPO 보상 설계.
• 실증적: 4 개의 백본 (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) 과 5 개의 수학 벤치마크 (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K) 에 대한 광범위한 평가.

4. 실험 결과

• 성능: PPC 는 모든 벤치마크와 백본에서 40 개 지표 중 39 개에서 최상의 결과를 달성했습니다.
• 개선: 가장 강력한 베이스라인 (Plan-Tuning, PTA-GRPO) 과 비교하여 PPC 는 maj@16 을 +2.23, pass@16 을 +3.06 향상시켰습니다.
• 효율성: 추가 단계를 도입했음에도 불구하고, PPC 는 전체 CoT 보다 더 적은 토큰을 생성하며 PTA-GRPO 보다 훨씬 적습니다. Preplan 과 계획은 실행을 단일 해결 경로로 제한하여 제약 없는 CoT 에서 흔히 발생하는 불필요한 우회로를 방지합니다.
• 신뢰성: 추론 시간 개입 (Preplan 문장 순서 뒤섞기, 불일치하는 Preplan 사용, 또는 일반적 플레이스홀더 사용) 은 심각한 성능 저하를 초래합니다 (예: 불일치하는 Preplan 을 사용한 Qwen3-4B 에서 maj@16 이 97.2 에서 46.8 로 하락). 이는 모델이 단순히 Preplan 을 생성하는 것이 아니라 그 내용에 진정으로 의존함을 확인시켜 줍니다.

5. 중요성 및 주장

본 논문은 현재 계획 기반 추론의 주요 한계가 계획의 부재가 아니라 문제 이해를 위한 전용 단계의 부재라고 주장합니다. Preplan 을 통해 "무엇을 해결할지"를 명시적으로 함으로써 모델은 해결 경로에 착수하기 전에 적절한 도구와 전략을 선택할 수 있습니다.

저자들은 이 개선이 단순히 프롬프팅 때문이 아님을 강조합니다 (성능이 낮은 "Prompt-Only" 베이스라인에 의해 입증됨). 이는 특정 데이터 구축과 복합 보상 학습을 통해 패러다임을 학습해야만 가능합니다. 이 프레임워크는 명시적인 문제 이해가 표준 CoT 대비 추가적인 토큰 오버헤드를 도입하지 않으면서도 동시에 더 높은 정확도와 더 큰 추론 효율성을 산출함을 보여줍니다.