Strategy Executability in Mathematical Reasoning: Leveraging Human-Model Differences for Effective Guidance

이 논문은 **"수학적 추론에서의 전략 실행 가능성 (Strategy Executability)"**을 주제로, 기존 예시 기반 가이드 (Example-based guidance) 의 불안정성을 해결하기 위해 인간과 모델 간의 전략 사용 차이를 분석하고 이를 활용한 새로운 프레임워크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 수학적 추론 성능을 높이기 위해 추론 단계에서 예시나 힌트 (가이드) 를 제공하는 방식이 널리 사용되고 있습니다. 그러나 정확하고 문제와 관련된 가이드조차도 모델에 따라 효과가 극도로 불안정하다는 문제가 있습니다.

• 기존 가정의 한계: 기존 연구는 "성공적인 해법에서 추출된 추론 전략을 가이드로 제공하면 모델이 이를 신뢰성 있게 수행할 수 있다"고 가정했습니다.
• 실제 현상: 하지만 가이드가 제공되더라도 모델이 이를 실행 (Execute) 하지 못하거나, 오히려 성능이 저하되는 경우가 빈번합니다. 이는 가이드의 '사용 빈도 (Usage)'와 모델이 이를 '실행할 수 있는 능력 (Executability)' 사이의 괴리에서 기인합니다.

2. 핵심 통찰 및 분석 (Key Insights & Analysis)

저자들은 **전략 사용 (Strategy Usage)**과 **전략 실행 가능성 (Strategy Executability)**을 구분하고, 인간이 작성한 해법과 모델이 생성한 해법 간의 체계적인 차이를 분석했습니다.

• 인간 vs 모델 전략 차이:
  • 인간: 구조적 통찰 (기하학적 구성, 대칭성, 불변량 등) 과 개념적 분해에 의존합니다.
  • 모델: 절차적 변환 (대수적 조작, 좌표 설정, 방정식 유도 등) 을 선호합니다.
• 실행 가능성의 불일치:
  • 인간 해법에서 추출된 '구조적 전략'은 모델에게 직접 제공될 때 실행이 어렵거나 실패할 수 있습니다.
  • 반대로, 모델 해법에서 추출된 '절차적 전략'은 특정 도메인 (기하학 등) 에서 인간 전략보다 모델이 실행하기 더 용이할 수 있습니다.
  • 즉, 어떤 전략이 성공적인 해법에 포함되었다고 해서, 그것이 목표 모델에게 효과적인 가이드가 되는 것은 아닙니다.

3. 제안 방법론: 선택적 전략 검색 (Selective Strategy Retrieval, SSR)

이러한 진단을 바탕으로, 저자는 추론 시점 (Test-time) 에만 작동하는 경량 프레임워크인 SSR을 제안했습니다.

• 핵심 원리: 전략의 빈도나 의미적 유사성 (Semantic Similarity) 만이 아닌, **실증적 실행 가능성 (Empirical Executability)**을 기준으로 전략을 선택하고 조합합니다.
• 구현 단계:
  1. 전략 지식 그래프 (Strategy Knowledge Graph): 문제, 전략, 카테고리 간의 관계를 그래프로 구성하고, 인간/모델 소스별 실행 성공 데이터를 기반으로 노드 임베딩을 학습합니다.
  2. 다중 경로 검색 (Multi-Route Retrieval):
     • 카테고리 기반: 문제 유형에 맞는 실행 가능한 전략 검색.
     • 문제 전이 기반: 유사한 문제에서 성공적으로 작동했던 전략 검색.
     • 의미적 백업: 실행 가능성 데이터가 부족할 경우 의미적으로 유사한 전략을 백업으로 검색.
  3. 실행 가능성 모델링: 검색된 후보 전략들 중 목표 모델이 특정 문제에서 성공할 확률 (Utility) 을 예측하는 예측기 (Predictor) 를 사용하여 최적의 전략 집합을 선택합니다.
  4. 가이드 제공: 선택된 5 개 이내의 추상적 전략 힌트를 모델에게 제공하여 추론을 유도합니다.

4. 실험 결과 (Results)

다양한 수학적 추론 벤치마크 (HM-ReasoningBench, AIME25, Apex) 와 모델 (Qwen3, DeepSeek-R1-Distill 등) 에서 실험을 수행했습니다.

• 성능 향상: SSR 은 직접 해결 (Direct Solving), 문맥 학습 (ICL), 단일 소스 가이드 (인간만 또는 모델만) 보다 일관되게 높은 정확도를 기록했습니다.
  • AIME25: 소형 추론 모델 기준 정확도 최대 +13 점 향상.
  • Apex: 정확도 최대 +5 점 향상.
• 효율성: SSR 은 추가적인 추론 시간 (예: Self-Consistency, Tree-of-Thoughts 와 같은 다중 샘플링/탐색) 을 소모하지 않고, 단일 생성으로 성능을 개선하며, 불필요한 탐색을 줄여 토큰 소비를 감소시켰습니다.
• 오류 감소 분석:
  • 인간 기반 가이드는 '구조적 오류 (전체적 구조 누락)'를 줄이는 데 효과적이었습니다.
  • 모델 기반 가이드는 '대수적 조작 오류'를 줄이는 데 효과적이었습니다.
  • SSR 은 이 두 가지를 상황에 맞게 결합하여 두 가지 오류 유형을 모두 완화했습니다.

5. 의의 및 기여 (Significance & Contributions)

1. 새로운 개념 정립: 수학적 추론에서 '전략의 존재 (Usage)'와 '모델의 실행 가능성 (Executability)'을 구분하고, 이 간극이 가이드 불안정성의 주원인임을 규명했습니다.
2. 데이터셋 구축: 인간과 모델이 작성한 쌍을 이루는 고난도 수학 문제 데이터셋 (HM-ReasoningBench) 을 구축하여 체계적인 분석을 가능하게 했습니다.
3. 실용적 프레임워크: 모델 학습이나 구조 변경 없이 추론 시점에만 적용 가능한 SSR을 제안하여, 컴팩트한 추론 모델의 성능을 크게 향상시켰습니다.
4. 연구 방향 전환: 추론 가이드의 유효성을 평가할 때, 단순한 정답 여부나 의미적 유사성이 아닌 목표 모델이 해당 전략을 운영적 (Operationally) 으로 수행할 수 있는지를 고려해야 함을 강조합니다.

결론적으로, 이 논문은 "무조건 좋은 해법을 복사하는 것"이 아니라, "목표 모델이 실제로 수행할 수 있는 전략을 선택적으로 조합하는 것"이 추론 성능 향상의 핵심임을 증명했습니다.