RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models

논문 요약: RASPRef (검색 증강 자기지도 학습 프롬프트 정제)

1. 문제 정의 (Problem)

최근 DeepSeek R1, OpenAI o1 과 같은 대규모 추론 모델 (Large Reasoning Models, LRMs) 은 GSM8K, MATH, 다단계 질문 답변 등 구조화된 추론 작업에서 뛰어난 성능을 보여주고 있습니다. 그러나 이러한 모델들의 성능은 프롬프트의 구성 (형식, 단어 선택, 예시 선정 등) 에 매우 민감하게 의존합니다.
기존의 프롬프트 엔지니어링은 수동으로 반복적인 과정을 거치며, 특정 작업이나 도메인에 맞춰 확장하기 어렵다는 한계가 있습니다. 또한, 기존 프롬프트 최적화 기법들은 대부분 라벨이 있는 데이터, reward 모델, 또는 모델 내부 가중치 접근 (그래디언트) 을 필요로 하여, 폐쇄형 API 모델이나 레이블 없는 환경에서는 적용이 어렵습니다.

2. 방법론 (Methodology)

저자들은 RASPRef (Retrieval-Augmented Self-Supervised Prompt Refinement) 라는 새로운 프레임워크를 제안합니다. 이는 인간의 주석이나 특정 작업별 지도 학습 없이, 과거의 추론 궤적 (reasoning trajectories) 을 검색하고 자기지도 학습 신호를 활용하여 프롬프트를 자동으로 정제하는 방식입니다.

핵심 프로세스 (4 단계):

1. 관련 궤적 검색 (Retrieval): 새로운 입력 문제에 대해 과거의 유사한 문제 - 해결 궤적 (입력, 사용된 프롬프트, 추론 과정, 결과, 피드백 등) 을 검색하여 컨텍스트로 활용합니다.
2. 초기 프롬프트 구성 (Construction): 검색된 궤적에서 성공적인 패턴을 추출하여 일반 지시사항, 가이드라인, 대표 예시를 포함한 초기 프롬프트를 생성합니다.
3. 자기지도 평가 (Self-Supervised Evaluation): 생성된 프롬프트로 여러 번 추론을 수행한 후, 정답 레이블 없이 다음 신호들을 통해 프롬프트의 품질을 평가합니다.
   • 일관성 (Consistency): 다중 샘플 간의 답변 일치도.
   • 검증기 점수 (Verifier Score): 경량 검증 모델이 추론의 타당성과 구조를 평가.
   • 자기 비판 (Self-Critique): 모델이 자신의 추론 과정을 비판하고 분석.
   • 검색 궤적 활용도: 검색된 자산을 얼마나 잘 재사용했는지.
4. 반복적 정제 (Iterative Refinement): 평가 결과를 바탕으로 모델이 프롬프트 자체를 편집 (명확성, 구조, 오류 방지 등) 하고, 이를 반복하여 프롬프트가 안정화되거나 계산 예산이 소진될 때까지 진행합니다.

수학적 목적 함수:
RASPRef 는 정답 레이블이 없는 상태에서 프롬프트 $p$의 품질 점수 $Q(p; x)$를 최대화하는 것을 목표로 합니다.
$$Q(p; x) = \alpha C_{cons} + \beta C_{ver} + \gamma C_{crit} + \delta C_{ret}$$
여기서 각 항은 일관성, 검증기 점수, 자기 비판, 검색 궤적 정렬도를 의미합니다.

3. 주요 기여 (Key Contributions)

• 새로운 최적화 대상: 기존 연구가 주로 모델의 출력 (답변) 을 개선하는 데 집중했다면, RASPRef 는 프롬프트 자체를 최적화 대상으로 삼아 반복적인 검색 기반 정제를 수행합니다.
• 레이블 없는 자동화: 인간의 주석이나 특정 작업별 레이블 없이, 모델의 누적 추론 기록과 자기지도 신호만으로 프롬프트를 진화시킵니다.
• 블랙박스 호환성: 모델 내부 가중치나 그래디언트 접근이 필요 없으므로, API 를 통해 접근 가능한 폐쇄형 모델에도 적용 가능합니다.
• 해석 가능성: 임베딩 수준의 최적화와 달리, 생성된 프롬프트는 명확한 자연어 수정을 포함하므로 어떻게 프롬프트가 개선되었는지 해석이 가능합니다.

4. 실험 결과 (Results)

• 실험 설정: GSM8K(초등학교 수학 문제) 데이터셋의 500 개 테스트 예시를 사용하여 평가했습니다. 검색 인덱스는 200 개의 훈련 예시로 구성되었습니다.
• 비교 대상:
  • Static Prompting: 검색 없이 고정된 체인 오브 씽킹 (CoT) 프롬프트 템플릿 사용.
  • Retrieval-Augmented Prompting: 검색된 문제 - 해결 궤적을 컨텍스트로 포함하는 프롬프트 사용.
• 성능:
  • 고정 프롬프트: 85.6% 정확도
  • 검색 증강 프롬프트: 95.0% 정확도
• 결론: 검색된 추론 궤적을 프롬프트에 포함함으로써 모델이 중간 추론 단계를 더 효과적으로 구성하고 오류를 줄일 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 확장 가능한 전략: RASPRef 는 모델 파인튜닝 없이도 추론 성능을 향상시킬 수 있는 실용적이고 확장 가능한 전략을 제시합니다.
• 데이터 효율성: 모델이 축적한 추론 경험을 재사용하여 새로운 입력에 대한 적응력을 높이며, 희귀하거나 구조가 복잡한 (Long-tail) 사례에서도 일반화 능력을 보여줄 수 있습니다.
• 미래 방향: 검색 품질, 궤적 선택 전략, 그리고 다양한 추론 도메인 (다단계 QA, 프로그램 합성 등) 으로의 확장을 통해 더욱 강력한 자기 개선 시스템으로 발전할 잠재력이 있습니다.

요약하자면, RASPRef 는 과거의 성공적인 추론 사례를 검색하여 프롬프트를 지속적으로 개선하는 자동화 프레임워크로, 대규모 추론 모델의 성능 한계를 프롬프트 엔지니어링의 자동화를 통해 해결하려는 시도입니다.