기술 요약: STRIDE - LLM 추론을 위한 학습 가능한 단계별 언어 피드백

1. 문제 제기

대형 언어 모델 (LLM) 추론의 최근 발전은 검증 가능한 보상으로부터의 강화 학습 (RLVR) 에 의해 주도되어 왔습니다. 그러나 기존 접근 방식은 두 가지 중요한 한계에 직면해 있습니다:

1. 스칼라 보상의 정보 병목 현상: 과정 보상 모델 (PRM) 은 단계별 지도 학습을 제공하려 하지만 스칼라 점수에 의존합니다. 고차원의 추론 경로를 단일 수치 값으로 압축하는 것은 정보 병목 현상을 초래하여, 산술 오류와 논리적 도약과 같이 의미적으로 구별되는 오류 모드가 동일한 점수로 수렴하게 만듭니다. 이는 수정을 안내하기에 불충분한 의미 대역폭을 제공합니다.
2. 기존 언어 피드백의 한계: 비판 기반 방법들은 더 풍부한 텍스트 피드백을 제공하지만, 종종 고정되거나 외부 비판가 (critics) 에 의존하여 확장성과 적응성을 제한합니다. 또한, 생성형 검증기를 사용하는 최근의 공동 훈련 프레임워크 (예: TANGO) 는 언어 출력을 다시 스칼라 보상으로 변환하여 동일한 정보 병목 현상을 재도입합니다.
3. 신용 할당: 결과 기반 강화 학습은 개별 추론 단계에 대한 피드백을 제공하지 않아, 다단계 추론에서 "신용 할당" 문제 (어떤 특정 단계가 성공이나 실패로 이어졌는지 식별하는 것) 가 대부분 해결되지 않은 채 남아 있습니다.

2. 방법론: STRIDE 프레임워크

STRIDE(학습 가능한 단계별 언어 피드백) 는 스칼라 과정 지도 학습에서 학습 가능한 단계별 언어 피드백으로의 패러다임 전환을 제안합니다. 이는 생성기 ($G_\theta$) 와 생성형 검증기 ($V_\phi$) 를 포함하는 교차 3 단계 훈련 일정을 적용하며, 단계별 주석 없이 결과 기반 보상만을 사용하여 공동으로 훈련됩니다.

핵심 구성 요소

• 생성기 - 검증기 공동 훈련: 두 모델은 최종 결과 정확도 ($c^*$) 만을 사용하여 그룹 상대 정책 최적화 (GRPO) 를 통해 최적화됩니다. 검증기는 명시적인 단계별 레이블 없이 종단 보상을 단계별 언어적 비판 ($v_t$) 으로 분해하는 법을 학습합니다.
• 1 단계: 기본 정책 최적화: 생성기는 결과 보상을 기반으로 훈련되어 근본적인 추론 능력을 구축합니다. 이 단계는 훈련 일정의 대부분 (13 개 중 9 개) 을 차지합니다.
• 2 단계: 생성형 검증기 최적화: 검증기는 각 추론 단계에 대해 고품질 언어 비판 ($v = (v_1, ..., v_T)$) 을 생성하도록 훈련됩니다. 이는 오류를 국소화하고 언어적으로 설명하는 법을 학습하여 효과적으로 "맥락 내비게이터" 역할을 수행합니다.
• 3 단계: 안내된 궤적 재지향: 이것이 핵심 혁신입니다. 생성기가 실패할 때, 검증기는 **최초 실패 지점 (FPF)**을 식별하며, 이를 $t^*$로 표기합니다. 처음부터 다시 시작하는 대신, STRIDE 는 다중 지점 재지향 전략을 적용합니다:
  • 앵커: FPF 뿐만 아니라 모든 접두어 단계 $t \in [1, t^*]$에서 재지향 샘플을 구성합니다.
  • 지시사항:
    • 수정 프롬프트 ($t=t^*$): 생성기는 검증기가 식별한 특정 논리적 오류를 수정하도록 지시받습니다.
    • 탐색 프롬프트 ($t<t^*$): 생성기는 검증된 접두어에서 추론을 계속하도록 지시받아, 초기의 비최적 선택이 이후 실패로 이어지는 "잠재적 드리프트"를 해결하기 위해 더 견고한 대안 경로를 발견하도록 장려합니다.
  • 훈련 안정성: 중요한 점은 3 단계의 이점 함수가 재지향된 궤적의 최종 결과 정확도에 엄격히 기반하여 계산된다는 것입니다. 이는 검증기의 언어 피드백이 노이즈가 있거나 환각일지라도 정책 업데이트가 검증 가능한 결과에 기반하도록 보장하여 해로운 그래디언트 노이즈를 방지합니다.

3. 주요 기여

1. 고대역폭 피드백으로의 패러다임 전환: 이 논문은 과정 지도 학습을 1 차원 스칼라 보상에서 학습 가능한 인-컨텍스트 언어 피드백으로 전환할 것을 제안합니다. 이는 질적으로 다른 오류 모드를 구별할 수 있는 더 풍부한 훈련 신호를 해제합니다.
2. STRIDE 프레임워크: 다중 지점 재지향 전략을 통합하는 교차 3 단계 공동 훈련 일정입니다. 검증된 의미 앵커를 활용하여 추론 탐색 공간을 효율적으로 제약함으로써, 모델이 이전에 해결할 수 없었던 문제들로부터 학습할 수 있게 합니다.
3. 검증기 노이즈에 대한 강건성: 학습 신호를 결과 정확도에 엄격히 기반함으로써 STRIDE 는 "무해한 정책 개선"을 보장합니다. 검증기의 국소화가 불완전하더라도, 성공적인 재지향만이 정책 업데이트에 기여하므로 프레임워크는 음이 아닌 개선을 보장합니다.

4. 실험 결과

실험은 수학적 추론 (MATH-500, AIME 2024/2025, AMC 2023, OlympiadBench) 과 도메인 외 추론 (BoardgameQA, CRUXEval, StrategyQA, TableBench) 을 포함한 다양한 벤치마크에서 수행되었습니다.

• 성능: STRIDE 는 순수 결과 기반 RL(GRPO) 과 스칼라 보상 공동 훈련 프레임워크인 TANGO 를 포함한 최첨단 베이스라인을 크게 능가합니다.
  • Qwen2.5-7B에서 STRIDE 는 MATH-500 에서 84.6점을 기록하여 TANGO 의 81.4 와 GRPO 의 74.6 을 능가했습니다.
  • Llama-3.1-8B에서 STRIDE 는 MATH-500 에서 70.4점을 기록하여 TANGO(69.2) 와 GRPO(66.8) 를 능가했습니다.
  • 이득은 논리, 코드, 상식, 표 추론 작업 전반에 걸쳐 일관되게 나타났으며, 이는 수학 외의 일반화를 나타냅니다.
• 제로 패스율 문제: 제거 실험에서 STRIDE 는 모든 스칼라 보상 베이스라인이 영 그래디언트 신호를 산출한 문제들 (즉, 모델이 초기에 해결할 수 없었던 문제들) 에서 **6.8% 의 수정 성공률 (CSR)**을 달성했습니다. 이는 프레임워크가 해결 불가능한 인스턴스를 생산적인 학습 신호로 변환할 수 있음을 보여줍니다.
• 훈련 역학:
  • 검증기 품질: 검증기의 단계별 국소화 정확도와 비판 유용성은 훈련 중에 꾸준히 향상되어, 결과 수준 지도 학습이 신뢰할 수 있는 과정 수준 능력을 개발하기에 충분함을 확인했습니다.
  • 탐색: STRIDE 는 스칼라 보상 베이스라인보다 일관되게 높은 정책 엔트로피를 유지하여 조기 수렴과 표현적 붕괴를 방지했습니다.
  • 추론 깊이: 재지향 단계는 독립적 샘플링으로는 생성할 수 없는 더 깊고 구조적으로 복잡한 추론 사슬의 출현을 촉진했습니다.

5. 중요성과 주장

이 논문은 STRIDE 가 스칼라 보상 시스템에 내재된 근본적인 표현적 붕괴를 해결한다고 주장합니다. 학습 가능한 단계별 언어 피드백을 활용함으로써, 이 프레임워크는 특정 추론 오류를 국소화하고 수정하는 데 필요한 의미적 방향을 제공합니다.

저자들은 STRIDE 의 효과성이 계산 예산 증가가 아닌 지도 학습의 패러다임 전환에서 비롯된다고 강조합니다. 계산이 일치된 베이스라인 (훈련 단계 또는 배치 크기 증가) 은 STRIDE 의 성능 도약에 비해 무시할 수 있는 이득만을 보였습니다. 또한, 이 프레임워크는 불완전한 검증기에서도 고대역폭 언어적 지도가 혜택을 줄 수 있음을 보여주어, 학습된 비판가의 신뢰성에 대한 우려를 완화합니다. 이 연구는 스칼라에서 언어 기반 과정 지도 학습으로 전환하는 것이 LLM 의 추론 정체를 극복하고, 포괄적인 샘플링 대신 안내된 자기 수정을 가능하게 하는 실현 가능한 길임을 시사합니다.