기술 요약: 훈련 없는 RLVR 데이터 선정을 위한 단일 롤아웃 은닉 상태 역학

문제 정의

본 논문은 **검증 가능한 보상을 활용한 강화 학습 (RLVR)**의 중요한 병목 현상인 대규모 레이블 없는 풀에서 고영향 훈련 인스턴스를 선정하는 문제를 다룹니다. RLVR 은 매우 적은 수의 예시에서도 상당한 추론 향상을 얻을 수 있을 정도로 데이터 효율성이 높은 것으로 알려져 있지만, 그 성능은 어떤 예시가 선택되느냐에 극도로 민감합니다.

기존 데이터 선정 파이프라인은 일반적으로 다음에 의존합니다:

1. 훈련 시 신호: 후보 풀에서 부분 파인튜닝 또는 RL 을 실행하여 최적화 역학 (예: 보상 궤적, 기울기 분산) 을 관찰합니다.
2. 정답 의존성: 전체 후보 풀에 대한 검증 가능한 보상이나 정답에 접근하여 인스턴스를 순위 매깁니다.

이러한 요구사항은 주석이 비용이 많이 들고 수천 개의 후보에 대한 시도 훈련을 실행하는 것이 계산적으로 낭비적인 전문화된 저자원 도메인 (예: 의료 QA) 에서는 종종 불가능합니다. 저자들은 레이블, 검증 가능한 보상, 또는 훈련 시 최적화 신호가 전혀 없는 대규모 레이블 없는 풀에서 선정을 수행해야 하는 사전 RL(pre-RL) 체제를 공식화했습니다.

방법론: SHIFT

저자들은 SHIFT를 제안합니다. 이는 단일 회차(one-shot), 훈련 없는, 레이블 없는 선정기입니다. SHIFT 는 어떤 훈련도 수행하지 않고 하류 RLVR 을 위한 인스턴스의 유용성을 추정하기 위해 추론 시 은닉 상태 역학을 활용합니다.

핵심 메커니즘: 추론 유도 표현 이동 (RIRS)

핵심 가설은 추론 궤적 동안 모델의 내부 역학이 학습 잠재력을 인코딩한다는 것입니다.

1. 단일 결정론적 롤아웃: 각 후보 인스턴스 $x$에 대해 SHIFT 는 탐욕적 디코딩 ($T=0$) 을 사용하여 단일 결정론적 추론 궤적을 실행합니다.
2. 앵커 추출: 추론 궤적의 시작 ($s(x)$) 과 끝 ($e(x)$) 에서의 은닉 상태를 식별합니다 (구체적으로, Chain-of-Thought 세그먼트의 시작과 끝).
3. RIRS 계산: 추론 유도 표현 이동은 이러한 상태 간의 차이로 계산됩니다:
   $$\Delta(x) = e(x) - s(x)$$
   크기 $\|\Delta(x)\|_2$는 인스턴스의 유용성(정보성) 을 위한 경량 프록시로 작용하며, 더 큰 이동이 모델의 내부 계산에 대한 더 강력한 참여를 나타낸다고 가정합니다.

선정 알고리즘: 품질 가중 최원심 코어셋 (Quality-Weighted Farthest-First CoreSet)

선택된 부분집합이 고품질이고 다양하도록 보장하기 위해 SHIFT 는 확장된 특징 공간에서 탐욕적 선정 전략을 사용합니다:

1. 특징 구성: 각 인스턴스는 단위 구에 정규화된 연결 벡터 $\phi(x) = [s(x); \Delta(x)]$로 표현됩니다. 이는 초기 컨텍스트 ($s(x)$) 와 추론 변환 ($\Delta(x)$) 을 모두 포착합니다.
2. 유용성 점수: 유용성 점수 $\tilde{q}(x)$는 RIRS 크기에서 유도됩니다 (안정성을 위해 로그 변환 적용).
3. 탐욕적 선정:
   • 가장 높은 유용성을 가진 인스턴스로 집합 $S$를 초기화합니다.
   • 현재 집합까지의 거리와 유용성의 곱을 최대화하는 다음 인스턴스 $x^*$를 반복적으로 선정합니다:
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     이는 정보성(높은 RIRS) 과 커버리지(RIRS 확장 공간에서의 다양성) 를 균형 있게 조정합니다.

주요 기여

1. 문제 공식화: 선정 중 레이블, 보상, 훈련 신호가 전혀 없는 엄격한 사전 RL 설정에서 RLVR 데이터 선정 문제를 정의했습니다.
2. SHIFT 프레임워크: RIRS 지표를 특히로 하는 추론 시 은닉 상태 역학 기반의 훈련 없는 선정기를 도입했습니다.
3. 알고리즘적 혁신: 대규모 레이블 없는 풀로 확장 가능한 단일 롤아웃, 품질 가중 최원심 코어셋 알고리즘을 개발했습니다.
4. 실증적 검증: 초저 예산 (데이터의 0.1%–4%) 하에서 수학 추론 및 의료 QA 벤치마크를 통해 훈련 없는 베이스라인 (다양성 샘플링, 난이도 휴리스틱, 불확실성 기반 방법) 보다 일관된 개선을 입증했습니다.

실험 결과

저자들은 두 가지 도메인에서 Qwen 모델 (1.5B 및 1.7B) 에 대해 SHIFT 를 평가했습니다:

• 수학 추론 (MATH-500 및 AMC): 2% 예산 하에서 SHIFT 는 MATH-500 에서 **62.67%**의 정확도와 OOD(Out-of-Distribution) 인 AMC 에서 **38.55%**의 정확도를 달성하여, 무작위 샘플링 (+8.94 / +12.77) 및 기타 베이스라인을 크게 능가했습니다. 특히 OOD AMC 벤치마크에서는 전체 데이터 RLVR 기준을 능가했습니다.
• 의료 QA (MEDQA 및 Transfer): 0.1% 예산 하에서 SHIFT 는 MEDQA 에서 **50.35%**를 달성하여 무작위 (45.28%) 및 기타 휴리스틱을 능가했습니다. 이는 임상적으로 도전적인 하위 집합 (MedXpertQA) 으로의 이전에서 특히 강력하게 나타나, 데이터의 0.1% 만으로 전체 데이터 성능에 거의 근접했습니다.

제거 실험 및 분석

• RIRS 유효성: 상관 분석은 RIRS 가 단순히 입력/출력 길이의 프록시가 아님을 확인했습니다 (응답 길이와 스피어만 $\rho \approx 0$).
• 유용성 상관관계: 파일럿 연구는 사전 RL RIRS 순위와 실제 하류 RLVR 향상 사이에 강한 양의 상관관계 (스피어만 $\rho = 0.818$) 가 있음을 보여주었습니다.
• 제거 실험: RIRS 기반 커버리지 ($\phi_{s+\Delta}$) 또는 품질 가중 ($\tilde{q}(x)$) 중 하나를 제거하면 성능이 저하되어, 다양성과 유용성 신호가 상호 보완적임을 확인했습니다.
• 계산 효율성: SHIFT 는 후보당 하나의 결정론적 롤아웃만 필요로 하므로, 약 32 개의 확률적 롤아웃이 필요한 자기 일관성 베이스라인보다 선정 시 훨씬 저렴합니다.

중요성 및 주장

본 논문은 SHIFT가 주석 비용과 계산적 제약으로 인해 이전에 불가능하다고 여겨졌던 시나리오에서 효과적인 RLVR 적응을 가능하게 한다고 주장합니다. 훈련 신호가 아닌 추론 유도 은닉 상태 역학을 통해 "영향력 있는" 예시를 식별함으로써 SHIFT 는 다음을 가능하게 합니다:

• 주석 및 훈련 오버헤드의 극적인 감소: 데이터의 1% 미만으로 강력한 성능 달성.
• 접근성: 정답 레이블이 부족한 전문 도메인 (예: 의학) 에서 RL 적응을 실현 가능하게 함.
• 일반화: 표준 다양성 또는 난이도 기반 선정에 비해 더 어렵고 분포 외 평가 설정으로의 이전을 개선.

저자들은 RIRS 가 이론적 블록 수준 역학에 영감을 받은 경험적 대리 모델이지 공식적 유도가 아님을 인정하며, 더 넓은 모델 계열 전반의 견고성과 안전에 민감한 오류 계층화는 향후 연구의 열린 영역으로 유지하는 겸손한 입장을 견지합니다.