기술 요약: GeoMin - 기하학적 분포 모델링을 통한 데이터 효율적 준지도 RLVR

1. 문제 정의

검증 가능한 보상(Verifiable Rewards, RLVR)을 활용한 강화 학습은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심적인 패러다임이 되었습니다. 그러나 RLVR의 확장성은 "주석 병목 현상(annotation bottleneck)"에 의해 심각하게 제한됩니다. 표준적인 지도 학습 방식은 비용이 많이 드는 정답 주석을 요구하며, 비지도 학습 대안들은 사실적 근거 없이 잘못된 확신을 강화하는 노이즈 섞인 자기 보상 신호(예: 다수결 투표, 엔트로피)에 의존하여 "모델 붕괴(model collapse)"를 겪는 경우가 많습니다.

TraPO와 같은 최근의 준지도 학습 방식은 소량의 레이블된 데이터 세트를 사용하여 고품질의 미레이블 데이터를 선택하려고 시도하며 이 간극을 메우려 합니다. 그러나 이러한 방법들은 데이터 효율성 병목 현상에 직면해 있습니다. 이들은 거친 성능 휴리스틱(예: 개별 궤적 통과율을 집합적 평균과 정렬)에 의존하는데, 이는 개별 인스턴스의 자연스러운 최적화 변동을 고려하지 못합니다. 결과적으로, 이러한 방법들은 가용한 신뢰할 수 있는 미레이블 데이터의 아주 적은 부분(예: ~12.3%)만을 활용하는 심각한 "재현율 병목(recall bottleneck)"을 보이며, 대부분의 가치 있는 인스턴스를 활용하지 못하고 있습니다.

2. 방법론: GeoMin

저자들은 잠재 표현(latent representations)의 기하학적 특성을 활용하여 고품질 미레이블 데이터를 효율적으로 마이닝하는 2단계 프레임워크인 GeoMin을 제안합니다. 핵심 통찰은 올바른 추론과 잘못된 추론의 롤아웃(rollout)이 그 방향성 분포에서 뚜고한 **기하학적 공명(geometric resonance)**을 나타내며, 이를 모델링함으로써 자기 보상 신호의 신뢰도를 평가할 수 있다는 것입니다.

핵심 개념: 기하학적 사전 확률 (Geometric Priors)

이 방법은 LLM의 은닉 상태(특히 정규화된 마지막 토큰 임베딩)를 초구면(hypersphere) 상의 방향성 데이터로 모델링합니다. 또한, 올바른 롤아웃과 잘못된 롤아웃이 von Mises-Fisher (vMF) 분포를 사용하여 모델링할 수 있는 뚜렷한 클러스터를 형성한다고 가정합니다.

• 기하학적 공명: 훈련이 진행됨에 따라, 올바른 롤아웃과 잘못된 롤아웃의 방향성 분포는 자연스럽게 분리됩니다. 미레이블된 올바른 롤아웃은 '정답' 레이블 분포와 정렬되는 반면, 잘못된 롤아웃은 '오답' 분포와 정렬됩니다.

1단계: 지도 학습 기반 앵커링 (Supervised Anchoring)

강건한 기하학적 사전 확률을 구축하기 위해, GeoMin은 먼저 소량의 레이블된 데이터($D_l$)만을 사용하여 지도 학습을 수행합니다.

• 분포 모델링: 네트워크 레이어 전반에 걸쳐 정답($c=1$) 및 오답($c=0$) 클래스에 대한 온라인 vMF 분포($\mu_c, \kappa_c$)를 피팅합니다.
• 경계 모호성 해소 (Boundary Disambiguation): 롤아웃의 기하학적 정렬이 실제 정답 여부와 모순되는 "모호한 경계 샘플(ambiguous boundary samples)"을 식별합니다 (예: 올바른 롤아웃이 기하학적으로 오답 분포에 더 가까운 경우).
• 이점 재가중치 부여 (Advantage Reweighting): 기하학적 분리를 가속화하기 위해, GRPO(Group Relative Policy Optimization) 업데이트 과정에서 이러한 경계 샘플의 이점(advantage)을 증폭시킵니다. 이는 표현 공간에서의 결정 경계를 더욱 날카롭게 만듭니다.

2단계: 기하학 가이드 샘플 마이닝 (Geometry-Guided Sample Mining)

두 번째 단계에서, 프레임워크는 미레이블 데이터($D_u$)를 준지도 학습에 포함합니다.

• 동적 적응: vMF 분포는 진화하는 표현 공간을 추적하기 위해 레이블된 서브셋을 사용하여 지속적으로 갱신됩니다.
• 판별 레이어 선택: 방법론은 레이어별 분리도($\Delta^{(l)}$)를 정량화하고, 신뢰성 평가에 가장 높은 진단 충실도를 가진 상위 $K$개의 레이어를 선택합니다.
• 신뢰도 점수 산출: 각 미레이블 인스턴스에 대해, 학습된 정답 및 오답 vMF 분포에 대한 롤아웃의 방향성 친화도(directional affinities)를 집계하여 신뢰도 점수($s_i$)를 계산합니다.
• 적응형 필터링: 정적 임계값을 사용하는 대신, GeoMin은 신뢰도 점수의 분포에 **가우시안 혼합 모델(GMM)**을 피팅합니다. 이를 통해 고신뢰도 샘플(높은 평균을 가진 가우시안 성분에 속하는 샘플)을 적응적으로 선택하여 신뢰할 수 있는 의사 레이블 세트($B^*_u$)를 형성합니다.
• 훈련: 최종 정책은 원래의 레이블된 세트와 필터링된 신뢰할 수 있는 미레이블 세트의 합집합에 대해 최적화됩니다.

3. 주요 기여

1. 기하학적 공명 발견: 본 논문은 올바른 롤아웃과 잘못된 롤아웃 사이의 구조적 불일치가 글로벌 특징 분포를 통해 디코딩될 수 있음을 밝히고, 이를 통해 의사 레이블 신뢰성을 평가하기 위한 강건한 사전 확률을 제공하는 "기하학적 공명" 현상을 규명하고 공식화했습니다.
2. 새로운 2단계 프레임워크: GeoMin은 지도 학습 기반 앵커링(변별적 경계 구축)과 기하학 가이드 마이닝(미레이블 데이터의 적응적 선택)을 결합한 협응된 접근 방식을 도입하여, 기존 준지도 학습 방식의 재현율 한계를 극복합니다.
3. 데이터 효율성: 거친 성능 휴리스틱에 의존하는 대신 분포를 모델링함으로써, GeoMin은 신뢰할 수 있는 미레이블 샘플을 식별하는 데 있어 **89.0%**의 F1 스코어를 달성하며, 이는 TraPO 베이스라인의 21.4%를 크게 상회하는 수치입니다.

4. 실험 결과

실험은 Qwen3-8B-Base 및 기타 모델(1.5B, 8B)을 사용하여 Deepmath-103k 데이터셋에서 수행되었습니다.

• 성능 향상: GeoMin은 In-Domain(ID)에서 +4.1%, Out-of-Domain(OOD)에서 **+1.7%**의 평균 정확도 향상을 보이며 강력한 준지도 베이스라인인 TraPO를 능가했습니다.
• 주석 효율성: 놀랍게도, 단 10%의 주석만으로 훈련된 GeoMin은 100% 데이터를 사용한 완전 지도 학습 베이스라인보다 ID 성능에서 +1.2% 높은 성능을 보이면서도 경쟁력 있는 OOD 성능을 유지했습니다.
• 확장성: 이 방법은 다양한 모델 규모(1.5B ~ 8B)와 아키텍처(Qwen vs. Llama) 전반에서 일관된 개선을 보여줍니다.
• 효율성: GeoMin은 궤적 매칭 베이스라인들이 요구하는 소모적인 다중 에포크 웜업 단계를 피함으로써, TraPO 대비 총 훈련 시간에서 2.14배의 속도 향상을 달erm합니다.

5. 의의 및 주장

본 논문은 GeoMin이 확장 가능하고 데이터 효율적인 RLVR을 향한 중요한 진전임을 주장합니다. 표면적인 출력 확률을 넘어 잠재 표현의 기하학적 정렬에 초점을 맞춤으로써, 이 방법은 훈련 안정성을 해치지 않으면서 방대한 미레이블 데이터셋의 잠재력을 끌어냅니다.

저자들은 GeoMin이 주석 장벽을 효과적으로 우회하여, 최소한의 인간 감독으로 모델이 우수한 일반화 능력을 갖추도록 한다고 주장합니다. 이 연구는 준지도 RLVR에서의 "재현율 병목"이 패러다임 자체의 내재적 문제가 아니라, 엄격한 기하학적 분포 모델링을 통해 해결될 수 있는 거친 휴리스틱에 대한 의존성에서 비롯된다는 점을 시사합니다.

인정된 한계점:

• 검증은 주로 8B 파라미터까지의 모델을 대상으로 수행되었으며, 더 큰 프런티어 모델에 대한 성능은 추가 검증이 필요합니다.
• 이 방법의 효율성은 초기 기하학적 변별력에 의존합니다. 초기 표현 품질이 낮은 모델은 더 긴 1단계 훈련이 필요할 수 있습니다.
• 현재 평가는 텍스트 및 기호 추론에 국한되어 있으며, 멀티모달 또는 교차 언어 작업으로의 일반화에 대해서는 추가적인 조사가 필요합니다.