기술적 요약: RLVR 에서의 추론 깊이와 환경 복잡성

문제 정의

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학, 코드 생성, STEM 과제에서 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 핵심 패러다임으로 자리 잡았습니다. 그러나 기존 연구들은 종종 "추론 공간"을 좁은 관점에서 바라보며, 난이도를 오직 추론 깊이 (추론 체인의 길이) 로만 정의하고 보상 신호를 주로 순방향 귀납적 상태 추적에 집중시킵니다.

본 논문은 현재 RLVR 연구에서 두 가지 중요한 간극을 식별합니다:

1. 과도하게 단순화된 난이도: 난이도는 단순히 체인 길이의 함수가 아닙니다. 모델이 실패하는 이유는 추론 경로가 길기 때문 (깊이) 일 수도 있지만, 올바른 경로가 방해 요소와 상호작용하는 구조에 의해 가려졌기 때문 (환경 복잡성) 일 수도 있습니다.
2. 제한된 추론 형태: 대부분의 사후 학습은 순방향 귀납적 과제를 목표로 하며, 귀추적 (숨겨진 원인 복원), 귀납적 (규칙 추출), 유추적 (패턴 전이) 추론과 같은 다른 핵심 논리 형태를 간과합니다.

핵심 연구 질문은 다음과 같습니다:

• RQ1: RL 학습 예제는 추론 깊이와 환경 복잡성 간에 어떻게 배분되어야 하는가?
• RQ2: 서로 다른 논리적 추론 계열은 RLVR 사후 학습 하에서 균일하게 행동하는가?

방법론

사전 학습의 혼란 요인으로부터 데이터 분포의 효과를 분리하기 위해, 저자들은 통제된 합성 지식 그래프 (KG) 추론 환경을 구축했습니다.

1. 통제된 KG 세계

환경은 $G = (P, O, E_{dyn}, E_{stat}, s_0)$로 정의된 그래프로 구성되며, 다음을 포함합니다:

• 동적 구성 요소: 객체 상태 (소유권, 점유, 무결성) 에 영향을 미치는 시간 순서대로 배열된 사건 시퀀스.
• 정적 구성 요소: 사람들 간의 고정된 친족 관계.
• 난이도 축:
  • 추론 깊이 ($D$): 대상 객체의 인과 체인에 있는 동적 작업 사건의 수 ($D \in \{1, \dots, 10\}$).
  • 환경 복잡성 ($T$): 방해 요소, 병렬 체인 수, 개체 교차, 교환 빈도 등을 제어하는 구조적 매개변수 ($T \in \{1, \dots, 6\}$).

2. 작업 계열

동일한 그래프에서 네 가지 서로 다른 추론 작업이 구체화됩니다:

• 귀납적 (Deductive): 관찰된 사건을 질의된 상태로 순방향 추적.
• 귀추적 (Abductive): 관찰된 상태와 일관된 누락된 사건이나 초기 사실을 복원하기 위한 역방향 추론.
• 귀납적 (Inductive): 지지 예시 (정적 구성 요소) 에서 공유된 관계 규칙을 추론.
• 유추 (Analogy): 한 개체 쌍에서 다른 개체 쌍으로 관계 패턴을 전이 (정적 구성 요소).

3. 학습 및 평가 프로토콜

• 모델: 처음부터 학습된 1 억 700 만 파라미터의 Qwen2.5 스타일 디코더 전용 모델.
• 사전 학습: 더 어려운 영역에 노출되지 않고 기준선 추론을 확립하기 위해 얕은 깊이 ($D \in \{1..4\}$) 와 낮은 복잡성 ($T \in \{1, 2\}$) 에서 수행.
• 사후 학습 (RL): $D \times T$ 그리드 상의 커버리지를 변화시키는 15 가지 다른 데이터 "레시피"를 사용하여 그룹 상대 정책 최적화 (GRPO) 적용.
  • 예산: 레시피당 22 만 개 작업으로 고정.
  • 작업 혼합: 귀납적 14 만 개, 귀추적 6 만 개, 귀납적 1 만 개, 유추 1 만 개.
• 평가: 60 개 셀 그리드 (4,800 개 그래프) 에서 엄격한 프로세스 검증 정확도 ($m_P \land m_A$) 평가. 지표로는 단일 향상 (SG) (pass@1 개선) 과 천장 향상 (CG) (pass@128 개선) 이 포함됨.

주요 발견

1. 결합된 깊이 - 복잡성 커버리지가 단일 축 레시피보다 우수함

• 발견: 추론 깊이와 환경 복잡성을 모두 결합하여 커버하는 데이터 분포 (예: Shallow-Mix, Full-Coverage) 는 한 축에만 초점을 맞춘 레시피 (예: Depth-Uniform 또는 Cmplx-Uniform) 보다 더 강력하고 광범위한 향상을 제공합니다.
• 메커니즘: 단일 축 레시피는 하나의 요구 사항 (긴 체인 또는 방해 요소 선택) 만 보상합니다. 결합된 커버리지는 둘 다 보상하여 모델이 한 가지 유형의 난이도에 과적합하고 다른 유형에서는 실패하는 것을 방지합니다.
• 관찰: 귀납적 추론은 깊이 커버리지를 통해 더 큰 혜택을 받는 반면, 귀추적 추론은 명확한 축 선호도를 보이지 않지만 일반화를 위해 둘 다의 커버리가 필요합니다.

2. 추론 계열은 비균일한 행동을 보입니다

• 발견: 추론 작업은 상호 교환 가능한 목표가 아닙니다. (귀납적, 귀추적) 과 (귀납적, 유추) 라는 두 가지 명확한 상관 관계 쌍으로 군집화됩니다.
• 귀추적의 취약성: 귀추적 추론은 분포에 매우 민감합니다. 특정 학습 영역 밖에서는 잘 일반화되지 않으며, 관련 역추론 분포를 커버하지 않는 데이터로 학습될 경우 오히려 악화 (음의 CG) 될 수 있습니다.
• 유추 모드 붕괴: 유추 작업은 RL 이 지배적인 매핑 패턴을 강화하여 pass@1 (SG) 을 크게 향상시키지만, 샘플링된 추론 천장을 확장하지는 못하는 (낮은 CG) "모드 붕괴" 현상을 보입니다.
• 실제 세계 검증: 시중의 최첨단 모델 (예: Kimi-K2.6, GPT-5.4, DeepSeek-R1) 에 대한 평가는 귀납적 - 대 귀추적 비대칭성을 재현하여, 귀추적 추론의 취약성이 통제된 설정의 인공물이 아니라 현재 LLM 의 일반적인 한계임을 확인했습니다.

3. 균일 혼합이 단계형 커리큘럼보다 우수함

• 발견: 고정된 사후 학습 예산 하에서, 목표 그리드 전반에 걸친 데이터의 균일 혼합이 단계형 커리큘럼 (예: 쉬움에서 어려움) 보다 우수합니다.
• 메커니즘: 커리큘럼 전환은 "망각"과 적응 비용을 초래합니다. 새롭고 더 어려운 블록에 대한 업데이트는 이전 블록에 대한 지지를 덮어쓸 수 있습니다. 이전 지식을 재안정화할 만큼 충분한 예산이 없으면, SGD 의 최근 편향으로 인해 균일 혼합에 비해 전역 성능이 하락합니다.

중요성과 주장

본 논문은 RLVR 데이터 할당이 단순한 스칼라 난이도 확장 문제가 아닌 다차원 최적화 문제라고 주장합니다.

• 설계 시사점: 효과적인 사후 학습을 위해서는 추론 공간에 대한 구조화된 커버리지가 필요합니다. 단순히 체인 길이 (깊이) 를 늘리는 것만으로는 부족하며, 모델은 관련 구조 선택을 학습하기 위해 방해 요소가 포함된 복잡한 환경에도 노출되어야 합니다.
• 작업 특수성: 서로 다른 추론 형태는 서로 다른 데이터 전략을 요구합니다. 특히 귀추적 추론은 귀납적 작업에서의 전이에 의존하기보다 목표 분포의 직접적인 커버리지를 요구합니다.
• 커리큘럼 주의: 커리큘럼은 이론적으로 매력적이지만, 논문은 고정된 컴퓨팅 예산 하에서는 망각 비용이 비계搭建의 이점을 종종 능가하므로, 단계형 스케줄링보다 균일 혼합이 더 신뢰할 수 있는 기본값이라고 제안합니다.

본 연구는 최첨단 모델에서 관찰된 "귀납적 - 대 귀추적" 격차가 현재 RLVR 학습 역학의 근본적인 특성임을 결론지으며, 향후 추론 모델이 견고한 논리적 능력을 달성하기 위해 구조화된 다차원 데이터 커버리지를 우선시해야 함을 시사합니다.