기술 요약: 다중 도메인 RLVR을 위한 전이 인식 커리큘럼 (Transfer-Aware Curriculum)

문제 정의

검증 가능한 보상(Verifiable Rewards, RLVR)을 활용한 강화 학습은 수학 및 코딩과 같은 단일 도메인에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 성공했습니다. 그러나 이를 다중 도메인 추론 스위트(수학, 프로그래밍, 논리, 시뮬레이션, 테이블, STEM을 아우르는 범위)로 확장하는 데는 결정적인 과제가 존재합니다: 즉, 도메인 간의 추론 기술 전이가 불균형하게 일어난다는 점입니다.

현재의 다중 도메인 학습 방식은 일반적으로 고정된 샘플링 스케줄이나 수동으로 조정된 커리큘럼에 의존합니다. 최근의 "학습 가능성 기반(learnability-based)" 커리큘럼(예: SEC)은 정책이 현재 개선되고 있는 도메인에 따라 샘플링을 조정하지만(온-폴리시 advantage 사용), 근본적인 사각지대를 가지고 있습니다: 바로 **도메인 간 전이 가능성(cross-domain transferability)**을 고려하지 못한다는 것입니다. 특정 도메인은 국소적으로 매우 학습 가능할 수 있지만(강력한 즉각적 그래디언트 제공), 그 업데이트가 다른 도메인의 성능에는 도움이 되지 않거나 오히려 방해가 될 수도 있습니다. 반대로, 겉보기에 덜 학습 가능해 보이는 도메인이 전체 스위트 전반에 걸쳐 정책을 광범위하게 개선하는 그래디언트 업데이트를 생성할 수도 있습니다. 기존 방법들은 국소적으로는 풍부하지만 전역적으로는 좁은 도메인에 과도하게 몰입할 위험이 있으며, 이로 인해 상당한 교차 도메인 개선 잠재력을 활용하지 못하게 됩니다.

방법론: 전이 인식 커리큘럼 (TAC)

저자들은 **전이 인식 커리큘럼(Transfer-Aware Curriculum, TAC)**을 제안합니다. 이는 교차 도메인 전이 가능성을 도메인 선택을 위한 제1의 신호로 통합하는 자동화된 밴딧 스타일의 온라인 커리큘럼입니다. TAC는 그룹 상대 정책 최적화(GRPO) 프레임워크 내에서 작동하며, 도메인 선택을 멀티 암드 밴딧(multi-armed bandit) 문제로 정식화합니다.

핵심 구성 요소

1. 밴딧 정식화:

   • 각 추론 도메인은 하나의 "암(arm)"으로 취급됩니다.
   • 각 훈련 단계에서 커리큘럼은 피드백 신호 $S_m$으로부터 유도된 가치 추정치 $Q_m$에 따라 도메인을 샘플링합니다.
   • 샘플링 분포는 탐색(exploration)과 착취(exploitation)의 균형을 맞추기 위해 상한 신뢰 구간(UCB)이 증강된 값을 기반으로 한 볼츠만 분포를 사용하여 업데이트됩니다.

2. 이중 피드백 신호 ($S_m$):
   각 도메인의 피드백 신호는 두 가지 항의 가중 결합입니다:

   • 국소 학습 가능성 ($\hat{L}_m$): 평균 절대 GRPO advantage로부터 유도됩니다. 이는 도메인 내에서의 즉각적인 학습 신호(활발한 개선)를 포착합니다. 규모의 차이를 처리하기 위해 러닝 z-score를 통해 정규화됩니다.
   • 교차 도메인 전이 가능성 ($T_m$): 도메인 $m$에서의 그래디언트 단계가 다른 도메인들의 그래디언트 방향과 얼마나 잘 일치하는지를 추정하는 새로운 자기 지도 학습 신호입니다.
     • 메커니즘: 고차원 그래디언트를 전체적으로 계산하는 대신, TAC는 저차원 공간에서 업데이트 방향을 표현하기 위해 투영된 그래디언트(projected gradients, 예: TRAK 스타일의 스케치)를 사용합니다.
     • 상태 추적: 각 도메인은 투영된 그래디언트 벡터의 지수 이동 평균(EMA)을 유지합니다.
     • 정렬 지표: 주기적으로 도메인의 그래디언트 상태와 다른 모든 활성 도메인 상태 간의 쌍별 코사인 유사도가 계산됩니다. 전이 가능성 점수 $T_m$은 [0, 1] 범위로 min-max 스케일링된 평균 코사인 유사도입니다.
     • 효율성: 이 신호는 표준 RL 훈련 중에 이미 생성된 그래디언트로부터 완전히 계산되므로, 추가적인 롤아웃, 홀드아웃 프로브 또는 오라클 주석이 필요하지 않습니다. 오버헤드는 미미합니다 (<1%의 실제 실행 시간).

3. 신호 통합:
   최종 점수는 $S_m = \beta \hat{L}_m + (1-\beta) T_m$입니다. 계수 $\beta$는 두 신호 사이의 균형을 맞춥니다. 이 방법은 샘플링된 암과 샘플링되지 않은 암 모두에 대해 가치 추정치를 동적으로 업데이트하여(캐싱된 학습 가능성과 신선한 전이 가능성 추정치 사용), 현재 샘플링되지 않는 도메인에서도 커리큘럼이 초점을 전환할 수 있도록 합니다.

주요 기여

1. 전이 인식 밴딧 커리큘럼: 교차 도메인 전이 가능성을 국소 학습 가능성과 함께 명시적으로 최적화하는 최초의 다중 도메인 RL 커리큘럼 프레임워크입니다. 이는 "정책이 지금 무엇을 배울 수 있는가"뿐만 아니라 "무엇이 정책이 어디서든 배우는 데 도움을 주는가"를 고려함으로써 기존 방법의 한계를 해결합니다.
2. 자기 지도 그래디언트 기하학 신호: 투영된 그래디언트 코사인을 사용하여 전이 가능성을 추정하는 계산 효율적인 방법입니다. 이 신호는 적응적(정책과 함께 진화)이며 상대적(절대적 크기가 아닌 현재의 정렬도를 기준으로 도메인을 순위 매김)이어서, 값비싼 외부 검증이 필요하지 않습니다.
3. 실증적 검증: Qwen3-1.7B 및 Llama3.2-3B 모델을 사용하여 6개 도메인 추론 스위트(Math, Codegen, Logic, Simulation, Table, STEM)에서 성능을 입증했습니다.

실험 결과

본 논문은 TAC를 네 가지 베이스라인과 비교 평가합니다:

• Base: RL 훈련 없음.
• Random: 비례 무작위 샘플링 (균등 또는 데이터 크기 가중치 적용).
• M2O (Math-to-Others): 수동으로 설계된 2단계 커리큘럼 (수학 학습 후 나머지 학습).
• SEC: 학습 가능성 전용 밴딧 커리큘럼 ($\beta=1$).

주요 결과:

• 우수한 성능: TAC는 두 모델 백본 모두에서 최고의 매크로 평균 정확도를 달s성했습니다. Qwen3-1.7B의 경우, 가장 강력한 베이스라인인 SEC보다 +1.8 퍼센트 포인트 (+5.6% 상대적 개선) 높았습니다. Llama3.2-3B의 경우, M2O보다 +1.6 퍼센트 포인트 (+5.4% 상대적 개선) 높았습니다.
• 불균형에 대한 강건성: 왜곡된 데이터 예산(Math와 STEM이 다른 도메인보다 3배 많은 데이터를 가진 경우) 실험에서, TAC는 SEC보다 +1.5 포인트 높은 성능을 보였습니다. 학습 가능성 전용 베이스라인(SEC)은 업데이트가 다른 도메인에 더 이상 이득을 주지 못할 때조차도 지배적인 고데이터 도메인(Math/STEM)에 과도하게 몰입하는 반면, TAC의 전이 가능성 신호는 Table이나 Logic과 같이 과소 대표되지만 전이성이 높은 도메인으로 샘플링을 재지정합니다.
• 커리큘럼 역학: 분석 결과, 가장 학습 가능한 도메인(주로 STEM 또는 Math)이 가장 전이성이 높은 도메인은 아니라는 것을 보여줍니다. SEC는 훈련 초기 단계에서 가장 학습 가능한 도메인에 "고착(anchor)"되는 경향이 있는 반면, TAC는 높은 그래디언트 정렬을 가진 도메인(예: Table)으로 샘플링을 동적으로 전환하여 더 넓은 일반화를 이끌어냅니다.
• 어블레이션 연구: 전이성 항을 제거하면($\beta=1$) 성능이 급격히 떨어지며, 이는 전이성 신호의 필요성을 확인시켜 줍니다. 이 방법은 특히 $\beta$가 0.2 부근에서 정점을 찍는 것을 포함하여 하이퍼파라미터 변동에 강건합니다(이는 학습 가능성이 존재할 때도 전이성 신호가 강력하게 필요함을 나타냅니다).

의의 및 주장

본 논문은 교차 도메인 전이 가능성이 다중 도메인 RLVR을 위한 커리큘럼 설계에서 이전에 활용되지 않았던 핵심 신호임을 주장합니다.

• 패러다임 전환: 이 연구는 즉각적인 국소적 이득(학습 가능성)을 최적화하는 것을 넘어, 전체 훈련 스위트 전반에 걸친 업데이트의 기하학적 정렬을 최적화하는 것으로 나아갑니다.
• 효율성: 고품질의 커리럼 신호가 기존의 훈련 그래디언트로부터 "공짜로" 유도될 수 있음을 입증하여, 상당한 계산 비용 없이 기존 RLVR 파이프라인에 실용적으로 추가될 수 있음을 보여줍니다.
• 일반화: 결과는 훈련 커리큘럼이 기술이 어떻게 전이되는지를 명시적으로 고려한다면, 단일 정책이 이질적인 작업 전반에서 유능하게 추론할 수 있음을 시사합니다.
• 한계점: 저자들은 TAC가 샘플링 분포를 대상으로 하며, 옵티마이저, 보상 모델 또는 아키텍처의 발전을 대체하는 것이 아니라 보완하는 것임을 명시합니다. 또한, 현재 구현은 검증 가능한 보상(RLVR)에 의존하고 있으며, 이를 LLM 판정관에 의존하는 비검증 도메인으로 확장하는 것은 향후 과제로 남겨두었습니다.

요약하자면, TAC는 다중 도메인 추론을 위해 모델이 어디에서 개선되고 있는지 아는 것만으로는 불충분하며, 그 개선이 어디로 전파될 것인지도 알아야 한다는 점을 확립합니다.