기술 요약: 이종 언어 모델을 위한 상호 강화 학습에서의 경험 공유

1. 문제 제기

현재 대규모 언어 모델 (LLM) 에 대한 강화 학습 (RL) 후 학습은 주로 단일 정책 (single-policy) 노력으로 운영됩니다. 이러한 고립된 워크플로우에서 탐색과 개선은 단일 정책에 결합되며, 동시에 훈련된 동료들이 발견한 상호 보완적인 경험들은 폐기됩니다. 이 고립은 희소 보상 추론 영역에서 특히 비효율적입니다. 왜냐하면 이종 정책들 (아키텍처, 규모 또는 토크나이저가 상이한) 은 다양한 귀납적 편향을 보이며 해 공간의 서로 다른 영역을 탐색하기 때문입니다.

이러한 발견들을 공유하는 것을 방해하는 두 가지 주요 장벽이 있습니다:

1. 토크나이저 이질성: 정책들은 종종 상이한 토크나이저를 사용하므로, 번역 없이는 토큰 수준의 추적 (로그 확률) 을 직접 교환하는 것이 불가능합니다.
2. 분포 이동: 온-정책 대리 모델 (PPO 또는 GRPO 와 같은) 내에서 동료 롤아웃을 직접 재사용하면 상당한 분포 이동이 발생하여, 오프-정책 학습에서 흔히 발생하는 불안정성과 분산 문제를 초래합니다.

본 논문은 다음과 같은 질문을 던집니다: 오픈 가중치 LLM 을 위한 표준적인 단일 단계 검증 가능한 후 학습 체계 내에서, 어떤 경험 공유 체제가 적절하며, 대안적 체제들은 어떤 트레이드오프를 유발하는가?

2. 방법론

2.1 상호 RL 프레임워크

저자들은 상호 강화 학습 (Mutual Reinforcement Learning) 프레임워크를 소개합니다. 이 프레임워크는 이종 LLM 정책들이 별도의 파라미터, 목적 함수, 그리고 토크나이저를 유지하면서 타입화된 경험을 교환할 수 있게 합니다. 이 시스템은 VERL 프레임워크를 다음 세 가지 핵심 구성 요소로 확장합니다:

• 공유 경험 교환 (SEE): 서로 다른 정책들이 구조화된 경험 기록 (롤아웃, 보상, 이점, 그리고 추적) 을 발행하고 구독하면서 정책별 고유 목적 함수를 보존하는 타입화된 데이터 흐름 메커니즘입니다.
• 다중 작업자 자원 할당 (MWRA): 서로 다른 정책 작업자 간에 작업자와 컴퓨팅 예산의 할당을 관리합니다.
• 토크나이저 이질성 계층 (THL): 호환되지 않는 어휘를 연결하는 핵심 인터페이스입니다. 이는 두 가지 작업을 수행합니다:
  1. 텍스트 적응 (재토큰화): 동료 응답을 텍스트로 디코딩한 후 학습자의 토크나이저를 사용하여 다시 인코딩합니다.
  2. 정책 분포 정렬: 단어 수준의 추적 정렬을 구성합니다. 이는 각 텍스트 단어 내에서 소스 로그 확률을 집계하고, 해당 단어에 대한 목표 토큰들 사이에서 이 질량을 균등하게 재분배합니다. 이는 토큰화 불일치에도 불구하고 단어 수준의 확률 질량을 보존하며, 이론적으로 분석된 유계 잔차 오차를 가집니다.

2.2 세 가지 통제된 프로브

안정성 - 지원 트레이드오프를 조사하기 위해, 저자들은 동일한 그룹 상대 정책 최적화 (GRPO) 기반 업데이트 위에 세 가지 서로 다른 경험 공유 체제를 구현합니다:

1. 체제 1: 데이터 수준 공유 (동료 롤아웃 풀링 - PRP)

   • 메커니즘: 학습자는 동료 롤아웃을 직접 자신의 배치에 풀링하여 보충 학습 궤적으로 취급합니다.
   • 과제: 학습자의 정책과 동료의 행동 정책 간의 밀도 비율 분산을 처리해야 합니다. 저자들은 두 가지 분모 선택을 테스트합니다: "학습자 스냅샷" 분모 (동료의 실제 생성 확률을 무시함) 와 "THL 정렬 동료 분모" (학습자의 토큰 공간에 정렬된 동료의 기록된 확률 추적을 사용함).
   • 이론적 위치: 높은 결합도; 밀도 비율 분산 비용과 THL 잔차 비용을 지불합니다.

2. 체제 2: 가치 수준 공유 (교차 정책 GRPO 이점 공유 - XGRPO)

   • 메커니즘: 학습자는 자체 롤아웃을 샘플링합니다 (엄격하게 온-정책). 하지만 전체 정책 풀에 걸쳐 집계된 보상 통계를 사용하여 이점을 형성합니다.
   • 과제: 스칼라 보상만 교환되므로 토큰화와 관련하여 과제가 없습니다.
   • 이론적 위치: 스칼라 기준을 변경하면서도 온-정책 에이커 서포트를 보존합니다. 오프-정책 궤적 신호를 도입하지 않으면서 분기 분산을 줄입니다.

3. 체제 3: 결과 수준 공유 (성공 게이트형 전송 - SGT)

   • 메커니즘: 동료 출력을 희소 결과 증명서로 취급합니다. 전송은 게이트됩니다: 학습자의 자체 롤아웃 그룹에 정답이 하나도 없으나, 적어도 한 명의 동료가 검증된 성공을 거둘 때만 활성화됩니다.
   • 과정: 검증된 동료 궤적이 학습자의 온-정책 GRPO 업데이트 alongside 희소 긍정 샘플 (음수 로그 가능도 손실을 통해) 로 주입됩니다.
   • 이론적 위치: "구제 세트"에 대한 긍정적 기울기 방향을 제공합니다. 이는 동료 조건부이며, 실패 시 트리거되고 기본 RL 목적 함수와 교차됩니다.

3. 주요 기여

1. 프레임워크 기반: 호환되지 않는 토크나이저를 가진 이종 LLM 간 상호 RL 을 가능하게 하는 재현 가능한 프레임워크 (SEE, MWRA, THL) 의 도입. THL 은 텍스트 및 토큰 수준 추적 교환을 위한 유계 정렬 인터페이스를 제공합니다.
2. 통제된 프로브: 단일 VERL 기반 스택 내에서 일치된 컴퓨팅 및 하이퍼파라미터 하에서 PRP, XGRPO, SGT 의 구현 및 비교. 이는 세 가지 서로 다른 결합 수준 (데이터, 가치, 결과) 에서 설계 공간을 채웁니다.
3. 이론적 특성화: 프로브 간의 구조적 차이를 증명하는 컨텍스트 밴딧 분석:
   • PRP: 밀도 비율 분산 및 THL 잔차에 대한 민감성을 노출합니다.
   • XGRPO: 온-정책 서포트를 보존하지만 동료만의 성공에 대한 확률 질량을 직접 도입할 수 없습니다 (하드 서포트 경계).
   • SGT: 특히 구제 하위 집합에서 검증된 동료 성공을 향한 긍정적 기울기 방향을 제공합니다.

4. 실험 결과

평가 수학적 추론 (MATH 데이터셋) 에 초점을 맞추며, 이종 풀 (Qwen2.5-Math-1.5B 및 Qwen3-1.7B-Base) 을 사용합니다.

• 결과 수준 공유 (SGT) 가 최적입니다: SGT 는 안정성 - 지원 트레이드오프의 유리한 지점을 차지합니다. 독립형 GRPO 에 비해 가장 강력한 평균 성능과 빠른 초기 - 중기 학습 진행을 달성합니다. 거의 모든 체크포인트에서 기준 곡선 이상에 머뭅니다.
  • 이유: 학습자가 실패할 때만 누락된 긍정적 궤적을 공급하여 다른 프롬프트에 대한 온-정책 업데이트를 보존합니다.
• 가치 수준 공유 (XGRPO) 는 안정적입니다: XGRPO 는 독립형 GRPO 와 밀접하게 추적하며, 신뢰 영역을 보존하고 기준 분산을 줄입니다. 이는 안정적이고 결합도가 낮은 기준선 역할을 하지만 학습자의 샘플링된 서포트를 크게 확장하지는 않습니다.
• 데이터 수준 공유 (PRP) 는 불안정합니다: 직접적인 롤아웃 재사용은 학습자의 발산 민감성을 노출시킵니다. 중요도 보정 (THL 을 통해) 이 일부 문제를 완화하지만, PRP 는 더 약한 정책들에 더 큰 최적화 부담을 부과하며 SGT 에 비해 평균 정확도를 감소시킵니다. 안정성을 유지하려면 상당한 분포 제어가 필요합니다.
• 최적화 서명:
  • SGT 는 KL 을 낮게 유지하면서 GRPO 와 같거나 더 높은 엔트로피를 유지합니다.
  • PRP 는 엔트로피를 더 낮추고 KL 편차를 증가시켜 강한 분포 결합을 나타냅니다.
  • XGRPO 는 단일 정책 기준선과 거의 구별되지 않습니다.
• 일반화: SGT 의 이점은 이종 풀 (예: Llama-Mist, Qwen-Phi4) 및 더 넓은 상식/과학 QA 벤치마크로 확장되며, 일부 이종 구성에서 +10 에서 +30 퍼센트 포인트의 향상을 보입니다.

5. 중요성 및 주장

본 논문은 상호 RL이 가중치를 병합하거나 표준 온-정책 파이프라인을 대체하지 않고도 이종 LLM 정책들을 위한 타입화된 학습 신호로 동료 발견들을 변환한다고 주장합니다.

• 구조적 통찰: 평가된 체계 내에서 **결과 수준 공유 (SGT)**가 우월한 추상화임을 확립합니다. 이는 (필요할 때만 검증된 궤적을 주입함으로써) 지원과 함께 (대부분 온-정책으로 머무름으로써) 안정성을 균형 있게 맞춥니다.
• 이질성의 실현 가능성: 저자들은 THL 기반을 통해 서로 다른 토크나이저를 가진 정책들이 효과적으로 신호를 교환할 수 있음을 입증하며, "어떤 경험 공유 체제가 올바른가"라는 질문을 잘 정의되고 답변 가능한 것으로 만듭니다.
• 효율성: 표준 파이프라인을 대체하는 복잡한 오프-정책 알고리즘과 달리, 이 접근법은 현대 LLM RL 에서 사용되는 표준 온-정책 대리 모델 (GRPO/PPO) 에 동료 경험을 통합하여 정책들이 훈련 중 서로로부터 학습할 수 있는 원칙적인 채널을 제공합니다.

저자들은 데이터 수준 공유 (PRP) 가 보정과 함께 이론적으로 가능하지만 취약하며, 가치 수준 공유 (XGRPO) 는 안정적이지만 서포트 확장에는 제한적이며, 결과 수준 공유 (SGT) 는 학습자가 결여된 곳에서 정확히 표적화된 검증된 지원을 제공함으로써 가장 유리한 트레이드오프를 제공한다고 결론지었습니다.