기술 요약: F-TIS – 협업적 GRPO 에서 다양한 모델 활용하기

문제 제기

그룹 상대적 정책 최적화 (GRPO) 는 특히 추론 능력을 향상시키기 위해 대규모 언어 모델 (LLM) 의 사후 훈련에 있어 지배적인 방법으로 부상했습니다. 프록시멀 정책 최적화 (PPO) 와 달리 GRPO 는 단일 프롬프트에 대해 생성된 완료 결과들의 그룹에 상대적인 이득을 계산함으로써 별도의 가치 모델이 필요하지 않습니다. 그러나 LLM 생성의 자동 회귀적 특성은 추론 단계 동안 상당한 계산 병목 현상을 초래합니다.

이를 해결하기 위해 이전 연구들은 생성 단계를 여러 노드에 분산시키는 방안을 탐구했습니다. 기존 분산 접근법들은 대부분 "온-정책 (on-policy)" 조건을 유지하기 위해 동질적 모델(동일한 아키텍처 및 매개변수) 을 가정합니다. 이 가정은 참여자들이 이질적인 자원과 선호도를 갖는 탈중앙화 훈련 시나리오에서는 비현실적입니다. 이러한 환경에서는 세 가지 유형의 이질성이 발생합니다:

1. 모델 크기: 노드들이 vastly 다른 매개변수 수 (예: 1B 대 3B) 의 모델을 실행할 수 있습니다.
2. 모델 전문성: 노드들이 유사한 크기의 모델을 보유하더라도 다른 전문 분야 (예: 범용 대 코딩) 를 가질 수 있습니다.
3. 학습 가능한 매개변수: 노드들이 다른 파인튜닝 전략 (예: 전체 파인튜닝 대 LoRA 와 같은 매개변수 효율적 파인튜링) 을 적용할 수 있습니다.

이질적인 모델들이 조정 없이 협업할 때, 훈련 데이터는 매우 오프-정책 (off-policy) 이 됩니다. 생성 정책 ($\pi_{gen}$) 과 업데이트 정책 ($\pi_{\theta}$) 간의 편차는 파괴적인 노이즈를 유발하여, 고립된 훈련에 비해 정책 붕괴 또는 성능이 현저히 저하되는 결과를 초래합니다.

방법론: 필터링된 단절 중요도 샘플링 (F-TIS)

저자들은 이질적인 모델 간 안정적인 협업적 GRPO 훈련을 가능하게 하고 통신 오버헤드를 최소화하도록 설계된 통합 프레임워크인 F-TIS를 제안합니다. 이 방법론은 단절 중요도 샘플링 (TIS) 과 샘플 필터링이라는 두 가지 핵심 메커니즘을 결합합니다.

1. 단절 중요도 샘플링 (TIS)

표준 GRPO 는 온-정책 데이터를 가정합니다. 오프-정책 샘플을 처리하기 위해 저자들은 중요도 샘플링을 사용하여 손실 함수를 적응시켰습니다. 세 가지 접근법을 비교합니다:

• NoIS(중요도 샘플링 없음): 모든 샘플을 온-정책으로 취급합니다 (실패를 위한 기준선).
• VIS(순수 중요도 샘플링): 모든 토큰에 중요도 비율 $\frac{\pi_{\theta}}{\pi_{gen}}$을 적용합니다.
• TIS(단절 중요도 샘플링): 훈련을 불안정하게 만드는 극단적인 가중치를 방지하기 위해 중요도 비율을 상수 $C$(예: $C=2$) 에서 단절합니다. 비율은 토큰에 대한 내부 합계 바깥으로 이동됩니다.

TIS 손실 공식은 다음과 같습니다:
$$\mathcal{L}_{GRPO} = \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( \frac{\pi_{\theta}(a_{i,t}|p \circ a_{i,<t})}{\pi_{gen}(a_{i,t}|p \circ a_{i,<t})}, C \right) \cdot \min \left( R_{i,\theta} \hat{A}_i, \text{clip}(R_{i,\theta} \hat{A}_i, 1-\epsilon, 1+\epsilon) \right)$$
여기서 $R_{i,\theta}$는 분리된 비율이고 $\hat{A}_i$는 그룹 이득입니다.

2. 샘플 필터링

저자들은 음의 이득 ($\hat{A}_i < 0$) 을 가진 오프-정책 샘플이 unlikely 토큰을 증폭시켜 nonsensical(말도 안 되는) 완료 결과를 초래할 수 있음을 관찰했습니다. 이에 따라 다음과 같은 필터링 메커니즘을 도입했습니다:

• 이득: $\hat{A}_i < 0$인 샘플은 업데이트 단계에서 폐기됩니다.
• KL-발산: 현재 정책과 생성 정책 간의 KL-발산이 임계값 $g$를 초과하는 샘플 ($D_{KL}(\pi_{\theta} \parallel \pi_{gen}) > g$) 또한 필터링됩니다.

필터링된 샘플은 그룹의 상대적 순위 유지를 위해 그룹 이득을 계산하는 데에는 여전히 사용되지만, 기울기 업데이트에서는 제외됩니다.

3. F-TIS 프레임워크

F-TIS 는 TIS 와 필터링을 통합합니다. 손실 함수 내의 이득 항 $\hat{A}_{t,i}$는 샘플이 필터링된 경우 (즉, $\hat{A}_i \leq 0$또는 $D_{KL} > g$인 경우) 0 으로 설정됩니다.

• 통신 효율성: 이 프레임워크는 최소한의 통신을 요구하며, 토큰과 로그 확률 (토큰당 약 8 바이트) 만 전송하므로 탈중앙화 네트워크에 적합합니다.

주요 기여

1. 이질성 도전 과제 식별: 이 논문은 표준 GRPO 가 탈중앙화 이질적 환경 (NoIS) 에서 실패하여 고립된 훈련에 비해 성능이 저하됨을 실증적으로 보여줍니다.
2. F-TIS 알고리즘: 정책 붕괴 없이 다양한 모델 (서로 다른 크기, 전문성, PEFT 구성) 로부터의 오프-정책 샘플을 성공적으로 활용하는 새로운 훈련 패러다임입니다.
3. 통신 효율성: 이 접근법은 전체 모델 동기화나 무거운 가치 모델 교환이 필요한 방법과 달리, 로그 확률과 토큰만 요구하여 낮은 통신 오버헤드를 유지합니다.
4. 절대적 연구: 저자들은 필터링 임계값 $g$의 영향을 체계적으로 분석하고 후기 훈련 단계에서 단절의 우월성을 입증하기 위해 F-VIS(필터링된 순수 중요도 샘플링) 와 F-TIS 를 비교했습니다.

실험 결과

저자들은 훈련을 위해 GSM8k 데이터셋을, 분포 외 (OOD) 테스트를 위해 MATH-500 데이터셋을 사용하여 Qwen2.5 모델 (1.5B 및 3B, Base 및 Coder 변형) 로 F-TIS 를 평가했습니다.

• 수렴: F-TIS 는 모든 이질적 설정에서 순수 온-정책 (동질적) 훈련과 동일한 최종 모델 수렴을 달성합니다.
• 일반화 (OOD): 여러 구성에서 F-TIS 는 OOD 작업에서 고립된 온-정책 훈련을 능가했습니다. 특히:
  • 3B Coder모델이 Base 모델과 짝을 이룰 때 MATH-500 성능이 5.2% 향상되었습니다.
  • 3B Coder모델이 더 작은 Coder 모델과 짝을 이룰 때 12% 향상되었습니다.
  • 3B PEFT모델은 협업적으로 훈련될 때 7% 향상되었습니다.
• 필터링 임계값 ($g$): 절대적 연구는 작은 $g$값이 초기에 무작위 노이즈를 제거함으로써 작은 모델 (1.5B) 에 유익한 반면, 큰 모델 (3B) 은 훈련 후반부에 더 높은 $g$(예: 50) 로부터 더 많은 공간 탐색을 허용함으로써 혜택을 받는다는 것을 밝혔습니다.
• 수직 대 수평: 이 논문은 수직 협업(하나의 노드가 프롬프트에 대한 전체 그룹을 생성) 이 수평 협업 (노드들이 부분 집합을 생성) 보다 우수하다는 것을 발견했습니다. 수평 협업은 스웜 평균에 대한 이득 계산에 편향을 도입하여 성능을 저하시킵니다.

중요성 및 주장

이 논문은 F-TIS 를 LLM 을 위한 탈중앙화 협업 RL의 기초적인 단계로 위치시킵니다. 저자들은 그들의 작업이 이질적인 모델 간 협업 RL 을 성공적으로 연구하고 가능하게 한 초기 작업 중 하나라고 주장합니다.

주요 주장에는 다음이 포함됩니다:

• 실현 가능성: 오프-정책 데이터와 일반적으로 연관된 성능 붕괴 없이 단일 GRPO 실행에서 다양한 모델을 함께 훈련하는 것이 가능합니다.
• 효율성: 이 방법은 통신 효율적이므로 다양한 네트워크 제약 조건을 가진 탈중앙화 시스템에서 실행 가능합니다.
• 향상된 추론: 온-정책 성능을 일치시키는 것을 넘어, 오프-정책 샘플의 협업적 사용은 정규화제나 탐색 부스터로 작용하여 분포 외 작업에서 더 나은 일반화를 이끌어냅니다 (고립된 모델 훈련에 비해 최대 12% 향상).
• 실용성: 이 프레임워크는 사용자가 서로 다른 하드웨어 능력 (모델 크기) 과 전문화된 요구 사항 (전문 모델 또는 PEFT) 을 갖는 실제 세계의 제약을 수용하여, 동일한 인프라가 필요하지 않은 공유 학습 목표에 기여할 수 있도록 합니다.