Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

기술 요약: 비동기 에이전트 RL 에서의 누락된 이전 로짓

문제 정의
대규모 언어 모델 (LLM) 을 위한 비동기 강화 학습 (RL) 에서 샘플 생성 (롤아웃) 과 정책 최적화의 분리는 처리량을 극대화하는 데 필수적입니다. 그러나 이러한 아키텍처는 PPO(Proximal Policy Optimization) 스타일의 오프-폴리시 보정에 있어 치명적인 실패 모드를 도입합니다.

이상적으로 PPO 의 중요도 비율 (importance ratio) 은 두 가지 의미적으로 구별되는 요인으로 분해되어야 합니다:

1. 학습 - 추론 불일치 ($r_d$): 동일한 정책 버전에서 추론 엔진 (예: vLLM) 과 학습 엔진 (예: Megatron-LM) 간의 수치적 차이를 보정합니다.
2. 정책 노후화 (Policy Staleness, $r_s$): 토큰을 생성한 과거 행동 정책과 현재 최적화 중인 정책 간의 격차를 보정합니다.

이 논문은 실제 비동기 파이프라인, 특히 부분 롤아웃과 지연된 업데이트가 포함된 경우, 불일치 항 $r_d$를 계산하는 데 필요한 학습 측의 이전 로짓 (old training-side logits, $\pi_{old}$) 이 종종 누락된다고 지적합니다. 액터가 이전 버전에 해당하는 롤아웃이 완전히 처리되기 전에 가중치를 업데이트하면, 해당 토큰을 생성하는 데 사용된 특정 정책 버전 $\pi_{old}$가 더 이상 사용 가능하지 않게 될 수 있습니다.

이 "누락된 이전 로짓" 문제는 기존 방법들이 진정한 $\pi_{old}$를 선형 보간이나 정적 프록시와 같은 근사치로 대체하도록 강요합니다. 저자들은 이러한 대체가 불일치 수정과 노후화 보정을 혼재시켜 의도된 의미적 분리를 깨뜨린다고 주장합니다. 그 결과, 클리핑 및 마스킹 임계값이 원치 않게 상호작용하여 최적화 안정성과 성능이 비최적화됩니다.

방법론
이 논문은 "이중 제약 (dual-constraint)" 관점 하에서 오프-폴리시 보정에 대한 통합 분석을 제시하며, 해결을 위한 두 가지 주요 방향을 평가합니다:

1. 정확한 이전 로짓 획득 (시스템 수준):
   저자들은 근사치에 의존하지 않고 ground-truth $\pi_{old}$를 복구하기 위한 세 가지 전략을 조사합니다:

   • 스냅샷 기반 버전 추적: 각 토큰을 생성한 특정 버전을 다시 로드하기 위해 과거 파라미터 스냅샷을 보관합니다. 이는 정확하지만 높은 메모리 및 I/O 오버헤드를 초래합니다.
   • 전용 이전 로짓 모델: 주요 액터가 학습하는 동안 이전 로짓을 계산하기 위해 별도의 모델 인스턴스를 유지합니다. 이는 계산 오버랩을 허용하지만 리소스 분할이 필요합니다.
   • 부분 롤아웃 중단을 통한 동기화: 정책 버전이 폐기되기 전에 부분 궤적에 대한 이전 로짓을 계산하기 위해 롤아웃 워커를 중단합니다. 이는 저장 비용을 피하지만 동기화 정지 및 리소스 재구성 오버헤드를 도입합니다.

2. 근사 보정 (알고리즘 수준):
   대규모 시스템에서는 정확한 복구가 너무 비싸다는 점을 인식하여, 논문은 수정된 PPO-EWMA(Exponentially Weighted Moving Average) 방법을 제안합니다.

   • 정적 보간 프록시를 사용하는 대신, 이 방법은 비동기 버전 창 (version window) 의 중심을 추적하는 부드러운 참조 정책 ($\pi_{prox}$) 을 유지합니다.
   • 노후화 인식 감쇠: 감쇠 계수 $\beta$는 예상 노후화 창 ($W_{stale}$) 을 기반으로 설정되어 참조 정책이 뒤처지는 것이 아니라 버전 간격의 중간에 정렬되도록 합니다.
   • 자동 리셋: 참조 정책이 너무 멀리 이동하여 불일치가 높은 토큰을 필터링하는 "학습 - 추론 마스크 (Train-Infer Mask)"가 붕괴되는 것을 방지하기 위해, 시스템은 활성 토큰의 비율을 모니터링합니다. 이 비율이 임계값 ($\tau$) 아래로 떨어지면 참조 정책은 현재 액터 파라미터로 재설정됩니다.

이 논문은 또한 보간 기반 프록시 (선형 또는 로그 - 선형) 가 누락된 참조 정책을 진정으로 복구하는 것이 아니라, 전체 중요도 비율의 유효한 클리핑 경계만 재파라미터화한다는 것을 증명하는 이론적 분석 (명제 1) 을 제공합니다.

주요 기여

• 누락된 이전 로짓 문제의 식별: 이 논문은 $\pi_{old}$의 부재가 불일치 수정과 노후화 보정의 분리를 깨뜨리는 비동기 에이전트 RL 의 의미적 실패 모드를 공식적으로 정의합니다.
• 오프-폴리시 보정에 대한 통합 분석: 기존 PPO 변형들을 마스킹된 중요도 샘플링 (MIS) 프레임워크 하에서 공식화하여, 단일 비율이나 임계값이 수치적 불일치와 정책 노후화를 모두 처리하기에 왜 부족한지 명확히 합니다.
• 시스템 트레이드오프 분석: 세 가지 정확한 획득 전략을 평가하여 메모리, I/O, 동기화 오버헤드 측면에서 그 비용을 정량화합니다.
• PPO-EWMA 제안: 값비싼 인프라 변경 없이 분리된 보정의 이점을 유지하는 저비용 근사 보정 방법을 도입합니다.

실험 결과
저자들은 밀집 (Qwen3-4B) 과 혼합 전문가 (Mixture-of-Experts, Qwen3-30B-A3B) 모델을 모두 사용하여 에이전트 RL 벤치마크 ($\tau^2$-Bench 및 VitaBench) 에서 방법들을 평가했습니다.

• 성능: PPO-EWMA 방법은 표준 분리형 PPO 및 선형 보간 프록시 (Linear_prox) 보다 일관되게 우수한 성능을 보였습니다. 30B MoE 모델에서 PPO-EWMA 는 항공편 분할에서 최고 통과율을 달성했으며, 소매 및 통신 작업에서는 최상위 기록과 동률을 이뤘습니다.
• 이상적인 경우와의 비교: PPO-EWMA 는 이전 로짓에 대한 완벽한 접근을 가정하는 "스냅샷" 방법의 성능을 완전히 따라잡지는 못했지만, 이상적인 경우와 매우 가까운 결과를 달성하여 잘 조정된 근사 참조가 정확한 보정의 대부분 이점을 복구할 수 있음을 시사합니다.
• 시스템 오버헤드: 정확한 복구 방법 (스냅샷) 은 상당한 시스템 비용을 발생시켰습니다 (예: 30B 모델의 경우 과거 포워드 패스로 인해 단계당 약 178 초 추가). 반면, PPO-EWMA 는 무시할 수 있는 오버헤드를 추가하여 성능 대비 비용 측면에서 우월한 트레이드오프를 제공했습니다.
• 어블레이션 연구: 실험은 자동 리셋 메커니즘이 없으면 EWMA 참조가 이동하여 학습 - 추론 마스크가 붕괴되고 학습이 실패할 수 있음을 확인했습니다. 리셋 메커니즘은 참조를 성공적으로 재중앙화하여 안정성을 유지했습니다.

의의 및 주장
이 논문은 누락된 이전 로짓 문제가 분리된 보정의 이론적 보장을 훼손하는 비동기 LLM RL 의 근본적인 의미적 문제라고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 정확한 복구는 의미적으로 올바른 불일치 수정과 노후화 보정을 달성하는 유일한 방법이지만, 종종 과도하게 비용이 듭니다.
2. 단순한 보간에 기반한 근사 방법은 진정한 참조 정책을 복구하지 못하고 제약 경계만 이동시키므로 불충분합니다.
3. PPO-EWMA는 기존 비동기 베이스라인 대비 학습 속도와 최적화 성능을 크게 향상시키는 실용적이고 저비용의 대안을 제공하여, 정확한 로짓 복구가 불가능한 대규모 에이전트 RL 시스템에 대한 실현 가능한 솔루션이 됩니다.

이 연구는 PPO-EWMA 가 근사치이며 극단적인 비정상성이나 매우 큰 버전 간격 하에서는 어려움을 겪을 수 있지만, 무거운 인프라 수정 없이 비동기 학습을 안정화하는 데 있어 중요한 진전을 나타낸다고 결론지었습니다.