기술 요약: Temporal GRPO

문제 정의: 궤적 수준의 신용 할당 모호성 (Trajectory-Level Credit Aliasing)

시각-언어-행동(VLA) 모델을 위한 결과 중심 강화 학습(RL)에서, 정책은 일반적으로 그룹 상대 정책 최적화(GRPO)를 사용하여 사후 학습됩니다. 표준 GRPO는 작업에 대해 여러 개의 완전한 궤적(trajectory)을 샘ﺒ플링하고, 전체 궤적의 최종 성공 또는 실패를 기반으로 그룹 상대적 이득(advantage)을 계산하며, 이 단일 스칼라 이득을 해당 궤적 내의 모든 행동에 동일하게 배분합니다.

본 논문은 장기 호라이즌(long-horizon) 조작 작업에서 이러한 접근 방식이 가진 결정적인 결함을 식별하였으며, 이를 **궤적 수준의 신용 할당 모호성(trajectory-level credit aliasing)**이라고 명명합니다. 연속적인 단계(예: 잡기, 이동하기, 놓기)를 포함하는 복잡한 작업의 경우, 하나의 롤아웃(rollout)은 여러 선행 단계를 성공적으로 완료했더라도 이후의 단계에서 실패할 수 있습니다. 표준 GRPO 하에서는, 이러한 롤아웃은 첫 번째 단계에서 즉시 실패한 롤아웃과 동일한 부정적인 궤적 수준 이득을 받게 됩니다. 결과적으로, 부정적인 신호가 성공적으로 수행된 이전 단계의 행동들을 포함하여 모든 행동에 균등하게 할당됩니다. 이러한 "모호성(aliasing)"은 유효한 선행 행동을 억제하고, 정책 업데이트를 로컬 작업 진행 상황과 어긋나게 만들며, 샘플 효율성과 서브스킬(subskill)의 안정성을 약화시킵니다.

방법론: Temporal GRPO

신용 할당 모호성을 해결하기 위해, 저자들은 신용 할당의 단위를 궤적 수준에서 단계(stage) 수준으로 전환하는 Temporal GRPO 프레임워크를 제안합니다. 이 방법은 세 가지 핵심 메커니즘을 통해 작동합니다.

1. 탐지 가능한 단계 구축 (Detectable Stage Construction)

작업 지침과 초기 관측치를 바탕으로, 시스템은 순서가 정해진 탐지 가능한 작업 단계($m_1, m_2, \dots, m_K$) 시퀀스를 구축합니다.

• 생성 (Generation): 동결된 대규모 언어 모델(RynnBrain-4B)이 후보 의미론적 단계들을 제안합니다.
• 컴파일 (Compilation): "단계 컴파일러(Stage Compiler)"가 이러한 후보들을 선행 관계를 가진 선형 구조($m_1 \to m_2 \to \dots \to m_K$)로 정규화합니다. 이는 추상적인 설명을 검증 가능한 완료 조건으로 변환하고 모호성을 해결합니다.
• 정렬 (Alignment): 관계 탐지기(relation detector)가 롤아웃을 이러한 조건들과 대조하여 평가합니다. 이는 특정 타임스텝($T_{i,k}$)에서 단계가 안정적으로 완료되는 지점을 식별합니다. 이를 통해 연속적인 행동 시퀀스를 이산적인 단계 구간($B_{i,k}$)과 정렬합니다.

2. 단계 조건부 그룹화 (Stage-Conditioned Grouping)

모든 롤아웃을 하나의 그룹 내에서 비교하는 대신, Temporal GRPO는 단계 조건부 비교를 수행합니다.

• 선행 단계 필터링 (Prerequisite Filtering): 특정 단계 $k$에 대하여, 모든 선행 단계($m_1$부터 $m_{k-1}$까지)를 성공적으로 완료한 롤아웃들만을 "진입(entered)"한 것으로 간주하여 비교 그룹에 포함합니다. 이전에 실패한 롤아웃들은 해당 단계 $k$에 대한 계산에서 제외되며, 단순히 해당 단계의 실패로 처리되지 않습니다.
• 결과 추정 (Outcome Estimation): 단계 $k$에 진입한 유효한 그룹에 대해, 이진 결과(단계 완료 성공 또는 실패)가 계산됩니다. 그룹 상대적 이득($\hat{A}_{i,k}$)은 이러한 단계별 결과를 기반으로 산출됩니다.

3. 조각별 시간적 신용 할당 (Piecewise Temporal Credit Assignment)

계산된 단계 이득은 오직 해당 단계에 대응하는 행동 구간에만 할당됩니다.

• 만약 롤아웃이 단계 $k$에서 성공하면, 양(+)의 이득이 구간 $B_{i,k}$의 행동들에 적용됩니다.
• 만약 단계 $k$에서 실패하면, 음(-)의 이득은 오직 $B_{i,k}$에만 적용되어, 이전의 성공적인 단계들($B_{i,1} \dots B_{i,k-1}$)에 대한 이득은 영향을 받지 않도록(또는 각자의 단계 비교로부터 도출되도록) 합니다.
• 최종 목적 함수는 균일한 궤적 이득을 이 조각별(piecewise)로 변화하는 시간적 이득으로 대체하여 단일 VLA 정책을 최적화합니다.

주요 기여

1. 신용 할당 모호성의 특성화: 본 논문은 결과 중심 VLA-RL에서 궤적 수준의 신용 할당 모호성을 공식적으로 정의하고, 서로 다른 단계 진행 패턴이 단일 실패 신호로 붕괴되어 성공적인 서브스킬을 억제하는 방식을 입증했습니다.
2. Temporal GRPO 프레임워크: 탐지 가능한 순차적 단계를 구축하고, 롤아ument를 진입한 단계별로 그룹화하며, 이득을 엄격하게 대응하는 행동 구간에 할당하는 단계 조건부 신용 할당 프레임워크를 도입했습니다.
3. 실증적 검증: Temporal GRPO가 VLA 아키텍처를 수정하거나 새로운 가치 모델(value model)을 도입하지 않고도 작업 성공률과 샘플 효율성을 개선함을 입증했습니다.

실험 결과

방법론은 RoboTwin 2.0 및 LIBERO-Long에서 평가되었습니다.

• RoboTwin 2.0 성능: 동일한 훈련 예산 하에서, Temporal GRPO는 매크로 평균 성공률 **75.8%**를 달성하여 가장 강력한 대조군인 SimpleVLA-RL(68.8%)보다 7.0 퍼센트 포인트 높은 성능을 보였습니다. 짧은, 중간, 그리고 긴/매우 긴 호라이즌 작업 전반에 걸쳐 일관된 이득(6.2~8.3 포인트)을 보여주었습니다.
• 샘플 효율성: 학습 곡선은 Temporal GRPO가 Trajectory-GRPO에 비해 동일한 환경 상호작용 횟수에서 더 높은 성공률을 달성함을 나타내며, 특히 지연된 결과가 신용 할당을 어렵게 만드는 장기 호라이즌 작업에서 두드로 나타났습니다.
• 제어된 신용 분석 (LIBERO-Long): 정책 업데이트 분석 결과, 표준 Trajectory-GRPO는 공유된 선행 단계들의 완료 확률에 부정적인 변화를 유도(이전에 학습된 기술을 저하시킴)하는 반면, Temporal GRPO는 선행 단계의 변화를 거의 제로에 가깝게 유지하면서 롤아웃 결과가 갈라지는 특정 단계에 양의 업데이트를 집중시켰습니다.
• 절제 연구 (Ablation Studies): "단계 컴파일러"나 "진입 단계 게이팅(entered-stage gating)"과 같은 구성 요소를 제거하면 성능이 크게 저하되었으며, 이는 순차적 선행 관계와 엄격한 그룹화 로직의 필요성을 확인시켜 줍니다.

의의 및 한계점

본 논문은 Temporal GRPO가 궤적 수준의 신용을 단계별 시간적 신용으로 재구성함으로써 VLA 정책을 사후 학습할 수 있는 확장 가능한 방법을 제공한다고 주장합니다. 이 방법의 주요 의의는 획득된 선행 행동을 보존하는 동시에, 결과 차이를 결정짓는 특정 행동에 정책 업데이트를 집중시켜 장기 호라이즌 조작에서의 안정성을 향상시키는 데 있습니다.

저자들은 몇 가지 한계점도 언급했습니다. 현재 방식은 신뢰할 수 있는 단계 술어(predicate)와 미리 정의된 선형 단계 순서에 의존합니다. 따라서 단계 경계가 모호하거나, 작업 진행이 분기(branching)되거나, 반복되는 단계 혹은 이전 단계로의 회복을 포함하는 경우에는 어려움이 있을 수 있습니다. 향후 연구로는 불확실성을 고려한 단계 탐지 및 동적 단계 그래프(dynamic stage graphs)에 대한 탐색이 제안되었습니다.