기술 요약: RankQ - 자기지도 학습 기반 행동 순위화를 통한 오프라인-온라인 강화 학습

문제 정의

오프라인-온라인 강화 학습 (RL) 은 온라인 상호작용에 참여하기 전에 사전 수집된 데이터셋을 활용하여 샘플 효율성을 높이는 것을 목표로 합니다. 이 패러다임의 주요 과제는 데이터셋 커버리지가 제한된 대규모 상태 - 행동 공간에서 정확한 비평가 (가치 함수) 를 학습하는 것입니다. 기존 방법들은 종종 분포 외 (OOD) 행동에 대한 가치 과대평가를 해결하기 위해 **비관주의 (pessimism)**를 부과하여, 데이터셋 내 행동에 비해 OOD 행동의 가중치를 낮춥니다 (예: Conservative Q-Learning [3], Calibrated Q-Learning [2]).

비관주의는 학습을 안정화시키지만, 이 논문은 이것이 "행동 복제 (behavior cloning) 의 앵커" 역할을 한다고 주장합니다. 보이지 않는 행동을 균일하게 패널티로 부과함으로써 이러한 방법들은 정책이 데이터셋 분포 쪽으로 편향되게 만듭니다. 오프라인 데이터셋에 하위 최적 또는 실패 궤적이 포함되어 있을 때 이는 문제가 됩니다. 비관적 제약은 데이터에 존재하지 않았을지라도 잠재적으로 더 우수한 행동을 탐색하는 것을 막아 하류의 온라인 정책 개선을 방해할 수 있습니다. 다루는 핵심 질문은 균일한 비관주의에 의존하지 않고도 데이터셋을 넘어 가치 함수를 형성하여 효과적인 온라인 개선을 가능하게 하는 방법입니다.

방법론: RankQ

저자들은 표준 시간차 (TD) 학습을 **자기지도 학습 기반 다항목 순위화 손실 (self-supervised multi-term ranking loss)**로 보강하는 오프라인-온라인 Q-학습 목적 함수인 RankQ를 제안합니다. RankQ 는 OOD 행동을 균일하게 패널티로 부과하는 대신, 행동의 상대적 품질을 명시적으로 모델링하여 Q-값 풍경 (landscape) 에 구조화된 순서를 강제합니다.

핵심 메커니즘

이 방법은 데이터셋 $D$를 성공 ($D_{success}$) 및 실패 ($D_{failure}$) 궤적으로 분할합니다. 그리고 쌍별 순위 제약 조건을 생성하기 위해 특정 클래스의 하위 최적 행동을 구성합니다:

1. 노이즈가 있는 행동 ($a_\epsilon$): $a + \epsilon$, 여기서 $\epsilon \sim \mathcal{N}(0, \sigma)$.
2. 매우 노이즈가 많은 행동 ($a_{2\epsilon}$): $a + 2\epsilon$.
3. 무작위 행동 ($a_r$): 균일하게 샘플링된 행동.
4. 순서가 바뀐 행동 ($a_p$): 관련 없는 상태에서 샘플링된 행동.

RankQ 손실은 다음과 같은 구조화된 순서를 강제합니다:

• 성공 선호: 성공적인 전이 (transition) 의 경우, 최적 행동의 Q-값은 모든 하위 최적 변형보다 높아야 합니다: $Q(s, a) > Q(s, a')$ ($a' \in \{a_\epsilon, a_{2\epsilon}, a_r, a_p\}$).
• 하위 최적 행동 간의 상대적 품질: 이 방법은 최적 행동과의 근접성에 기반한 위계를 강제합니다: $Q(s, a_\epsilon) > Q(s, a_{2\epsilon}) > Q(s, a_r)$. 이는 Q-풍경의 기울기 ($\partial Q/\partial a$) 가 단순히 데이터셋에서 멀어지는 것이 아니라 더 높은 품질의 영역을 향하도록 보장합니다.
• 실패 감독: 실패 궤적의 경우, 이 방법은 데이터셋 행동이 여전히 무작위 행동보다 선호되어야 함 ($Q(s, a) > Q(s, a_r)$) 을 강제하지만, 실패 간 상대적 품질의 의미 있는 개념이 부재하므로 더 강력한 순서 제약은 부과하지 않습니다.

최종 목적 함수는 이러한 순위화 손실들을 표준 TD 손실과 결합합니다:
$$L_{RankQ}^Q(\theta) = \alpha_0 (L_{succ}^Q(\theta) + L_{neg}^Q(\theta)) + \alpha_1 L_{fail}^Q(\theta) + L_{TD}(\theta)$$

주요 기여

1. 벤치마크 성능: RankQ 는 D4RL 벤치마크의 네 가지 antmaze 및 세 가지 adroit 희소 보상 환경에서 일곱 가지 이전 방법 (CQL, Cal-QL, Hybrid RL 포함) 과 경쟁하거나 더 우수한 성능을 달성합니다.
2. 저데이터 VLA 미세 조정: 200 개의 오프라인 롤아웃과 업데이트당 8 개의 온라인 롤아웃이라는 도전적인 저데이터 환경에서, RankQ 는 베이스라인 비전 - 언어 - 행동 (VLA) 모델을 유의미하게 개선한 유일한 방법입니다. 세 가지 조작 작업 (carrot-on-plate, cube-stacking, spoon-into-bowl) 에서 다음으로 좋은 방법보다 평균 42.7% 높은 성공률을 달성합니다.
3. 고데이터 성능 및 시뮬레이션-현실 전이: 광범위한 도메인 무작위화가 포함된 고데이터 설정에서, RankQ 는 다음으로 좋은 방법 대비 시뮬레이션 성공률을 13.7% 향상시키고 작업 완료 속도를 25.7% 개선합니다. 핵심적으로, 이는 성공적인 시뮬레이션 - 현실 전이를 보여주어 초기 VLA 성능 대비 실제 세계 큐브 적재 성공률을 **43.1% 에서 84.7%**로 높였습니다.
4. Q-풍경 분석: 저자들은 RankQ 가 CQL 및 Cal-QL 에서 관찰된 무제한 비관주의와 과도한 기울기 급증을 피하면서 행동 기울기가 더 높은 품질의 행동으로 향하도록 Q-값 풍경을 형성한다는 광범위한 분석을 제공합니다.

실험 결과

• D4RL 벤치마크: RankQ 는 antmaze-medium, adroit-pen과 같은 쉬운 작업에서 가장 강력한 베이스라인과 일치하며, antmaze-large 및 adroit-relocate와 같은 어렵고 긴 시간 범위의 작업에서는 다른 방법들이 종종 의미 있는 정책을 학습하지 못하는 상황에서 모든 베이스라인을 능가합니다.
• VLA 저데이터: 총 800 개의 온라인 롤아웃만으로도 RankQ 는 모방 베이스라인을 넘어 정책을 지속적으로 개선하는 반면, 다른 방법들 (CQL, Cal-QL, SAC+OFF) 은 초기 성능 근처에서 대부분 정체됩니다.
• VLA 고데이터 및 시뮬레이션 - 현실: RankQ 로 학습된 정책은 더 높은 성공률을 달성할 뿐만 아니라 베이스라인 (10.5~12.5 초) 대비 약 8 초로 작업을 더 빠르게 수행합니다. 실제 세계 실험에서 RankQ 정책은 144 번의 시도를 통해 큐브 적재 성공률을 43.1% 에서 84.7% 로 향상시켰으며, 실행 시간의 분산도 감소시켰습니다.

중요성 및 주장

이 논문은 행동 순서화를 명시적으로 모델링하는 것이 최첨단 오프라인 - 온라인 방법에서 사용되는 균일한 비관주의에 대한 효과적인 대안임을 주장합니다. 단순히 보이지 않는 행동을 억제하는 것이 아니라 행동 기울기를 더 높은 품질의 행동으로 안내하도록 Q-함수를 형성함으로써, RankQ 는 오프라인 사전 학습 및 온라인 미세 조정 모두에서 더 효과적인 정책 개선을 가능하게 합니다.

저자들은 이 접근 방식이 희소 보상 및 저데이터 환경에서 특히 가치가 있다고 제안합니다. 이러한 환경에서는 비관적 방법들이 지나치게 제한적이 되어 풍부한 실패 데이터에서 학습 신호를 추출하지 못할 수 있기 때문입니다. RankQ 정책의 성공적인 시뮬레이션 - 현실 전이는 구조화된 가치 형성이 초기 데이터셋이 하위 최적 또는 실패 궤적으로 지배적일지라도 확장 가능한 오프라인 - 온라인 RL 과 실제 세계 로봇 학습을 촉진할 수 있음을 보여줍니다.