기술 요약: 계층적 사후 학습을 통한 체화된 에이전트 (HiRoC)

문제 정의

시각-언어-행동(VLA) 모델은 시각적 인지, 언어 이해, 행동 생성을 통합함으로써 로봇 조작 분야에서 유망한 가능성을 보여주었습니다. 그러나 기존의 사후 학습 방법들은 주로 VLA 모델을 전역적인 작업 지시를 저수준 행동으로 직접 매핑하는 **평면적 정책(flat policies)**으로 취급합니다. 이러한 접근 방식은 실제 환경에서 다음과 같은 중대한 한계에 직면합니다:

1. 명시적인 작업 진행 단계의 부재: 평면적 정책은 실행 내내 동일한 전역 지시를 유지하므로, 복잡하고 긴 호흡의 작업에서 나타나는 단계별 구조를 명시적으로 모델링하지 못합니다.
2. 오차 누적: 중간 단계의 의미론적 앵커(서브골, subgoals)가 없으면, 실행 과정에서의 미세한 편차가 시간이 지남에 따라 누적되어 의사결정 저하나 작업 실패로 이어집니다.
3. 비효적인 계층적 학습: 계층적 접근 방식이 존재하기는 하지만, 대개 오프라인 데모로부터의 지도 학습에 의존하며 온라인 상호작용을 통한 성능 개선에는 어려움을 겪습니다. 또한, 기존의 온라인 강화 학습(RL) 방법들은 계층적 플래너-실행기 구조가 아닌 평면적 정책을 최적화하는 데 여전히 머물러 있습니다.

핵심 과제는 고수준의 계획(planning)과 저수준의 실행(execution)을 효과적으로 분리하면서도, 두 모듈이 분포 불일치(distribution misalignment)를 겪지 않고 효율적으로 협업할 수 있도록 하는 사후 학습 프레임워크를 구축하는 것입니다.

방법론: Hi-RoC 프레임워크

저자들은 작업 분해, 플래너-실행기 정렬, 그리고 온라인 강화 학습을 통합하는 계층적 사후 학습 프레임워크인 **Hierarchical Robotic Control (HiRoC)**를 제안합니다. 이 프레임워크는 두 가지 주요 모듈인 고수준 **플래너(Planner)**와 저수준 **실행기(Executor)**로 구성됩니다.

1. 지도 미세 조정(SFT)을 통한 플래너 학습

플래너는 현재 관측치를 바탕으로 전역 작업 지시를 실행 가능한 중간 서브골로 분해하는 역할을 담당합니다.

• 데이터 준비: 저자들은 기존의 멀티모달 데이터셋(예: VLA-OS)을 재구성하여, 궤적이 즉각적인 다음 서브골과 함께 주석이 달린 깨끗하고 일관된 데이터셋($D_{plan}$)을 생성했습니다.
• 최적화: 플래너(Qwen2.5-VL과 같은 VLM 백본 기반)는 현재의 멀티모달 상태($s_t$)와 이전 서브골 토큰들에 조건화되어 다음 서브골 토큰 시퀀스를 예측하도록 SFT를 통해 학습됩니다.
• 동결: 학습이 완료된 후, 플래너는 작업 분해 능력을 보존하고 분포 변화를 방지하기 위해 이후의 RL 튜닝 과정 동안 동결됩니다.

2. SFT 및 RL 튜닝을 통한 실행기 학습

실행기는 플래너가 제공하는 현재 서브골에 조건화되어 저수준 행동을 생성합니다.

• 분포 불일치(DM) 해결: 핵심적인 문제는 사전 학습된 VLA가 중간 서브골이 아닌 전역 목표에 최적화되어 있다는 점입니다. 플래너와 사전 학습된 실행기를 직접 결합하면 분포 불일치로 인해 "콜드 스타트(cold start)" 문제가 발생합니다.
  • 해결책: 저자들은 궤적 데이터를 서브골 조건부 샘플($s_i, l_i, a_i$)로 재구성하고, 실행기에 대해 서브골 조건부 SFT를 수행합니다. 이는 RL이 시작되기 전에 실행기의 정책을 플래너의 출력에 정렬시킵니다.
• 온라인 강화 학습(RL): 실행기는 동결된 플래너의 가이드에 따라 환경과의 온라인 상호작용을 통해 더욱 최적화됩니다.
  • 계층적 GRPO: 저자들은 전역 및 지역 학습 신호를 모두 포함하는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 목적 함수를 도입합니다.
    • 전역 이점 ($A_{task}$): 전체 궤적의 누적 보상으로부터 도출됩니다.
    • 지역 이점 ($A_{sub}$): 롤아웃 중에 기록된 중간 서브골에 대한 진전도로부터 도출됩니다.
  • 가중치 통합: 최종 이점 신호($\hat{A}_i$)는 전역 및 지역 이점의 가중 합으로 구성됩니다. 가중치($w_t, w_s$)는 궤적당 평균 서브골 수와 궤적 길이에 따라 적응적으로 균형을 맞추며, 이를 통해 다양한 복잡도를 가진 작업들이 적절한 감독을 받을 수 있도록 합니다.
  • 정책 업데이트: 실행기는 액션 토큰의 확률 비율을 최적화하면서 정책 편차를 제한하는 PPO 스타일의 클립된 액터(clipped actor) 목적 함수를 사용하여 업데이트됩니다.

주요 기여

1. HiRoC 프레임워크: 고수준 작업 계획과 저수준 행동 실행을 명시적으로 분리하여 구조적 추론과 견고한 장기 호흡의 조작을 가능하게 하는 계층적 사후 학습 프레임워크를 제안했습니다.
2. 협업 학습 전략:
   • 분포 정렬: 플래너가 생성한 서브골과 실행기의 실행 사이의 간극을 메우고 콜드 스타트 문제를 완화하는 서브골 조건부 SFT 단계를 도입했습니다.
   • 계층적 RL 목적 함수: 작업 수준(전역)과 서브골 수준(지역)의 학습 신호를 결합하여 정책 최적화를 위한 보다 구조화된 가이드를 제공하는 새로운 GRPO 공식을 제시했습니다.
3. 실증적 검증: 다양한 로봇 조작 벤치마크에서 일관된 성능 향상을 입증하는 광범ful한 실험을 수행했습니다.

실험 결과

저자들은 LIBERO 벤치마크(Goal, Spatial, Object, Long suite)와 LIBERO-Plus 일반화 스위트에서 HiRoC를 평가했습니다.

• 전반적인 성능: HiRoC는 평면적 VLA 정책(OpenVLA), 다른 RL 기반 방법(VLA-RL, TGRPO), 그리고 월드 모델 기반 접근 방식 등 강력한 베이스라인들을 능가하는 SOTA(State-of-the-Art) 성능을 달성했습니다.
  • LIBERO-Long 스위트에서 HiRoC는 98%의 성공률을 기록하며 베이스라인들을 크게 앞질렀고, 복잡한 작업을 위한 계층적 제어의 효용성을 입증했습니다.
  • 이 방법은 베이스라인 대비 벤치마크 전반에 걸쳐 평균 **10.06%**의 성능 향상을 보였습니다.
• 일반화 (Zero-Shot): 7가지 유형의 섭동(perturbation)이 도입된 LIBERO-Plus에서, HiRoC는 목표를 관리 가능한 서브골로 분해하는 능력 덕분에 SFT 기반 모델 및 월드 모델 접근 방식보다 우수한 일반화 성능을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 플래너를 제거한 경우(w/o Plan) 성능이 크게 저하되어, 명시적인 작업 분해의 필요성을 확인했습니다.
  • 분포 불일치(DM) 사전 학습을 제거하면 심각한 콜드 스타트와 낮은 최종 성능이 나타났습니다.
  • 로컬 GRPO를 제거한 경우(w/o L), 전역 GRPO가 주된 역할을 하지만 로컬 서브골 신호가 보완적인 개선을 제공함을 확인했습니다.
• 실세계 전이: 물리적 로봇 플랫폼에서의 Sim-to-Real 실험을 통해 추가적인 미세 조정 없이 학습된 정책을 성공적으로 배포함으로써, 본 프레임워크의 실질적인 적용 가능성을 검증했습니다.

의의 및 주장

본 논문은 Hi-RoC가 장기 호흡의 다단계 로봇 작업을 처리하는 데 있어 평면적 VLA 정책의 근본적인 한계를 해결한다고 주장합니다. 플래너-실행기 계층 구조를 통해 작업 진행을 명시적으로 모델링하고, 타겟팅된 SFT와 계층적 RL를 통해 분포 불일치 문제를 해결함으로써, HiRoC는 에이전트가 견고하고 자기 수정이 가능한 조작을 수행할 수 있게 합니다.

저자들은 현재의 연구가 계층적 사후 학습에 집중하고 있지만, 향-후 방향으로는 물리적 시스템의 불확실성을 다루기 위한 엔드 투 엔드(end-to-end) 학습과 더 강력한 분해 메커니즘을 탐구하는 것을 포함한다고 강조합니다. 이 연구는 범용 로봇 조작을 발전시키기 위해 계층적 작업 분해와 강화 학습 기반의 정책 최적화를 결합하는 것이 얼마나 중요한지를 잘 보여줍니다.