💻 computer science

GPU-Parallel Multi-Task Reinforcement Learning with Demonstration Guided Policy Optimization

이 논문은 구조화된 조작 작업을 위한 GPU 병렬 멀티태스크 강화 학습 벤치마크인 MT-Libero를 소개하며, 희소한 보상 환경에서 이질적인 태스크 세트들을 효과적으로 학습시키기 위해 중요도 가중치 PPO와 적응형 행동 복제를 결합한 온폴리시 데모 가이드 방식인 DGPO를 제안한다.

원저자: Rui Zhang, Qiwei Wu, Zhengyu Zhang, Tao Li, Yunrong Guo, Junjie Lai, Renjing Xu, Weihua Zhang

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rui Zhang, Qiwei Wu, Zhengyu Zhang, Tao Li, Yunrong Guo, Junjie Lai, Renjing Xu, Weihua Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 팔에게 집안일을 가르치려 한다고 상상해 보세요. 과거에는 로봇에게 커피를 따르는 법을 가르치고 싶다면 커피만을 위해 훈련시켜야 했습니다. 그러다 서랍을 여는 법을 가르치고 싶다면, 기억을 모두 지우고 서랍만을 위한 완전히 새로운 훈련 세션을 처음부터 다시 시작해야 했습니다. 이는 마치 매번 새로운 일을 할 때마다 다른 전문가를 고용하는 것과 같았습니다.

이 논문은 더 빠르고, 똑똑하며, 다재다능하게 로봇을 훈련시키는 새로운 방법을 소개합니다. 이 방식은 크게 두 가지를 수행합니다. 하나는 거대하고 고속인 훈련 체육관을 구축하는 것이고, 다른 하나는 인간의 "시연(demonstrations)"을 가이드로 사용하되 로봇이 우리를 맹목적으로 따라 하기만 하도록 강요하지 않는 새로운 교수법을 발명하는 것입니다.

다음은 이들의 접근 방식을 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "한 번에 한 가지 작업"이라는 병목 현상

현재의 로봇 훈련은 일차선 도로와 같다고 생각해보세요. 당신은 한 번에 하나의 자동차(하나의 로봇이 하나의 작업을 배우는 것)만 보낼 수 있습니다. 강력한 컴퓨터(GPU)가 수천 대의 자동차를 처리할 수 있음에도 불구하고, 우리는 여로 하나씩 차례대로 보내는 것에 갇혀 있습니다. 이는 느리고 비효효율적입니다.

2. 해결책 파트 1: MT-Libero (더 "슈퍼 체육관")

저자들은 MT-Libero를 구축했는데, 이는 그 일차선 도로를 거대한 다차선 고속도로로 바꾸는 것과 같습니다.

비유: 40종류의 서로 다른 로봇들이 같은 공간에서 동시에 훈련하고 있는 거대한 체육관을 상상해 보세요. 40개의 별도 체육관을 만드는 대신, 그들은 모든 로봇이 각자의 스테이션을 가지면서도 동일한 장비, 동일한 코치, 동일한 스케줄을 공유하는 하나의 거대한 공용 체육관을 만들었습니다.
작동 원리: 그들은 표준적인 로봇 작업 세트(블록 쌓기, 서랍 열기, 물체 이동하기 등)를 가져와서, 단일 그래픽 카드에서 이 모든 작업이 정확히 동시에 실행되도록 컴퓨터를 프로그래밍했습니다.
결과: 그들은 40가지 서로 다른 작업을 동시에 훈련할 수 있으며, 이전보다 1,600배 더 빠르게, 그리고 아주 적은 양의 컴퓨터 메모리만을 사용하여 훈련할 수 있습니다. 이는 한 가지만 아는 "전문가" 로봇보다는, 모든 것에 대해 조금씩 아는 "제너럴리스트(generalist)" 로봇을 훈련시키는 것과 같습니다.

3. 해결책 파트 2: DGPO (스마트한 멘토)

40가지 작업을 한꺼번에 훈련하는 것은 어렵습니다. 왜냐하면 어떤 작업은 쉽고(가벼운 블록 집기), 어떤 작업은 어렵기 때문입니다(끈적한 서랍 열기). 만약 로봇이 쉬운 작업에만 익숙해지면, 어려운 작업을 배우려는 노력을 멈출 수도 있습니다. 또한, 로봇이 막혀서 무엇을 해야 할지 모르는 상황이 생길 수도 있습니다.

여기서 DGPO가 등장합니다. 이것을 인간 전문가가 작업을 수행하는 것을 지켜보는 스마트한 멘토라고 생각해보세요.

기존 방식: 어떤 방법들은 단순히 "인간을 똑같이 복제하라"고 말합니다. 만약 인간이 실수를 하면, 로봇도 그 실수를 복제합니다. 다른 방법들은 "인간은 무시하고 스스로 알아서 해라"라고 말하는데, 이는 시간이 너무 오래 걸립니다.
DGPO 방식: 멘토는 이렇게 말합니다. "시작할 때는 인간을 보고 배우되, 나머지는 네가 스스로 깨우치도록 하겠다."
- 로봇이 고전할 때: 멘토는 가까이 다가가서 말합니다. "이봐, 여기서 인간이 했던 행동을 봐. 저렇게 하는 거야." (이것을 *적응형 행동 복제(Adaptive Behavior Cloning)*라고 합니다).
- 로봇이 잘하고 있을 때: 멘토는 한 발 물러나서 말합니다. "잘했어! 이제 스스로 개선해봐." (이것이 표준적인 강화 학습(Reinforcement Learning) 부분입니다).
- "공정성" 규칙: 멘토는 또한 점수판을 관리합니다. 만약 로봇이 "어려운" 작업에서는 실패하면서 "쉬운" 작업들만 잘 해내고 있다면, 멘토는 로봇이 어려운 작업에 더 많은 시간을 할애하도록 강제합니다. 이를 통해 로봇이 쉬운 것뿐만 아니라 모든 것에 능숙해지도록 보장합니다.

4. 결과: "VLA 스타일"의 로봇

저자들은 이 시스템을 다양한 작업(목표, 물체, 공간, 장기 실행 작업)에 대해 테스트했습니다.

결과물: MT-Libero와 DGPO로 훈련된 로봇은 진정한 "제너럴리스트"가 되었습니다. 이 로봇은 단 한 번의 훈련 세션 동안 40가지 모든 작업을 배웠습니다.
비교: 이 로봇은 인간의 도움 없이 훈련된 로봇(느렸던 모델)과, 단순히 인간을 복제하기만 했던 로봇(경직되고 스스로 개선할 수 없었던 모델)보다 뛰어난 성과를 보였습니다.
실제 환경 검증: 그들은 심지 true로 컴퓨터 시뮬레이션에서 훈련된 로봇을 실제 방 안에 있는 실제 로봇 팔에 적용해 보았습니다. 놀랍게도 잘 작동했으며, 이는 "슈퍼 체육관"에서 배운 기술이 실제 세계로 전이될 수 있음을 보여주었습니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다:

로봇을 하나씩 훈련시키지 마세요. 그들이 여러 작업을 함께 배울 수 있는 공유된 고속 환경을 구축하세요 (MT-Libero).
단순히 인간을 복제하지 말고, 인간으로부터 배우세요. 인간의 시연을 유연한 가이드로 사용하여, 로봇이 막혔을 때는 도와주고 준비가 되었을 때는 스스로 발전할 수 있게 하세요 (DGPO).

그 결과, 더 빠르게 학습하고, 더 다양한 직무를 처리하며, 매번 처음부터 다시 훈련할 필요 없이 어려운 작업들도 더 잘 해내는 로봇이 탄생했습니다.

기술 요약: 데모 가이드 정책 최적화를 통한 GPU 병렬 멀티태스크 강화 학습

문제 정의

대규모 GPU 병렬 강화 학습(RL)이 로봇 시뮬레이션을 고처리량 훈련 기질로 변화시켰음에도 불구하고, 현재의 시스템은 주로 "전문가(specialist)" 정책—즉, 하나의 목적, 하나의 정책, 한 번에 하나의 훈련 실행—을 최적화하는 데 집중되어 있습니다. 이러한 접근 방식은 단일 정책이 광범위하고 구조화된 조작 기술을 습득할 수 있는 잠재력을 활용하지 못합니다. 대규모 병렬 설정에서 멀티태스크 강화 학습(MTRL)으로의 전환은 샘플 수집을 넘어 가치 안정성(value stability), 태스크 불균형, 그리고 기존 데모 데이터의 효과적인 활용과 관련된 새로운 알고리즘적 과제를 도입합니다. 또한, LIBERO와 같은 기존 벤치마크는 객체, 공간, 목표 및 롱 호리즌(long-horizon)과 같은 구조화된 태스크 변형을 풍부하게 갖추고 있지만, 본래 CPU 기반 모방 학습을 위해 설계되었기 때문에 다양한 태스크 패밀리를 가로질러 단일 제너럴리스트 정책을 훈련하는 데 필요한 이종(heterogeneous) GPU 병렬 실행 기질이 부족합니다.

방법론

본 논문은 두 부분의 솔루션(MT-Libero 벤치마크 구축 방법론 및 DGPO 최적화 알고리즘)을 제안합니다.

1. MT-Libero: GPU 병렬 벤치마크 구축

MT-Libero는 Isaac Lab과 LIBERO 에셋을 사용하는 확장 가능한 구축 방법론의 구현체입니다. 이는 구조화된 태스크 정의와 GPU 병렬 실행 사이의 간극을 다음과 같이 해결합니다:

의미론과 실행의 분리: 태스크 디스크립터, 재사용 가능한 에셋(USD로 변환됨), 리셋 규칙, 성공 술어(success predicates), 보상 인터페이스가 하나의 벡터화된 훈련 루프로 컴파일됩니다.
이종 병렬성(Heterogeneous Parallelism): 태스크당 독립적인 시뮬레이터를 실행하는 대신, MT-Libero는 이종 태스크 그룹(Goal, Object, Spatial, Long)을 하나의 벡터화된 환경 내에서 실행합니다. 이를 통해 공유된 시뮬레이터, 렌더러, 롤아웃 버퍼 및 정책 업데이트 스택이 40개의 서로 다른 태스크를 동시에 처리할 수 있습니다.
입력 유연성: 이 프레임워크는 상태 입력(state-input) 정책(태스크 임베딩 및 고유 수용 감각 데이터를 사용)과 시각 입력(visual-input) 정책(제3자 시점 및 손목 카메라 이미지를 위한 frozen ViT 인코더 사용)을 모두 지원합니다.
커리큘럼 및 무작위화: 물리적 무작위화와 그리퍼 커리큘럼을 포함하며, 초기에는 데모 명령을 따르다가 점진적으로 학습된 제어로 전환됩니다.

2. DGPO: 데모 가이드 정책 최적화

희소한 성공 신호와 제한된 사전 데이터를 해결하기 위해, 저자들은 PPO와 적응형 행동 복제(adaptive behavior cloning)를 결합한 온폴리시(on-policy) 방법인 DGPO를 도입합니다. 데모를 고정된 모방 대상이나 오프폴리시 리플레이 데이터로 취급하는 방식과 달리, DGPO는 온라인 개선을 유지하면서도 데모를 태스크 인지형 가이드로 사용합니다.

중요도 가중 PPO (IW-PPO): 태스크 불균형을 관리하기 위해, DGPO는 태스크별 성공률에 따라 PPO 그래디언트 예산을 재할당합니다. 성공률의 지수 이동 평균(EMA)을 사용하여 가중치( $w_t$ )를 할당합니다. 성능이 평균보다 낮은 태스크는 더 높은 가중치를 받고, 쉬운 태스크는 더 낮은 가중치를 받습니다. 이는 보상 스케일이나 온폴리시 RL에서의 크리틱 적합도(critic fit)에 의해 혼동될 수 있는 손실 기반 가중치 방식(예: FAMO)의 함정을 피합니다.
적응형 행동 복제 (ABC): DGPO는 현재 롤아웃 상태( $o_t$ $o_{t}$ )에 대해 일치하는 데모 액션( $a^\star_t$ $a_{t}^{⋆}$ )으로부터의 이탈을 페널티로 부여하는 정규화 항을 액터에 추가합니다. 결정적으로, 이 모방의 강도( $\beta_k$ $β_{k}$ )는 적응형입니다:
- 이는 태스크의 현재 성공률( $\tau_k$ )에 의해 결정됩니다.
- "약한 학생"(낮은 성공률)은 강한 데모 압력( $\beta \approx \beta_{max}$ )을 받습니다.
- "숙달된" 태스크(높은 성공률)는 최소한의 압력( $\beta \approx \beta_{min}$ )을 받습니다.
- 이를 통해 정책은 도움이 되는 곳에서는 데모를 사용하여 전문화하되, 역량이 성장함에 따라 온라인 RL을 통해 계속 최적화할 수 있습니다.
통합 목적 함수: 전체 손실은 가중치 적용된 PPO 목적 함수(정책, 가치 및 엔트로피)와 적응형 BC 항을 결합하여, 정책이 온폴리시 상태를 유지하면서도 데모의 가이드를 받도록 보장합니다.

주요 기여

MT-Libero 벤치마크: 저자들은 구조화된 멀티태스크 로봇 RL을 위한 GPU 병렬 구축 방법론을 제안하고 구현했습니다. 이는 상태 및 시각 입력을 지원하고, 다양한 보상 및 커리큘럼을 포함하며, 단일 루프 내에서 이종 태스크 세트에 대한 제너럴리스트 정책을 훈련할 수 있게 합니다.
DGPO 알고리즘: 교차 태스크 중요도 가중치 적용과 적응형 행동 복제를 통합한 데모 가이드 PPO 방법을 소개합니다. 이 접근 방식은 사전 데이터가 온폴리시 학습의 안정성과 온라인 개선 이점을 희생하지 않으면서도 효과적으로 가이드할 수 있음을 보여줍니다.
실험적 검증: 논문은 DGPO가 상태 입력 및 시각 입력 설정 모두에서 기존의 데모 기반 베이스라인(MT-RLPD, MT-RFCL, MT-DAPG, MT-DeepMimic 포함)을 능가하여 더 높은 평균 성공률과 더 나은 태스크 분포 커버리지를 달s성함을 입증합니다.

실험 결과

실험은 구축 레시피, DGPO의 효능, 그리고 데모 압력의 트레이드오프를 평가합니다.

벤치마크 성능: MT-Libero는 1,600개의 병렬 환경을 가진 단일 L20 GPU에서 **3,825 SPS(steps per second)**를 달성하였으며, 이는 훨씬 적은 메모리(8.2 GB VRAM vs. 2.3 TB RAM)를 사용하면서도 MuJoCo CPU 베이스라인(2,274 SPS)을 크게 상회하는 수치입니다. 엔드 투 엔드 PPO 훈련은 8개의 GPU에서 약 26,800 SPS까지 확장됩니다.
방법론 비교:
- 상태 입력(State-Input): DGPO는 모든 세트에서 **85.2%**의 평균 성공률을 달성하여, 차순위 베이스라인(MT-PPO, 42.5%)을 크게 앞질렀습니다. 이러한 우위는 특히 "Long"(롱 호리즌) 세트(59.1% vs. 19.8%)에서 두드러졌습니다.
- 시각 입력(Visual-Input): DGPO는 역시 **69.8%**의 평균 성공률을 달성하며 모든 베이스라인을 능가했습니다. 주목할 점은, 오프폴리시 베이스라인(MT-RLPD, MT-RFCL)은 동일한 메모리 제약 조건 하의 리플레이 버퍼 한계로 인해 시각적 설정에서 수렴에 실패했다는 것입니다.
절제 연구(Ablation Studies):
- IW-PPO를 제거하면 어려운 "테일(tail)" 태스크의 성능이 크게 저하되었습니다(20백분위 성공률이 4.3%에서 1.9%로 하락). 이는 그래디언트 할당의 역할을 확인시켜 줍니다.
- Adaptive BC를 제거하면 학습의 치명적인 붕괴가 발생했습니다(평균 성공률이 5.1%로 하락). 이는 초기 수렴을 위한 데모 가이드의 필요성을 강조합니다.
일반화: DGPO는 데모 범위 내에서의 일반화 측면에서 덜 전문화된 정책에 비해 약간의 트레이드오프를 보이지만, 이는 명목상의 태스크 성공률에서 얻는 이득에 의해 상쇄됩니다.

의의 및 주장

본 논문은 컴팩트한 RL 정책이 제안된 인프라와 알고리즘을 사용하여 인간의 데모로 훈련될 때 이미 VLA(Vision-Language-Action)와 유사한 멀티태스크 폭에 도달할 수 있음을 주장합니다.

인프라: 이 연구는 구조화된 조작 분포가 어떻게 이종 GPU 병렬 기질로 컴파일될 수 있는지 보여주며, 고립된 개별 태스크 실행을 넘어 공동의 멀티태스크 학습으로 나아가는 길을 제시합니다.
알고리즘 효율성: DGPO는 데모가 단순히 고정된 타겟이나 오프라인 데이터가 아니라, 온폴리시 학습의 안정성을 유지하면서도 태스크 의존적인 적응형 가이드로서 효과적으로 사용될 수 있음을 증명합니다.
향후 전망: 저자들은 동일한 훈련 인터페이스(MT-Libero + DGPO)가 더 큰 모델, 구체적으로 VLA+RL 포스트 트레이닝(post-training)으로 확장될 수 있다고 제안합니다. 이때 이 벤치마크는 대규모 상호작용 데이터 생성용으로, GPU 병렬 인프라는 효율적인 멀티태스크 미세 조정(fine-tuning)용으로 사용될 수 있습니다.

논문은 MT-Libero가 현재 고정된 형태(morphology)를 가진 시뮬레이션 테이블탑 조작에 국한되어 있고, 접촉이 빈번한 작업(contact-rich tasks)에 대한 sim2sim 전이가 완벽하지 않다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지하고 있습니다. 그러나 이 연구는 확장 가능한 제너럴리스트 로봇 학습을 향한 기초적인 발걸음을 마련했습니다.