🤖 machine learning

Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control

이 논문은 샘플링 기반 모델 예측 제어와 1차 정책 최적화를 결합하여 복잡한 로봇 보행 및 조작 작업을 위한 시각적 정책을 효율적으로 학습하고 실세계 하드웨어로의 제로샷 전이를 달성하는 프레임워크인 샘플링 가이드 정책 탐색(Sampling-Guided Policy Search, SGPS)을 제안한다.

원저자: Yilang Liu, Haoxiang You, Qian Wang, Daniel Rakita, Ian Abraham

게시일 2026-09-18

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yilang Liu, Haoxiang You, Qian Wang, Daniel Rakita, Ian Abraham

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

험한 지형을 걷거나, 무거운 물체를 밀거나, 복잡한 방을 통과할 수 있는 로봇은 더 이상 공상 과학 소설 속 이야기가 아니지만, 그렇게 하도록 가르치는 것은 매우 힘든 과제입니다. 기계가 효과적으로 움직이기 위해서는 자신의 팔다리를 물리적 세계와 끊임없이 조절하며, 정확히 언제 어디에 발이나 손을 놓을지 결정해야 합니다. 전통적으로 엔지니어들은 가능한 모든 움직임을 일일이 프로그래밍하여 이 문제를 해결하려 노력해 왔으나, 이는 로봇이 예상치 못한 상황에 직면했을 때 자주 실패하는 지루한 과정이었습니다. 최근 과학자들은 로봇이 아이가 걷는 법을 배우는 것과 유사하게 시행착오를 통해 학습하는 '강화 학습'이라는 방법론에 주목했습니다. 로봇은 어떤 움직임을 시도하고, 그것이 넘어지는지 혹은 성공하는지를 확인한 뒤, 다음번에 더 잘하기 위해 내부 규칙을 조정합니다. 하지만 이 학습 과정은 엄청나게 많은 비용이 듭니다. 특히 로봇이 단순히 내부 센서에만 의존하는 것이 아니라 카메라를 통해 세상을 보며 학습해야 할 때, 막대한 컴퓨터 연산 능력과 시간이 필요합니다. 로봇은 자신이 보는 것을 물리적 행동으로 변환하는 법을 배워야 하는데, 이 작업은 훈련이 세심하게 유도되지 않으면 종종 서투르고 의도치 않은 움직임으로 이어집니다.

예일 대학교와 시드니 대학교의 연구진은 이 문제를 해결하여 로봇이 이전보다 훨씬 빠르고 안정적으로 복잡한 시각적 행동을 학습할 수 있게 하는 새로운 접근 방식을 개발했습니다. 그들은 '샘플링 가이드 정책 탐색(Sampling-Guided Policy Search)'이라 불리는 시스템을 만들었습니다. 로보트가 수백만 번의 무작위 시도를 통해 눈먼 채 헤매게 두는 대신, 이 시스템은 스마트한 계획 도구를 사용하여 올바른 움직임의 대략적인 스케치를 먼저 생성합니다. 이 계획 도구를 특정 과업, 예를 들어 허들을 넘거나 상자를 미는 데 필요한 최적의 단계 순서를 머릿속으로 빠르게 시뮬레이션하여 알아내는 코치라고 생각하면 됩니다. 그런 다음 로봇은 이 스케치를 시작점으로 삼아 학습합니다. 연구진은 이 초기 가이드와 카메라 이미지를 통해 직접 세상을 배우는 방법을 결합함으로써, 평소보다 훨씬 짧은 시간 안에 매우 유능한 로봇을 훈련할 수 있다는 것을 발견했습니다.

그들의 발견의 핵심은 학습 과정을 어떻게 처리하느냐에 있습니다. 기존의 많은 시도에서 연구자들은 로봇이 자신의 몸과 환경에 대한 완벽한 내부 데이터를 사용하여 훈련된 후, 두 번째 버전의 로봇에게 오직 카메라가 보는 것만을 통해 학습하도록 가르쳤습니다. 이 두 단계의 과정은 느렸고, 종종 실제 세계의 불완전함을 다루지 못하는 로봇을 만들어냈습니다. 새로운 방법은 중간 단계를 건너뜁니다. 이 방식은 로봇이 깊이 이미지(물체가 얼마나 멀리 떨어져 있는지 보여주는 시각 데이터)로부터 직접 학습하는 동시에, 계획 도구를 사용하여 로봇의 목표를 정교화하도록 훈련합니다. 시스템은 하나의 순환 구조로 작동합니다: 목표 움직임을 생성하고, 로봇이 이를 따르도록 하며, 로봇이 경로에서 약간 벗어나면 계획 도구를 사용하여 목표를 수정합니다. 이러한 지속적인 피드백 과정은 로봇이 단순히 완벽한 경로를 모방하는 법을 배우는 것이 아니라, 실수로부터 회복하고 지형의 변화나 운반하는 물체의 무게에 적응하는 법을 배우도록 보장합니다.

연구진은 이 시스템을 두 가지 유형의 로봇, 즉 네 발 달린 개 모양의 로봇과 이족 보행 휴머노이드 로봇에 대해 테스트했습니다. 시뮬레이션에서 네 발 로봇은 평탄한 지면을 속보로 이동하고, 낮은 보 아래로 기어가며, 허들을 뛰어넘는 법을 배웠습니다. 휴머노이드 로봇은 무거운 상자를 밀고 다니며 상자를 들고 조깅하는 법을 배웠습니다. 이러한 결과가 특히 인상적이었던 이유는 로봇들이 일반적인 게이밍 컴퓨터에서 흔히 볼 수 있는 표준 하드웨어인 그래픽 카드 한 장만을 사용하여 이러한 기술을 습득했다는 점입니다. 과거에는 이러한 복잡한 행동을 훈련하기 위해 거대한 슈퍼컴퓨터나 몇 주간의 연속적인 시뮬레이션이 필요했습니다. 여기서는 시스템이 단 몇 시간 만에 이러한 과업을 수행하는 법을 배웠습니다. 연구진은 또한 계획 도구가 단순히 시작점만을 제공하는 것이 아니라, 훈련 과정 전반에 걸쳐 학습을 능동적으로 개선하여 로봇이 더 효율적인 방식으로 움직이고 나쁜 습관에 빠지지 않도록 돕는다는 것을 보여주었습니다.

이 방법이 실제 세계에서도 작동한다는 것을 증证明하기 위해, 연구진은 훈련된 소프트웨어를 추가적인 조정 없이 물리적인 네 발 로봇에 설치했습니다. 이것은 '제로샷 전이(zero-shot transfer)'라고 불리는데, 이는 로봇이 실제 세계를 본 적이 없음에도 불구하고 시뮬레이션에서 배운 과업을 즉시 수행할 수 있음을 의미합니다. 로봇은 온보드 카메라만을 사용하여 경로를 파악하며 방을 가로질러 속보로 이동하고, 장애물 아래로 기어가고, 상자를 타고 넘는 데 성공했습니다. 로봇은 경로를 찾기 위해 외부 센서, 모션 캡처 카메라 또는 인간의 안내를 필요로 하지 않았습니다. 로봇은 몸을 낮추어 기어갈지, 혹은 다리를 들어 올려 점프할지를 스스로 결정하며 눈앞의 장애물에 즉각적으로 반응했습니다. 이는 학습 과정이 실제 세계의 무질서하고 예측 불가능한 성질 속에서도 생존할 수 있는 견고한 움직임에 대한 이해를 만들어냈음을 입증했습니다.

이 연구는 왜 기존의 방법들이 자주 실패했는지도 강조했습니다. 연구진이 계획 도구의 가이드 없이 로봇을 훈련했을 때, 로봇은 종종 이상하고 조율되지 않은 움직임을 보였습니다. 예를 들어, 속보를 하도록 요청받았을 때 이 가이드가 없는 로봇은 제대로 된 보행과는 전혀 다른 방식으로 발을 끌며 움직였습니다. 계획 도구는 안정 장치 역할을 하여, 로봇이 처음부터 올 ال바른 리듬과 협응력을 배울 수 있도록 보장했습니다. 이는 물체와의 접촉이 포함된 과업, 예를 들어 무거운 물체를 미는 작업에서 특히 중요했습니다. 가이드가 없으면 로봇은 잘못된 방향으로 밀거나 균형을 잃을 수 있습니다. 가이드가 있으면 로봇은 물체를 부드럽고 효율적으로 움직이기 위해 자신의 몸과 팔을 조절하는 법을 배웁니다.

이 연구의 가장 중요한 측면 중 하나는 시각 정보를 어떻게 다루느냐에 있습니다. 로봇은 사진을 물리적 명령으로 변환하는 과정이 수학적으로 어렵기 때문에 카메라 이미지로부터 학습하는 데 어려움을 겪는 경우가 많습니다. 연구진은 시각적 처리와 물리적 계산을 분리함으로써 이 문제를 해결했습니다. 이를 통해 로봇은 카메라가 작동하는 복잡한 수학적 원리에 매몰되지 않고 이미지로부터 학습할 수 있었습니다. 대신, 로봇은 자신이 보는 것과 어떻게 움직여야 하는지 사이의 관계를 배우는 데 집중했습니다. 이러한 분리는 훈련 과정을 훨씬 빠르고 안정적으로 만들어, 로봇이 상자를 들고 조깅하는 것과 같은 복잡한 기술을 넘어지지 않고 배울 수 있게 했습니다.

연구진은 또한 서로 다른 기술을 하나의 로봇에 결합하는 방법도 탐구했습니다. 그들은 속보, 기어가기, 점프를 수행하는 별도의 전문가 모델을 훈련한 다음, 단일 로봇이 스스로 이 행동들 사이를 전환할 수 있도록 가르쳤습니다. 로봇은 낮은 보를 보면 기어가야 함을 알았고, 허들을 보면 점프해야 함을 알았습니다. 로봇은 어떤 모드를 사용할지 인간이 알려줄 필요 없이, 단순히 세상을 보고 적절한 행동을 선택했습니다. 이러한 다양한 행동을 하나의 유연한 시스템으로 구성하는 능력은 로봇 공학의 큰 진전입니다. 이는 로봇이 새로운 상황마다 새로운 프로그램을 필요로 하지 않고도 복잡한 환경을 탐색하며 평탄한 지면에서 장애물 구간으로 이동하는 등의 동작을 수행할 수 있음을 의미합니다.

이 방법의 성공은 로봇 공학의 미래를 향한 새로운 길을 제시합니다. 계획 도구를 사용하여 학습 과정을 가이드함으로써, 연구자들은 이전보다 훨씬 빠르게 로봇에게 복잡한 물리적 과업을 가르칠 수 있습니다. 이 접근 방식은 막대한 양의 컴퓨팅 자원 필요성을 줄여주며, 로봇이 보는 것을 통해 직접 학습할 수 있게 해줍니다. 현재의 실험은 시뮬레이션과 단일 물리 로봇을 대상으로 수행되었지만, 결과는 이 방법이 도구를 조작하거나 붐비는 공간을 탐색하는 것과 같이 더 어려운 과업을 가르치는 데 확장될 수 있음을 나타냅니다. 핵심적인 통찰은 학습이 정답을 찾아가는 맹목적인 탐색이 아니라, 스마트한 플래너가 길을 찾도록 돕는 가이드된 여정이 될 수 있다는 것입니다.

결국, 이 연구는 시뮬레이션과 현실 사이의 간극을 이전보다 더 효과적으로 메울 수 있음을 보여줍니다. 로봇은 단순히 완벽한 경로를 모방하는 법을 배운 것이 아니라, 적응하고, 회복하며, 자신이 보는 것을 바탕으로 결정을 내리는 법을 배웠습니다. 시뮬레이션 속 존재였던 네 발 로봇은 물리적 공간에서 자율적으로 움직일 수 있는 실제 기계가 되었습니다. 로봇은 자신의 몸과 주변 세계에 대한 깊은 이해를 바탕으로 유연하게 기어가고, 속보하고, 점프했습니다. 이는 단순한 기술적 성취를 넘어, 로봇이 힘과 정교함이 모두 요구되는 작업을 수행하며 인간 곁에서 자유롭고 안전하게 움직일 수 있는 미래를 향한 단계입니다. 연구진은 적절한 가이드가 있다면 기계도 자연계에서 우리가 당연하게 여기는 것과 같은 우아함과 적응력을 가지고 움직일 수 있다는 것을 보여주었습니다.

기술 요약: 샘플링 기반 모델 예측 제어를 통한 시각적 정책 학습 가속화

문제 정의

보행 및 조작을 위한 시각적 정책(Visual Policy)을 학습하는 것은 상당한 어려움을 수반한다. 강화 학습(RL)은 시뮬레이션에서 견고한 행동을 가능하게 했지만, 온보드 시각 관측(예: depth 카메라)에 의존하는 정책을 학습하는 것은 종종 막대한 계산 비용과 GPU 메모리 요구량을 초당한다. 기존의 접근 방식들은 다음과 같은 트레이드오프에 직면해 있다:

교사-학생 증류(Teacher-Student Distillation): 특권 상태 정보(Privileged state information)를 사용하는 '교사' 정책을 학습시키고 이를 '학생' 시각 정책으로 증류하는 방식은 학습 복잡도를 줄여주지만, 별도의 특권 교사 학습 단계를 추가로 필요로 한다.
1차 정책 경사(First-Order Policy Gradients, FoPG): SHAC 및 D.Va와 같은 방법은 미분 가능한 시뮬레이션을 활용하여 직접 경사를 계산함으로써 학습 비용을 줄인다. 그러나 이러한 프레임워크 내에서의 국소 최적화(Local optimization)는 보상 함수가 유효한 행동과 유효하지 않은 행동을 명시적으로 구분하지 않을 경우, 의도치 않은 접촉 패턴(예: 잘못된 보행 패턴)으로 수렴할 수 있다.
샘플링 기반 MPC: 샘플링을 사용하는 모델 예측 제어(MPC)(예: DIAL-MPC)는 사전 정책 학습 없이도 동적으로 실행 가능한 궤적을 생성할 수 있지만, 실행 중 온라인 최적화와 상태 추정이 필요하므로 학습된 정책 없이는 자원이 제한된 하드웨어에 직접 배포하기에 부적합하다.

핵심 과제는 특권 교사를 위한 별도의 학습 오버헤드를 피하고, 의도치 않은 접촉 패턴으로의 수렴을 방지하면서도, 온라인 MPC 없이 자율적으로 실행되고 상태 편차를 견딜 수 있는 고품질의 시각적 정책을 생성하는 방법을 찾는 것이다.

방법론: 샘플링 가이드 정책 탐색 (SGPS)

저자들은 반복적인 샘플링 기반 액션 타겟 정교화(Action-target refinement)와 분리된 1차 정책 최적화를 결합한 샘플링 가이드 정책 탐색(Sampling-Guided Policy Search, SGPS) 프레임워크를 제안한다.

1. 핵심 프레임워크

SGPS는 다음 두 단계 사이를 교대로 수행하며 작동한다:

샘플링 기반 정교화(Sampling-Based Refinement): 샘플링 기반 MPC를 사용하여 국소 정책 업데이트를 보완하는 "액션 타겟(Action targets, 정교화된 궤적)"을 생성한다.
분리된 FoPG 업데이트(Decoupled FoPG Updates): 정교화된 타겟과 추적 보상을 가이드 삼아, 짧은 호라이즌(Horizon) 상에서 1차 경사를 사용하여 정책을 업데이트한다.

2. 주요 구성 요소

참조 생성을 위한 어닐드 샘플링(Annealed Sampling for Reference Generation): DIAL-MPC를 따라, SGPS는 스플라인 노드(Spline nodes)로 액션 플랜을 표현한다. 이 방식은 노드를 섭동(Perturb)시키기 위해 어닐드 샘플링 프로세스를 사용하며, 후보들을 학습 모델에서 평가한다. 성공적인 궤적(태스크 수준의 성공 테스트를 통과한 것)은 고정된 추적 참조(Fixed tracking references) 역할을 한다.
행동 복제(Behavior Cloning, BC) 초기화: 정책은 샘플링된 참조 궤적으로부터의 액션을 클로닝함으로써 초기화된다. 누적되는 오류를 방기하기 위해, 초기화 데이터셋은 동일한 참조 액션과 쌍을 이루는 노이즈가 섞인 참조 상태를 포함한다.
반복적 액션 타겟 정교화(Recurring Action-Target Refinement): 학습 중에 알고리즘은 현재 학습 상태를 선택하고 로컬 샘플링 기반 탐색을 수행하여 새로운 액션 타겟을 생성한다. 이러한 타겟은 명목 모델(Nominal model) 상에서 추적 점수(Tracking score)를 개선하는 경우에만 수용된다.
시각적 학습을 위한 분리된 FoPG(Decoupled FoPG for Visual Learning): 특권 교사 없이 직접 시각적 학습을 가능하게 하기 위해, 저자들은 분리된 FoPG 공식화를 채택하였다. 이 방식은 관측값에 대해 stop-gradient를 사용하여 렌더링 과정을 계산 그래프에서 제외하면서도, 역학(Dynamics)과 액션을 통한 경사는 유지한다. 이를 통해 정책은 depth 관측으로부터 직접 학습할 수 있다.
손실 함수: 정책은 다음의 결합 손실을 최소화한다:
$L_{SGPS} = L_{track} + \lambda_j L_{BC}$
여기서 $L_{track}$ 은 추적 보상 경사이며, $L_{BC}$ 는 수용된 정교화된 타겟에 대한 행동 복제 손실이다. 가중치 $\lambda_j$ 는 학습 블록에 따라 감소하며, 타겟 클로닝에서 폐루프(Closed-loop) 최적화로 초점을 전환한다.

3. 증류 및 배포

특정 기술(예: 트로팅, 크롤링, 운반)에 특화된 정책을 학습시킨 후, 이 전문가 정책들은 DAgger를 사용하여 하나의 **통합 시각 정책(Unified Visual Policy)**으로 증류된다. 이 통합 정책은 온보드 depth 관측과 속도 명령에 기반하여 행동 간의 전환을 자율적으로 학습하며, 배포 시에는 참조 입력이나 온라인 MPC를 필요로 하지 않는다.

주요 기여

SGPS 프레임워크: 반복적인 샘플링 기반 액션 정교화와 분리된 FoPG를 통합하는 정책 학습 프레임워크이다. 이는 고정된 추적 참조를 유지하면서 액션 타겟을 동적으로 갱신하여 학습 효율성과 행동 품질을 개선한다.
직접 시각 정책 학습: 별도의 특권 상태-정책 교사 없이 샘플링 기반 감독을 사용하여 시각 정책을 직접 학습할 수 있는 능력이다. 이는 렌더링을 경사 계산에서 분리하는 분리된 FoPG를 통해 달성된다.
제로샷 하드웨어 배포: 실제 Unitree Go2 로봇에 제로샷 전이가 가능한 통합 시각 정책을 입증하였다. 로봇은 온보드 depth 센싱과 속도 명령만을 사용하여 행동(트로팅, 크롤링, 허들 넘기)을 자율적으로 전환한다.

실험 결과

저자들은 시뮬레이션된 Unitree Go2(사족보행 로봇) 및 G1(휴머노이드 로봇)에서 보행, 장애물 통과 및 조작 태스크에 대해 SGPS를 평가하였다.

학습 효율성: 단일 NVIDIA RTX 4080 GPU에서 SGPS는 베이스라인을 크게 능가했다.
- 상태 기반 트로팅(State-based trotting)의 경우, SGPS는 처음부터 시작하는 FoPG보다 높은 리턴(Return)을 달성했으며, PPO보다 196배 적은 환경 상호작용이 필요했다.
- 시각적 정책의 경우, DAgger는 시간이 오래 걸리는 별도의 특권 교사 학습 단계가 필요했던 반면, SGPS는 초기화 후 직접 학습되었다.
정교화 절제 실험(Refinement Ablation): 실험을 통해 반복적인 정교화가 단순 초기화 및 추적보다 성능을 향상시킨다는 것을 보여주었다.
- 시각적 트로팅에서 전체 SGPS 방식은 정교화가 없는 변형 모델(~11,000)에 비해 약 16,000의 리턴에 도달했다.
- 시각적 운반(G1)에서 전체 SGPS는 정교화가 없을 때(~20,500)보다 높은 ~26,500의 리턴에 도달했다.
행동의 정확성: SGPS는 보행(Gait)에 대한 무관한 보상(Gait-blind rewards) 상황에서도 의도된 보행 패턴(예: 대각선 트로팅)을 성공적으로 학습했다. 반면, 관절 각도 감독 없이 처음부터 학습된 FoPG는 조율되지 않은 비틀거림(Shuffling)으로 수렴했다.
복잡한 태스크: 방법론은 다음 태스크를 위한 정책을 성공적으로 학습했다:
- Go2: 트로팅, 빔 아래로 크롤링, 허들 넘기.
- G1: 18kg 크레이트 밀기 및 4kg 박스를 들고 조깅하며 운반하기.
하드웨어 배포: 증류된 정책을 실제 Go2 로봇에 배포하였다. 로봇은 온라인 MPC나 외부 위치 추정 없이 온보드 depth 카메라와 속도 명령만을 사용하여 장애물을 자율적으로 통과하고, 빔 아래로 크롤링하며, 트로팅하고, 허들을 넘었다.

의의 및 주장

본 논문은 SGS가 샘플링 기반 MPC의 고품질 궤적 생성 능력과 학습된 정책의 효율적이고 배포 가능한 특성 사이의 결정적인 간극을 해결한다고 주장한다. 샘플링 기반 정교화와 분리된 FoPG를 결합함으로써, 이 방법은 다음과 같은 효과를 제공한다:

학습 비용 감소: 별도의 특권 교사 정책을 제거하고, PPO에 비해 수렴에 필요한 환경 스텝 수를 줄인다.
강건성 향상: 샘플링 기반 타겟을 사용하여 국소 최적화를 가이드함으로써 의도치 않은 접촉 패턴으로의 수렴을 방지한다.
직접 시각 학습 가능: 렌더링을 미분하거나 상태 기반 교사에 의존하지 않고 depth 관측으로부터 직접 시각 정책을 학습할 수 있게 한다.
자율 배포 용이성: 온라인 최적화 없이 실 하드웨어에서 행동 전환이 가능한 통합 정책을 생성한다.

저자들은 미분 가능한 역학에 대한 의존성, 성공적인 샘플링 참조의 필요성, 휴머노이드 태스크에서의 물체 상호작용 단순화 등을 한계점으로 언급하였다. 또한 현실적인 물체 상호작용 및 장기적 조작(Long-horizon manipulation)을 향후 연구 방향으로 제시하였다.