💻 computer science

Drift-Based Policy Optimization: Native One-Step Policy Learning for Online Robot Control

이 논문은 반복적 정교화 과정을 학습 과정에 내재화하고 온라인 강화 학습을 지원함으로써, 기존의 다단계 확산 모델 및 단일 단계 베이스라인을 능가하는 고주파수, 저지연 성능을 달성하여 로봇 제어를 위한 네이티브 1단계 생성 정책을 가능하게 하는 2단계 프레임워크인 Drift-Based Policy Optimization (DBPO)를 소개한다.

원저자: Yuxuan Gao, Yedong Shen, Shiqi Zhang, Wenhao Yu, Yifan Duan, Jia pan, Jiajia Wu, Jiajun Deng, Yanyong Zhang

게시일 2026-09-01

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yuxuan Gao, Yedong Shen, Shiqi Zhang, Wenhao Yu, Yifan Duan, Jia pan, Jiajia Wu, Jiajun Deng, Yanyong Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 팔은 전자 제품을 조립하거나 물체를 분류하는 것과 같은 섬세한 작업을 수행하며 공장과 실험실에서 점점 더 흔해지고 있습니다. 이러한 기계가 잘 작동하려면 카메라가 보는 것에 따라 관절을 정확히 어떻게 움직일지 결정할 수 있는 '두뇌'가 필요합니다. 이 의사 결정 과정은 변화하는 세상에 반응하며 순식간에, 그리고 반복적으로 일어납니다. 문제는 현실 세계가 무질서하고 예측 불가능하다는 점입니다. 탁자 위의 블록을 한 번 보는 것만으로는 로봇의 이전 움직임이나 미세한 조명 변화에 따라 여러 가지 유효한 잡기 방법이 존재할 수 있습니다. 이러한 불확실성을 처리하기 위해, 연구자들은 단 하나의 정답만을 고르는 것이 아니라 가능한 여러 가지 좋은 행동의 범위를 학습하는 시스템을 개발했습니다. 현재까지 가장 성공적인 시스템들은 마치 느리고 신중한 조각가처럼 작동하는 방법을 사용합니다. 즉, 무작위한 추측에서 시작하여 단계별로 조금씩 다듬어 나가며 동작이 완벽해 보일 때까지 정교화하는 방식입니다. 이 접근법은 고품질의 움직임을 만들어내지만, 속도가 느립니다. 로봇은 단 하나의 움직임을 만들기 위해 컴퓨터 두뇌를 여러 번 실행해야 하며, 이는 실시간 작업이나 시행착오를 통한 새로운 기술 습득을 하기에는 너무 느린 지연 시간을 발생시킵니다.

연구팀은 이제 이러한 스마트한 로봇 두뇌를 동일하게 유능하면서도 훨씬 더 빠르게 만드는 방법을 찾아냈습니다. 그들은 수십 단계의 정교화 과정을 거치는 대신, 단 한 순간에 동일한 수준의 고품질 다중 옵션 행동 계획을 생성하는 새로운 시스템을 개발했습니다. 연구진은 로봇이 훈련 중에 학습하는 방식을 바꿈으로써, 느린 정교화 과정을 통째로 건너뛰도록 가르칠 수 있음을 보여주었습니다. 실수를 저지른 후에 이를 수정하는 법을 배우는 대신, 로봇은 처음부터 정답을 맞히는 법을 배웁니다. 기존의 방식이 한 번의 움직임을 결정하기 위해 컴퓨터를 100번 실행해야 했다면, 이 새로운 시스템은 단 한 번의 실행으로 동일한 작업을 수행했습니다. 그 결과, 이 시스템은 12개의 서로 다른 로봇 작업에서 기존의 더 느린 시스템보다 더 높은 평균 성공률을 달s성했습니다. 이 속도 향상은 단순히 이론적인 개선이 아닙니다. 실제 실험실의 물리적인 듀얼 암 로봇에 적용했을 때, 이 새로운 시스템은 이전 최고의 1단계(one-step) 방식이 59%의 성공률을 보인 것에 비해 82%의 과업 완료율을 기록했으며, 실시간 제어가 가능할 만큼 빠르게 반응했습니다.

이 돌파구의 핵심은 로봇이 사례로부터 학습하는 방식에 있습니다. 고품질의 행동을 생성하는 전통적인 방법들은 종종 '반복적 디노이징(iterative denoising)'이라 불리는 과정에 의존합니다. 로봇이 컵을 집는 최선의 방법을 찾는다고 상상해 보십시오. 기존 시스템은 완전히 무작위적인 손 위치에서 시작하여 컵에 더 가깝게 조금씩 밀어 넣고, 자신의 작업을 확인하고, 다시 밀어 넣는 과정을 완벽한 위치에 도가 될 때까지 여러 번 반복합니다. 이는 로봇이 좋은 해결책을 찾도록 보장하지만 시간이 오래 걸립니다. 새로운 접근 방식인 '드리프트 기반 정책(drift-based policy)'은 이 논리를 뒤집습니다. 행동이 일어나는 실제 순간에 답을 정교화하는 대신, 로봇은 훈련되는 동안 전체 수정 과정을 내재화하도록 학습합니다. 훈련 과정에서 시스템은 성공적인 움직임의 많은 사례를 보여받으며, 무작위 추측이 어떻게 올바른 방향으로 흘러가는지(drift) 예측하도록 교육받습니다. 로봇은 이러한 수정 과정을 자신의 내부 설정으로 흡수하는 법을 배웁니다. 따라서 실제로 배치되었을 때는 느린 단계적 과정을 거칠 필요 없이, 즉시 최종적으로 수정된 행동을 출력할 수 있게 됩니다.

이 아이디어가 작동함을 증명하기 위해 연구진은 다양한 도전 과제들을 통해 시스템을 테스트했습니다. 먼저 블록 밀기, 물체 들어 올리기, 도구 조작 등을 포함한 12개의 표준 시뮬레이션 작업을 수행했습니다. 기존의 다단계 시스템은 단 하나의 움직임을 결정하기 위해 네트워크를 100번 실행해야 했습니다. 새로운 시스템은 단 한 번의 실행으로 동일한 작업을 해냈습니다. 결과적으로 이 시스템은 100배 더 빨라졌을 뿐만 아니라, 느린 방식들의 79%보다 높은 83%의 평균 성공률을 달성하며 전반적으로 더 우수함을 입증했습니다. 이는 속도가 품질의 희생을 의미하지 않음을 보여주었습니다. 로봇은 과업을 수행하는 데 있어 똑같이 뛰어났지만, 훨씬 더 효율적이었습니다.

연구진은 로봇이 평면 이미지가 아닌 점 구름(point cloud) 형태로 세상을 보는 더 복잡한 3차원 환경에서도 이 시스템이 작동할 수 있는지 확인하기 위해 테스트를 확장했습니다. 단순한 물체 조작부터 망치 사용이나 문손잡이 돌리기와 같은 어려운 숙련된 작업에 이르기까지 37가지의 서로 다른 작업을 테스트했습니다. 이 테스트에서 새로운 시스템은 속도에 특화된 기존의 선도적인 1단계 방식들을 다시 한번 능가했습니다. 이 시스템은 88.4%의 평균 성공률을 기록하며, 차세대 1단계 시스템을 상당한 격차로 앞질렀습니다. 이는 이 방법이 매우 어려운 작업에 필수적이라고 여겨졌던 느린 다단계 정교화 과정 없이도, 실제 세계의 복잡한 3D 시각을 처리할 수 있을 만큼 견고하다는 것을 보여주었습니다.

그러나 인간의 시연을 잘 모방하는 로봇이 항상 새로운 문제를 해결하거나 실수로부터 회복하는 데 능숙한 것은 아닙니다. 이를 해결하기 위해 연구진은 '온라인 강화 학습(online reinforcement learning)'을 통해 로봇이 학습할 수 있도록 하는 두 번째 단계의 프레임워크를 추가했습니다. 이는 로봇이 단순히 과거의 영상을 복사하는 것이 아니라, 환경과 상호작용하고 성공 여부에 대한 피드백을 받음으로써 성능을 개선하는 과정입니다. 여기서의 과제는 표준 학습 알고리즘이 보통 가능한 모든 행동의 확률을 계산해야 한다는 점인데, 이는 이처럼 빠른 1단계 생성기들에게는 어려운 일이었습니다. 연구팀은 로봇이 자신의 빠른 1단계 특성을 유지하면서도 경험으로부터 학습할 수 있도록 특별한 인터페이스를 만들어 이 문제를 해결했습니다. 연구진은 이 접근 방식이 로봇이 초기에는 인간의 시연 데이터로만 훈련되었던 과업들에서 성능을 효과적으로 미세 조정할 수 있게 해준다는 것을 발견했습니다.

최종 테스트는 컴퓨터 시뮬레이션을 벗어나 실제 실험실의 물리적 로봇에 시스템을 적용했습니다. 연구진은 인간과 유사한 두 팔을 가진 듀얼 암 로봇에 이 시스템을 장착하고, 블록 들어 올리기, 캔 운반하기, 두 팔 사이로 물체 옮기기 등의 과업을 수행하게 했습니다. 로봇은 카메라로부터 오는 시각 정보에 실시간으로 반응해야 했습니다. 시스템은 시각 정보를 인지한 순간부터 팔이 움직이기까지 평균 9.5밀리초의 지연 시간만 발생시켰으며, 이는 고주파 제어가 가능한 속도였습니다. 일련의 실험에서 로봇은 150번의 시도 중 123번을 성공하여 82%의 성공률을 기록했습니다. 이에 비해 이전 최고의 1단계 시스템은 150번 중 89번, 즉 59%의 성공률을 보였습니다. 발생한 실패들은 대부분 의사 결정 시스템의 결함이라기보다는 물체가 미끄러지거나 두 팔이 충돌하는 것과 같은 물리적인 문제 때문이었습니다.

이 연구는 로봇 제어에 있어 속도와 지능 사이의 트레이드오프(trade-off)가 생각만큼 고정된 것이 아님을 시사합니다. 정교화의 부담을 행동의 순간에서 학습의 시점으로 옮김으로써, 매우 유능하면서도 믿을 수 없을 정도로 빠른 로봇 컨트롤러를 만들 수 있습니다. 연구진은 로봇이 좋은 결정을 내리기 위해 단계별로 옵션을 고민하며 시간을 보낼 필요 없이, 즉각적으로 올anche한 결정을 내리도록 학습할 수 있다는 것을 보여주었습니다. 이는 로봇이 인간의 반사 신경 속도로 작동하며, 우리 세상의 복잡하고 예측 불가능한 환경에 실시간으로 학습하고 적응할 수 있는 길을 열어줍니다. 이 새로운 시스템의 코드는 다른 연구자들이 이 기초 위에서 발전시킬 수 있도록 공개되었습니다.

기술 요약: 드리프트 기반 정책 최적화 (Drift-Based Policy Optimization)

문제 정의

로봇 조작(Robotic manipulation)에는 작업의 모호성이나 환경의 확률적 특성으로 인해 단일 관측치에 대해 여러 유효한 행동 시퀀스가 존재할 수 있는 행동 다중 양상(action multimodality)을 처리할 수 있는 정책이 필요합니다. 확산 기반 생성 정책(예: Diffusion Policy, DP3)은 반복적인 디노이징(denoising) 과정을 통해 이러한 분포를 효과적으로 모델링하지만, 추론 지연 시간(inference latency)이 높다는 문제가 있습니다. 이러한 방법들은 일반적으로 제어 단계당 수십에서 수백 번의 네트워크 함수 평가(NFE)를 필요로 하며, 이는 고주파 폐루프 제어(high-frequency closed-loop control)에 부적합하며 온라인 강화 학습(RL)으로의 적용을 심각하게 제한합니다.

이러한 지연 시간을 완화하려는 기존의 시도들은 두 가지 범주로 나뉩니다:

증류 기반 가속화(Distillation-based acceleration): 다단계 교사 모델(multi-step teachers)을 단일 단계 모델로 압축하지만, 여전히 다단계 사전 학습에 대한 의존성을 유지합니다.
평균 흐름 기반 정책(Mean-flow-based policies): 증류 없이 1-NFE 배포를 달eric하지만, 엄격한 1-NFE 제약 조건 하에서 성능을 안정화하기 위해 보조적인 교정 메커니즘(예: 분산 손실, 방향 정렬)에 의존합니다.

본 논문은 "네이티브(native)" 단일 단계 공식화에서의 공백을 식별합니다. 즉, 1-NFE 효율성이 사후적 가속화나 결합된 보조 제약 조건으로서가 아니라, 학습 목적 함수 자체로부터 본질적으로 발생하는 방법론에 대한 공백입니다. 동시에 높은 정책 품질을 유지하는 방법론이 필요합니다.

방법론

저자들은 두 단계 프레임워크인 **드리프트 기반 정책(Drift-Based Policy, DBP)**을 통한 오프라인 모방 학습과 **드리프트 기반 정책 최적화(Drift-Based Policy Optimization, DBPO)**를 통한 온라인 미세 조정(fine-tuning)을 제안합니다.

1. 드리프트 기반 정책 (DBP)

DBP는 추론 단계에서 반복적인 정제 과정을 학습 단계로 전환하는 네이티브 1-NFE 생성 정책 백본입니다. 이는 고정점 드리프팅 목적 함수(fixed-point drifting objective)를 통해 교정 역학(corrective dynamics)을 모델 파라미터 내부에 내재화하는 드리프팅 모델(Drifting Models) 원리에 기반합니다.

학습 메커니즘: 추론 시 반복적인 디노이징을 수행하는 대신, DBP는 단 한 번의 순전파(forward pass)로 액션 청크(action chunks)를 생성하도록 생성기 $f_\theta$ 를 학습시킵니다. 학습 과정에서 모델은 전문가 액션 앵커(expert action anchors)로의 인력(attraction)과 생성된 가설들 사이의 척력(repulsion)을 활용하는 "드리프팅 필드(drifting field)"를 사용합니다.
목적 함수: 학습 목적 함수는 현재 예측값과 "드리프트된 타겟(drifted target)" 사이의 거리를 최소화합니다. 이 타겟은 현재 출력에 고정점 업데이트(전문가에 대한 인력 및 다른 가설들로부터의 척력을 포함)를 적용하여 구축되며, 타겟 구축 시 그래디언트 전파는 차단(gradient stop)됩니다. 이는 네트워크 파라미터가 교정 역학을 흡수하도록 강제하여, 배포 시 단 한 번의 순전파만으로도 고품질의 다중 양상 샘플을 얻을 수 있도록 보장합니다.
배포: 추론 시, 정책은 단 한 번의 순전파(1-NFE)를 실행하여 액션 청크를 생성하며, 이를 통해 낮은 지연 시간 요구 사항을 엄격히 준수합니다.

2. 드리프트 기반 정책 최적-화 (DBPO)

DBPO는 1-NFE 배포 보장을 유지하면서 사전 학습된 DBP 백본을 온라인 강화 학습(구체적으로 PPO 스타일 업데이트)으로 확장합니다.

확률적 인터페이스: 온-폴리시(on-policy) 업데이트를 가능하게 하기 위해, DBPO는 최소한의 확률적 어댑터를 도입합니다. 이는 사전 학습된 백본을 결정론적인 평균 예측기 $\mu_\theta(o, z)$ 로 취급하고, 학습 가능한 대각 로그 표준 편차 헤드 $\log \sigma_\psi(o)$ 를 부착합니다.
정확한 가능도(Exact Likelihoods): 롤아웃(rollout) 중에 잠재 변수 $z$ 를 샘플링하고 PPO 업데이트 중에 이를 재사용함으로써, 프레임워크는 잠재 공간에 대한 주변화(marginalization) 없이 정확한 조건부 롤아웃 가능도를 계산합니다. 이를 통해 표준 PPO 알고리즘이 올바르게 작동할 수 있습니다.
앵커 정규화(Anchor Regularization): 온라인 업데이트가 견고한 사전 학습 분포로부터 너무 멀어져 1-NFE 성능을 저하시키는 것을 방지하기 위해 앵커 손실(anchor loss)을 도입합니다. 이 항은 동일한 잠재 입력 하에서 업데이트된 평균 예측값과 동결된 사전 학습된 평균값 사이의 거리에 페널티를 부여하여 미세 조정 과정을 안정화합니다.

주요 기여

네이티브 단일 단계 정책 (DBP): 1-NFE 추론이 학습 목적 함수의 본질적 속성인 생성 정책을 도입했습니다. 고정점 드리프팅을 통해 정제 과정을 학습 단계로 전환함으로써, 반복적인 디노이징이나 보조적인 교정 제약 조건 없이도 다중 양상 액션 모델링을 달성했습니다.
온라인 최적화 프레임워크 (DBPO): 결정론적 단일 단계 백본 위에서 PPO 스타일의 온라인 RL을 수행하는 방법론입니다. 이는 확률적 어댑터와 앵커 정규화를 통해, RL 업데이트를 위한 정확한 가능도 요구와 결정론적/저지연 배포 경로 유지 사이의 충돌을 해결합니다.
포괄적인 실증적 검증: 본 프레임워크는 시뮬레이션(Diffusion Policy suite, Adroit, Meta-World), 온라인 RL 벤치마크(RoboMimic, D4RL), 그리고 실제 하드웨어(양팔 UR5)를 통해 검증되었습니다.

실험 결과

오프라인 모방 학습

Diffusion Policy Suite (12개 작업): DBP는 평균 성공률을 Diffusion Policy(100 NFE)의 0.79에서 0.83으로 향상시키는 동시에 추론을 1 NFE로 단축했습니다.
포인트 클라우드 조작 (37개 작업): Adroit 및 Meta-World 벤치마크에서 DBP는 평균 성공률 **88.4%**를 달성하여, 선행하는 1-NFE 베이스라인인 OMP(82.3%)와 MP1(78.9%)을 능가했습니다. 특히 Hard 및 Very Hard 작업에서 눈에 띄는 성과를 보였습니다.

온라인 강화 학습

RoboMimic & D4RL: DBPO는 사전 학습된 단일 단계 정책을 성공적으로 미세 조정했습니다. RoboMimic에서 미세 조정 후 0.90의 성공률을 달성하여 다른 온라인 RL 베이스라인(ReinFlow, DMPO)보다 우수한 성능을 보였습니다.
Ablation (절제 실험): 앵커 정규화기를 제거했을 때 성능이 크게 하락(예: RoboMimic에서 0.90에서 0.75로)하여, 온라인 업데이트를 안정화하는 데 있어 앵커의 필요성을 확인했습니다.

실제 환경 배포

하드웨어: 삼중 카메라 설정이 된 물리적 양팔 UR5 로봇에 배포되었습니다.
성능: DBP는 Lift, Can, Transport 작업에서 동일한 조건의 MP1 베이스라인(59%, 150회 중 89회 성공) 대비 82%(150회 중 123회 성공)의 성공률을 달성했습니다.
지연 시간: 시스템은 평균 엔드 투 엔드(end-to-end) 지연 시간 9.5 ms를 유지하여 실시간 폐루프 제어를 지원했습니다.

의의 및 주장

본 논문은 드리프팅(Drifting)이 사후적 압축이나 보조 제약 조건으로부터 효율성을 분리함으로써 기존의 생성 제어 패러다임과 구별되는 이점을 제공한다고 주장합니다. 정제 과정을 학습 단계에 내재화함으로써, DBP는 근사가 아닌 정책의 공식화에 의해 보장되는 예측 가능한 1-NFE 배포 경로를 제공합니다.

저자들은 이 접근 방식이 고성능 생성 모델링과 엄격한 레이턴시 요구 사항 사이의 간극을 메운다고 주장합니다. 결과는 네이티브 단일 단계 정책이 다단계 확산 모델의 성능을 대등하거나 능가하면서도, 안정적인 보상 기반 온라인 개선을 가능하게 하여 시뮬레이션과 실제 세계 모두에서 고주파 로봇 제어를 위한 유망한 토대가 될 수 있음을 시사합니다.