💻 computer science

A Single Diffusion-Policy Controller for Multi-Task Block Pushing with Zero-Shot Sim-to-Real Transfer

이 논문은 역 커리큘럼 생성(reverse curriculum generation)과 목적 중심 표현(objective-centric representations)을 통해 강화 학습을 사용하여 단일 확산 정책(diffusion policy)을 처음부터 훈련함으로써, 희소 보상 시뮬레이션에서의 다중 작업 블록 밀기 문제를 성공적으로 해결하고 다양한 조건의 실제 환경으로의 제로샷 전이를 달성하는 프레임워크를 제안한다.

원저자: Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Haitong Ma, Haldun Balim, Yang Hu, Bo Dai, Na Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 팔에게 테이블 위의 블록을 특정 지점까지 밀도록 가르치는 상황을 상상해 보세요. 그런데 이 블록이 단순히 사각형이 아니라, 때로는 "T"자 모양, "C"자 모양, "L"자 모양, 심지어 한 번도 본 적 없는 이상한 "I"자 모양이 될 수도 있습니다. 테이블은 끈적거리거나, 미끄럽거나, 혹은 그 중간 상태일 수도 있습니다. 목표 지점 또한 완전히 새로운 곳이 될 수 있습니다.

이 논문은 로봇이 매번 인간의 도움 없이도 이러한 복잡하고 변화무쌍한 시나리오를 마스터하는 방법을 다룹니다.

핵심 아이디어: 하나의 뇌, 다양한 형태

보통 로봇이 작업을 학습할 때는 "행동 복제(Behavior Cloning)"라는 방법을 사용합니다. 이것은 마치 학생이 선생님의 숙제를 베끼는 것과 같습니다. 로봇은 전문가가 블록을 미는 수천 개의 영상을 보고 이를 모방하려고 노력합니다. 하지만 여기에 문제가 있습니다. 만약 로봇이 모든 가능한 모양과 목표를 처리할 수 있게 만들고 싶다면, 모든 조합에 대한 영상 라이브러리가 필요합니다. 이는 현실적으로 불가능합니다.

저자들은 이러한 "복제" 방식이 너무 취약하다고 주장합니다. 나중에 로봇에게 새로운 작업을 가르치려고 하면, 기존에 했던 것을 잊어버리는 문제(이를 "파괴적 망각"이라고 합니다)가 발생하기 때문입니다.

대신, 이 논문은 **강화 학습(Reinforcement Learning, RL)**이라는 다른 접근 방식을 제안합니다. 로봇이 걸음마를 배우는 아기처럼 상상해 보세요. 아기는 영상을 보는 것이 아니라, 그냥 시도하고, 넘어지고, 목표에 가까워질 때마다 작은 "잘했어"라는 보상을 받으며 다시 시도합니다. 이 논문은 **디퓨전 정책(Diffusion Policy)**이라는 특별한 종류의 "뇌"를 사용함으로써, 로드봇이 시행착오를 통해 스스로 다양한 블록 밀기 퍼즐을 해결하는 법을 배울 수 있음을 보여줍니다.

비결: "재가중치(Reweighted)"를 적용한 뇌

이들이 발견한 핵심은 이 디퓨전 정책을 훈련하는 새로운 방법입니다. AI의 세계에서 "디퓨전 정책"은 노이즈로 가득 찬 캔버스에서 시작해 서서히 이미지를 깨끗하게 만들어 완벽한 그림을 완성하는 숙련된 화가와 같습니다. 보통 이러한 화가들은 완벽한 그림들이 모인 갤러리(전문가 데이터)를 보고 훈련됩니다.

저자들은 갤러리 없이도 이 화가를 훈련할 수 있는 방법을 찾아냈습니다. 그들은 간단한 규칙을 만들었습니다: "만약 어떤 움직임이 높은 점수를 얻을 것 같다면, 그 움직임이 일어날 확률을 높여라." 그들은 움직임이 얼마나 좋아 보이는지에 따라 훈련 과정에 특별한 "가중치"를 더함으로써 이를 수행했습니다. 이는 마치 로봇이 어둠 속을 헤매고 있을 때도 성공을 향해 안내하는 마법의 나침반을 주는 것과 같습니다.

그들은 이를 기존의 "가우시안(Gaussian)" 정책(정답을 대개 평균적이고 안전한 움직임이라고 추측하는 로봇)과 비교 테스트했습니다. 결과는 어땠을까요?

기존 방식 (Gaussian): 시뮬레이션에서 표준 알고리즘들(SAC, PPO, TD3 등)은 대부분 실패했습니다. 이들은 정체되거나 포기해 버렸습니다. 그중 SAC는 작업의 약 **66.3%**를 해결했지만, 시간이 오래 걸렸고 일관성이 없었습니다.
새로운 방식 (ESM): 저자들의 새로운 방법인 ESM은 시뮬레이션에서 작업을 100% 해결했습니다. 훨씬 더 놀라운 점은, ESM은 평균 단 21.1단계만에 작업을 마친 반면, 차순위 방법은 거의 119단계가 걸렸다는 것입니다.

"제로샷(Zero-Shot)"의 마법

이 부분이 가장 흥식한 대목입니다. 로봇은 전적으로 컴퓨터 시뮬레이션 안에서 훈련되었습니다. 실제 블록도, 실제 테이블도, 실제 로봇 팔도 본 적이 없습니다. 그러고 나서 저자들은 이 디지털 뇌를 실험실의 실제 로봇에 그대로 연결했습니다.

재학습도 하지 않았고, 미세 조정도 하지 않았습니다. 그저 전원을 켰을 뿐입니다. 이것을 제로샷 심투리얼(Zero-Shot Sim-to-Real) 전이라고 부릅니다.

그들은 다음과 같은 조건으로 테스트했습니다:

다양한 마찰력: 블록을 끈적한 매트 위와 미끄러운 유선지 위에 두었습니다.
다양한 무게: 원래 두께(4cm)의 4분의 1인 1cm 두께의 블록을 사용했습니다.
다양한 모양: 시뮬레이션에서 배웠던 모양들과 더불어, 한 번도 본 적 없는 새로운 "I자형" 블록을 테스트했습니다.

결과:

실제 테이블 환경에서, 새로운 방식(ESM)은 T-블록, C-블록, L-블록에 대해 3회 중 3회 모두 성공했습니다.
기존 방식(SAC)은 T-블록에서 완전히 실패(3회 중 0회)했으며, 다른 모양에서도 고전했습니다.
심지어 훈련 중에 본 적 없는 새로운 "I자형" 블록에 대해서도, 새로운 방식은 시뮬레이션에서 **61%**의 성공률을 보이며 학습하지 않은 모양에도 일반화될 수 있음을 보여주었습니다.

작동하지 않은 것들 (그리고 제외된 것들)

이 논문은 특정 작업에서 무엇이 잘 작동하지 않는지 매우 명확하게 밝히고 있습니다.

전문가를 단순히 복제하는 것 (Behavior Cloning): 저자들은 방대한 전문가 시연 데이터셋에 의존하는 것은 병목 현상을 초래한다고 주장합니다. 모든 가능한 모양과 목표에 대한 데이터를 충분히 확보하는 것은 어렵기 때문입니다.
단순한 추측을 사용하는 표준 RL: 가우시안 정책(정답이 대개 단순한 평균값이라고 가정하는 방식)을 사용하는 표준 알고리즘은 다양한 모양의 블록을 미는 복잡한 작업을 처리할 수 없음을 보여주었습니다. 이들은 시뮬레이션에서도 학습에 실패했으며, 실세계로 전이되는 데에도 실패했습니다.
계획 없이 학습하기: 만약 그들이 만든 특별한 "커리큘럼"(쉬운 목표부터 시작해 점차 어려워지는 훈련 일정)이나 블록의 위치를 설명하는 특별한 방식을 제거했을 때, 로봇의 성능은 현저히 떨어졌습니다. 이는 로봇이 성공하기 위해 이러한 구체적인 훈련 기법들이 반드시 필요함을 입증합니다.

얼마나 확신하는가?

저자들은 로봇을 훈련시키기 위해 4백만 번의 상호작용을 실행한 시뮬레이션 결과에 대해 매우 자신감을 보입니다. 그들은 성공률과 단계 수를 매우 정밀하게 측정했습니다.

실제 환경에 대해서는, 로봇이 다양한 조건에서 36개의 특정 작업을 수행하도록 테스트했습니다. 그들은 단순히 "성공했다"라고 말하는 대신, 블록이 이동한 거리와 소요된 단계를 측정했습니다. 그들은 실제 세계가 무질서하지만, 로봇의 성능이 견고하게 유지된다는 것을 발견했습니다. 다만, 이 "제로샷" 마법이 모든 유형의 로봇 작업, 특히 평평한 테이블 위에서 블록을 미는 것보다 훨씬 더 복잡한 작업에는 적용되지 않을 수 있다는 점을 인정합니다. 더 어려운 작업들을 위해서는 컴퓨터와 현실 사이의 간극을 메우기 위한 추가적인 연구가 필요할 수 있다고 제언합니다.

요약

이 논문은 복잡하고 다중적인 기술을 가진 로봇을 가르치기 위해 전문가의 영상 라이브러리가 필요하지 않다는 것을 보여줍니다. 새로운 방식의 간단한 보상 시스템으로 훈련된 스마트하고 유연한 "디퓨전 정책"을 사용함으로써, 로봇은 미끄럽거나 끈적이는 표면 위에서 다양한 모양의 블록을 밀 수 있고, 본 적 없는 목표물도 처리할 수 있으며, 이 모든 과정을 실제 세계로 나오기 전까지 컴퓨터 시뮬레이션 안에서 완벽하게 학습할 수 있습니다. 이는 로봇이 진정으로 변화무쌍한 우리 세상을 적응하며 살아갈 수 있게 하는 큰 진전입니다.

기술 요약: 다중 작업 블록 밀기(Multi-Task Block Pushing)를 위한 단일 확산 정책 제어기: 제로샷 심-투-리얼(Zero-Shot Sim-to-Real) 전이 연구

문제 정의

본 논문은 다양한 형태와 목표를 가진 다중 작업 블록 밀기(multi-task block pushing)와 같이 복잡하고 접촉이 빈번한(contact-rich) 로봇 조작 작업을 위해 단일한 범용 정책을 학습시키는 과제를 다룹니다. 디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models, DDPM)은 복잡한 데이터 분포를 표현하는 데 있어 우수한 표현력을 보여주었으며, 행동 복제(Behavior Cloning, BC)를 통한 로봇 궤적 생성에 성공적으로 적용되어 왔습니다. 그러나 현재의 접근 방식들은 다음과 같은 상당한 한계점에 직면해 있습니다:

데이터 부족: BC 기반 방법은 다양한 작업에 걸친 풍부한 전문가 시연 데이터를 필요로 하며, 이는 다중 작업 설정에서 실질적으로 불가능한 경우가 많습니다.
미세 조정(Fine-tuning)의 취약성: 사전 학습된 BC 정책을 강화 학습(RL)으로 미세 조정할 때 치명적 망각(catastrophic forgetting)이 발생하는 경우가 많습니다.
희소 보상에서의 탐색: 시연 데이터 없이 희소 보상 환경에서 온라인 RL을 확산 정책(diffusion policy)에 처음부터 적용하는 것은 탐색의 어려움으로 인해 매우 까다롭습니다.
심-투-리얼 간극(Sim-to-Real Gap): 마찰력과 물리적 역학이 변하는 접촉 빈도가 높은 시나리오에서, 온라인 RL을 통해 학습된 확산 정책의 제로샷 심-투-리얼 전이 능력에 대한 연구가 부족합니다.

저자들은 단일 확산 정책이 온라인 RL을 사용하여 처음부터 학습됨으로써 다중 작업 블록 밀기 문제를 해결할 수 있는지, 그리고 추가적인 미세 조정 없이 실제 세계로 성공적으로 전이될 수 있는지를 규명하고자 합니다.

방법론

제안된 프레임워크는 세 가지 핵심 구성 요소를 통해 온라인 RL과 확산 정책을 통합합니다.

1. 단순화된 확산 정책 최적화 (ESM)

저자들은 정책 미러 디센트(Policy Mirror Descent)를 기반으로 한 단순화된 정책 최적화 방법을 도출했습니다. 표준 BC에서 사용되는 증거 하한(Evidence Lower Bound, ELBO) 대신, 이들은 에너지 가이드 스코어 매칭(Energy-Guided Score Matching, ESM) 손실 함수를 제안합니다.

메커니즘: 손실 함수는 표준 스코어 매칭 목적 함수를 지수화된 액션 가치 함수( $Q^{\pi_{old}}(s, a)$ )에 의해 재가중합니다.
공식: 목적 함수는 $\mathbb{E}[\exp(Q^{\pi_{old}}(s, a)/\lambda) \|\epsilon_\theta(a_t; s, t) - \epsilon\|^2]$ 를 최소화합니다.
장점: 이 공식은 가중치를 위한 별도의 베이스라인 함수를 학습할 필요가 없으며(IDQL이나 QIPO와 대조됨), 절단된 Q-함수 방법(QVPO 등)보다 음수 Q-값을 더 잘 처리합니다. 이를 통해 확산 모델이 KL 정규화된 RL 목적 함수로부터 유도된 최적 정책을 직접 근사할 수 있게 합니다.

2. 목적 중심 상태 및 액션 표현 (Objective-Centric State and Action Representations)

단일 정책이 여러 작업(서로 다른 블록 모양 및 목표 위치)을 처리할 수 있도록, 저자들은 작업 불가지론적(task-agnostic) 관측 공간을 설계했습니다.

로컬 좌표계: 절대적인 목표 위치에 의존하는 대신, 상태를 블록의 로컬 좌표계("블록 프레임")로 변환합니다. 상태 벡터에는 블록에 대한 에이전트의 상대적 위치와, 블록에 대한 목표의 위치 및 방향이 포함됩니다.
형태 인코딩: 전용 벡터를 통해 블록의 모양(예: T, C, L, I 형태)을 인코딩하여, 정책이 물체의 기하학적 구조에 따라 행동을 결정할 수 있도록 합니다.
액션 공간: 액션은 목표 프레임에서의 속도 명령으로 정의되며, 이후 월드 프레임으로 변환됩니다.

3. 역 커리큘럼 생성 (Reverse Curriculum Generation)

에이전트가 성공했을 때만 보상을 받는 희소 보상 RL의 고유한 탐색 문제를 해결하기 위해, 저자들은 커리큘럼 학습 전략을 채택했습니다.

진행 방식: 훈련은 블록이 목표에 매우 가까이 배치된 상태에서 시작됩니다. 에이전트가 특정 횟수 이상 성공하면, 블록과 목표 사이의 초기 거리가 점진적으로 증가합니다.
목표: 이는 작업 난이도를 단계적으로 높여, 에이전트가 지역 최적점(local optima)에 빠지지 않고 필요한 접촉 빈도가 높은 기동(접촉 형성 및 해제)을 학습하도록 유도합니다.

4. 실제 세계 구현

심-투-리얼 전이를 위해 시스템은 원시 이미지(raw images) 대신 상태 기반 입력을 사용합니다.

인식: 블록의 포즈(pose)는 ArUco 마커 또는 커스텀 포인트 클라우드 레지스트레이션 알고리즘(블록의 평평한 표면과 날카로운 모서리를 활용)을 사용하여 추정됩니다.
강건성: 포즈 추정에 칼만 필터(Kalman filter)가 적용되며, 폐쇄(occlusion) 상황 시 백업 역할을 수행하기 위해 병렬 시뮬레이터가 작동합니다.

주요 결과

시뮬레이션 성능

성공률: 제안된 ESM 알고리즘은 시뮬레이션 내 다중 형상 블록 밀기 작업에서 100% 성공률을 달 기록하였으며, 이는 대부분 실패(0% 성공)를 보인 표준 RL 베이스라인(SAC, PPO, TD3) 및 기타 확산 기반 RL 방법(QVPO, DACER, QSM)을 크게 상회하는 결과입니다.
효율성: ESM은 SAC(평균 에피소드 길이 약 119)에 비해 현저히 적은 단계(평균 에피소드 길이 약 21)를 요구했습니다.
일반화: 학습되지 않은 "I-형" 블록에 대해 테스트했을 때, ESM은 61%의 성공률을 달성한 반면, SAC는 완전히 실패(0%)했습니다.
절제 연구(Ablation Studies): 커리큘럼 학습이나 목적 중심 상태 표현을 제거하면 성능이 저하되기는 하지만 완전한 실패로 이어지지는 않았습니다. 반면 SAC는 이러한 절제 조건 하에서 실패했습니다. 이는 확산 정책과 제안된 설계 선택지의 강건성을 강조합니다.

실제 세계 제로샷 전이 (Real-World Zero-Shot Transfer)

학습된 정책은 실제 세계의 미세 조정 없이 UR5e 매니퓰레이터에 배포되었습니다.

테스트된 변수: 정책은 다음을 포함한 36가지 작업에 대해 평가되었습니다:
- 서로 다른 표면 마찰력 (높은 마찰력 매트 vs 낮은 마찰력 유선지)
- 서로 다른 블록 무게 (표준형 vs 1/4 두께)
- 서로 다른 목표 포즈 (무작위화됨)
성능: ESM 정책은 이러한 변동 사항이 있는 모든 작업들을 성공적으로 해결했습니다.
비교: 대조군인 SAC는 실제 환경의 T-블록 작업에서 실패했으며, 성공한 다른 형상의 경우에도 훨씬 더 많은 단계와 거리가 필요했습니다.

의의 및 주장

본 논문은 복잡하고 접촉이 빈번한 조작 작업을 위해 전문가 시연 없이 온라인 RL를 사용하여 단일 확산 정책을 처음부터 학습시키는 것의 생존 가능성을 입증한다고 주장합니다.

확장성: 행동 복제(BC)에서 벗어남으로써, 다중 작업 학습을 위한 다양한 전문가 데이터가 필요한 병목 현상을 극복합니다.
표현력: 확산 정책의 다중 모드(multi-modal) 특성이 유니모달 가우시안 정책(예: SAC)보다 접촉 빈도가 높은 작업에 필요한 복잡하고 다중적인 솔루션(예: 밀기 vs 회전 전략)을 더 잘 포착할 수 있음을 시사합니다.
심-투-리얼 강건성: 본 프레임워크는 상당한 환경 변화(마찰, 무게, 기하학적 구조)에도 불구하고 제로샷 심-투-리얼 전이를 달고합니다. 저자들은 충분히 표현력이 있는 정책과 세심한 상태 표현이 있다면, 2D 블록 밀기에서의 심-투-리얼 간극을 효과적으로 무시할 수 있다고 주장합니다.
방법론적 기여: 에너지 가이드 스코어 매칭 손실의 도입은 가중치 기반 스코어 매칭 기술과 관련된 계산 및 편향 문제를 피하면서, 확산 모델을 표준 RL 파이프라인에 통합하는 실용적이고 단순화된 방법을 제공합니다.

저자들은 제로샷 전이가 심-투-리얼 간극의 크기에 민감하며(더 복잡한 3D 작업의 경우 도메인 랜덤화나 잔차 학습이 필요할 수 있음), 이 파이프라인이 온라인 RL을 통해 학습된 확산 정책을 사용하는 범용 로봇 조작의 강력한 기준점(baseline)을 구축한다고 결론짓습니다.