💻 computer science

Decompose and Reorganize: Planning with Primitives and Visuomotor Policies Learned from Demonstrations

이 논문은 시각-운동 정책을 작업 및 모션 계획(TAMP)과 통합하여 데모를 원자적 기술로 분해함으로써, 전통적인 계획 방식의 취약성과 순수 모방 학습의 일반화 한계를 극복하고 견고하며 데이터 효율적인 장기 로봇 조작을 가능하게 하는 DR-LfD 프레임워크를 제안한다.

원저자: Yizhou Chen, Hang Xu, Dongjie Yu, Yupu Lu, Tengye Xu, Zeqing Zhang, Wei Zhang, Yi Ren, Ben M. Chen, Jia Pan

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yizhou Chen, Hang Xu, Dongjie Yu, Yupu Lu, Tengye Xu, Zeqing Zhang, Wei Zhang, Yi Ren, Ben M. Chen, Jia Pan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 저글링을 하며 외줄 타기를 하는 것과 같은 복잡한 마술을 가르치는 것을 상상해 보세요. 오랫동안 과학자들은 로봇을 가르치는 두 가지 주요 방법을 시도해 왔습니다. 첫 번째 방법은 인간이 작성한 엄격하고 단계적인 레시피를 로봇에게 주는 것과 같습니다. 이는 논리적이지만, 로봇이 숟가락을 떨어뜨리거나 테이블이 약간만 움직여도 레시피가 깨져서 로봇이 동작을 멈추게 됩니다. 두 번째 방법은 로봇에게 사람이 마술을 하는 영상을 보여주고 로봇이 그것을 보고 배우기를 바라는 것입니다. 이는 동작을 모방하는 데는 뛰어나지만, 만약 로봇이 영상 속의 숟가락 위치와 아주 조금이라도 다른 곳에 있는 숟가락을 보게 되면 혼란에 빠져 실패하게 됩니다. 핵심 질문은 이것입니다: 어떻게 하면 두 가지 방식의 장점을 모두 취할 수 있을까요? 어떻게 하면 모든 가능성을 학습하기 위해 수백만 개의 영상을 볼 필요 없이, 앞을 내다볼 만큼 똑똑하면서도 현실 세계의 무질서함에 유연하게 대처할 수 있는 로봇을 만들 수 있을까요?

이 논문은 이 퍼즐을 풀기 위해 노력하는 DR-LfD(Demonstrations로부터 분해되고 재구성된 기술)라고 불리는 새로운 시스템을 소개합니다. 이것을 단순히 7코스 요리의 거대한 레시피 하나를 통째로 암기하는 것이 아니라, 양파를 다지거나, 스테이크를 굽거나, 달걀을 휘젓는 것과 같이 작고 완벽한 "기술(skills)"로 나누어 익히는 마스터 셰프라고 생각해 보세요. 셰프는 각 작은 기술을 완벽해질 때까지 몇 번 연습합니다. 그러고 나서 고객이 새롭고 생소한 요리를 주문하면, 셰프는 당황하지 않습니다. 그저 주문을 확인하고, 자신의 머릿속 목록에서 미리 연습해 둔 적절한 기술들을 골라 새로운 요리를 만들기 위해 그 순서를 재배열할 뿐입니다.

이 논문은 긴 복잡한 과업을 이처럼 작고 재사용 가능한 "기술"로 나눔으로써, 로봇이 훨씬 더 빠르게 학습하고 새로운 상황에 훨씬 더 잘 대対処할 수 있다고 제안합니다. 20단계의 과업이 가질 수 있는 모든 조합을 학습하는 대신(이는 시간이 너무 오래 걸릴 것입니다), 로봇은 20개의 개별 단계를 단 한 번씩만 학습하면 됩니다. 그러면 스마트한 "플래너(planner, 계획가)"(셰프의 두뇌)가 어떤 새로운 작업이 주어지든 그 단계들을 어떻게 조합할지 결정합니다.

DR-LfD가 작동하는 방식은 로봇이 복잡한 비디오 게임을 배우는 비유를 들어 설명하겠습니다.

1. 게임을 레벨로 나누기 (Decomposition, 분해)
인간이 로봇에게 어떤 과업(예: 드라이버를 챙기거나 친구에게 컵을 건네주는 것)을 보여줄 때, 시스템은 전체 과정을 하나의 긴 영상으로 기록하지 않습니다. 대신 특수한 "접촉 감지기(contact detector)"를 사용하여 로봇의 손이 물체에 닿거나 놓는 순간을 포착합니다. 이를 통해 영상을 작은 조각들로 자릅니다.

"단순 동작(Simple Moves)": 컵을 집거나 내려놓는 것과 같은 쉬운 부분의 경우, 로봇은 "프리미티브(primitive)"를 학습합니다. 이것은 테이블 위의 어디에 있더라도 물체를 잡기 위해 팔을 어떻게 움직여야 하는지 정확히 아는, 마치 프로그래밍된 근육 기억과 같습니다.
"어려운 동작(Hard Moves)": 컵을 닦거나 물체를 두 손 사이로 전달하는 것과 같은 까다로운 부분의 경우, 로봇은 "시각-운동 정책(visuomotor policy)"을 학습합니다. 이것은 카메라를 관찰하며 물체를 안정적으로 유지하기 위해 실시간으로 손을 조절하는 반사 신경과 같습니다.
"연결 동작(Bridge Moves)": 빈 공간을 이동하는 동안에는 표준 수학을 사용하여 경로를 계획합니다.

2. 스마트 플래너 (Reorganization, 재구성)
로봇이 이러한 기술들의 "도구 상자"를 갖추게 되면, 단순히 순서대로 맹목적으로 실행하지 않습니다. 로봇은 **과업 및 동작 플래너(TAMP)**를 사용합니다. 이 플래너를 로봇 두뇌의 GPS라고 생각하세요.

만약 로봇이 사람에게 컵을 건네줘야 한다면, 플래너는 다음과 같이 확인합니다: "컵이 닿을 수 있는 거리인가? 사람의 손이 올바른 위치에 있는가? 의자가 길을 막고 있지는 않은가?"
만약 컵이 너무 멀리 있다면, 플래너는 단순히 "실패"라고 말하지 않습니다. 대신 이렇게 말합니다: "좋아, 먼저 의자를 치우고, 그다음 컵을 집은 뒤, 그다음에 건네주자."
만약 로봇이 컵을 잡으려다 컵이 움직여서 놓친다면, 플래너는 이를 알아차리고 동작을 멈춘 뒤 새로운 경로를 다시 계산합니다. 이는 교통 체증이 발생했을 때 경로를 재탐색하는 GPS와 같습니다.

3. 시스템 테스트
저자들은 컴퓨터 시뮬레이션과 실제 로봇(ALOHA라는 듀얼 암 로봇 사용) 모두에서 이 시스템을 테스트했습니다. 그들은 각 기술에 대해 단 20번의 시연 데이터만을 제공했습니다.

결과: 로봇에게 본 적 없는 낯선 장소에 물체를 두었을 때, 기존 방식(단순히 영상을 보는 방식 등)은 자주 실패했습니다. 하지만 DR-LfD는 계속해서 성공했습니다. 예를 들어, "구멍에 끼우기(peg-in-hole)" 과업에서 구멍의 위치가 바뀌었을 때 기존 방식들은 절반 정도 실패했지만, DR-LFD는 표준 테스트에서 100%, 매우 어렵고 무작위적인 테스트에서 88%의 성공률을 보였습니다.
장애물 처리: 한 테스트에서 로봇의 팔을 가로막는 막대기를 놓았습니다. 로봇은 목표물에 닿을 수 없다는 것을 깨닫고, 플래너는 막대기를 먼저 치운 다음 목표물을 향해 손을 뻗으라고 지시했습니다. 로봇은 장애물을 성공적으로 제거하고 작업을 마쳤습니다.
긴 과업 수행: 그들은 심지어 세 개의 다른 테이프를 바구니에 전달하거나, 컵을 닦으며 드라이버를 챙기는 것과 같은 긴 다단계 과업을 수행하게 했습니다. 이러한 특정 실험에서 로봇은 19개에서 21개의 단계를 성공적으로 연결했는데, 이는 보통 로봇이 혼란에 빠져 실패하게 되는 데피트입니다. 다만, 논문에서는 이러한 성공이 플래너의 계산 능력 범위 내에 있으며 테스트된 특정 과업들에 국한된 것임을 명시하고 있습니다.

논문에서 밝힌 한계점 (아직 할 수 없는 것)
저자들은 이것이 마법이 아니라는 점을 분명히 하고 있습니다. 이 시스템은 여전히 인간이 목표를 지정하거나 선호도를 제공해야 하며, 그러한 입력 없이는 스스로 "무엇을 해야 할지" 알아낼 수 없습니다. 또한, 로봇은 물체를 보기 위해 3D 깊이 카메라에 의존하기 때문에, 카메라가 더럽거나 조명이 좋지 않으면 혼란을 겪을 수 있습니다. 논문은 또한 과업이 너무 많은 물체와 함께 지나치게 복잡해지면, 플래너가 생각하는 데 시간이 더 오래 걸린다는 점(마치 사람이 너무 많은 선택지 때문에 압도당하는 것과 같음)을 언급했습니다.

결론
이 논문은 로봇에게 작고 재사용 가능한 기술을 학습시키고, 이를 스마트한 플래너를 통해 조합하도록 가르침으로써, 우리가 훨씬 더 유연하고 훨씬 더 적은 학습 데이터를 요구하는 로봇을 만들 수 있다는 것을 시사합니다. 이는 로봇이 지저진 방에 들어가서 (인간이 목표를 알려준다면) 무엇을 해야 할지 파악하고, 모든 가능한 시나리오마다 수백만 번의 연습 영상을 볼 필요 없이 과업을 수행할 수 있게 하는 단계로 나아가는 길입니다.

기술 요약: DR-LfD (시연으로부터 학습된 분해 및 재구성된 기술)

1. 문제 정의

장기적 로봇 조작(Long-horizon robotic manipulation)은 고수준 추론(기술 시퀀싱)과 미세한 실행(접촉이 풍부한 작업)을 동시에 수행할 수 있는 프레임워크를 필요로 합니다. 기존의 접근 방식들은 근본적인 트레이드오프에 직면해 있습니다:

태스크 및 모션 플래닝 (TAMP): 기호적 추론과 제약 조건 충족에는 뛰어나지만, 수동으로 설계된 모델과 정밀한 인지에 의존하는 경우가 많아 접촉이 풍부하고 구조화되지 않은 환경에서는 취약할 수 있습니다.
모방 학습 (IL): 데이터로부터 복잡한 시각-운동 행동을 복제하는 데 효과적이지만, 공간적 일반화 능력이 부족하고 다단계 전이를 처리하는 데 어려움을 겪습니다. 엔드 투 엔드(End-to-end) 정책은 언제 어떻게 기술을 전환할지에 대한 조합 논리를 암묵적으로 학습해야 하며, 이는 보지 못한 설정이나 긴 시퀀스에 일반화하기 위해 기하급수적으로 큰 데이터셋을 요구합니다.

핵심 과제는 **조합적 복잡성(Combinatorial complexity)**입니다. $N$ 개의 가용 프리미티브로부터 $M$ 개의 기술 시퀀스를 위한 정책을 학습하는 것은 일반적으로 $M$ 에 따라 기하급수적으로 증가하는 데이터를 요구합니다. 또한, 현재의 하이브리드 시스템은 학습된 정책을 통합할 때 견고한 기술 전환 기준을 정의하고 물리적 제약(도달 가능성, 충돌)을 처리하는 데 어려움을 겪는 경우가 많습니다.

2. 방법론: DR-LfD 프레임워크

DR-LfD는 인간의 시연을 원자적 기술(Atomic skills)로 분해하고 이를 TAMP 게이트 결정 시스템을 통해 재구성하는 체계적인 프레임워크를 제안합니다. 이 프레임워크는 **오프라인 기술 습득(Offline Skill Acquisition)**과 **온라인 계획 구성(Online Plan Composition)**의 두 단계로 작동합니다.

A. 기술 분해 및 추상화

시스템은 **접촉 관계(Contact relationships)**를 기반으로 시연 데이터를 처리하여 원자적 기술을 추출합니다:

VLM 지원 그라운딩: 시각-언어 모델(VLM, 구체적으로 Qwen-VL-Max)이 비디오 시연을 분석하여 작업 객체, 객체의 속성(예: 용기, 표면), 그리고 일련의 이산적 기술을 식별합니다. 이는 에지 작업(그리퍼-객체 또는 객체-객체 상호작용)을 특정 기술에 그라운딩합니다.
접촉 인식 파티셔닝: 시연은 접촉 상태의 변화(예: 그리퍼와 객체 사이의 거리 임계값)를 감지함으로써 뚜렷한 단계(시작, 접촉 풍부, 종료)로 분할됩니다.
그래프 표현: 각 기술은 **전제 조건 그래프( $G_{pre}$ )**와 **효과 그래프( $G_{eff}$ )**로 추상화됩니다. 이 그래프들은 씬 그래프(Scene-graph) 구조를 사용하여 접촉 시그니처(예: "그리퍼가 객체를 잡고 있음", "객체가 테이블 위에 있음")를 나타내며, 확률적인 중간 행동들을 추상화합니다.

B. 기술 학습 및 분류

데이터 효율성과 일반화 성능을 극대화하기 위해 서로 다른 표현 방식을 사용하여 기술을 분류하고 학습합니다:

객체 중심 프리미티브 (낮은 복잡도): 단순한 기술(예: 집기, 놓기, 떨어뜨리기)의 경우, 시스템은 **SO(3)-등변 디퓨전 모델(SO(3)-equivariant diffusion model)**을 사용하여 오픈 루프 궤적을 학습합니다. 이 네트워크는 포인트 클라우드와 언어 설명을 입력으로 받아 말단 장치(End-effector)의 궤적, 손가락 관절 각도, 접촉 상태를 예측합니다. 등변성(Equivariance)은 대규모 데이터 증강 없이도 새로운 객체 배치에 대한 견고한 공간적 일반화를 보장합니다.
시각-운동 정책 (접촉 풍로): 복잡하고 접촉이 풍부한 기술(예: 닦기, 주고받기)의 경우, 시스템은 폐쇄 루프 시각-운동 정책(예: Diffusion Policy 사용)을 학습합니다. 결정적으로, 이러한 정책을 시작하고 종료하는 데 필요한 초기 및 최종 고유 수용성 상태(Keyposes)를 예측하도록 훈련된 키포즈 예측기(KeyPose Predictor)(디퓨전 기반 MLP)가 학습됩니다. 이는 정책이 분포 내(In-distribution) 상태에서 시작되도록 보장합니다.
계획된 궤적: 접촉이 없는 기술(예: 이동/Transit)은 고전적인 모션 플래너에 의해 처리됩니다.

C. TAMP와의 통합 (스트림 함수)

학습된 기술은 PDDLStream 프레임워크와 호환되는 **스트림 함수(Stream functions)**로 인코딩됩니다:

스트림 함수: 이들은 기호적 전제 조건을 연속 변수(포즈, 궤적) 또는 이진 안전 체크로 매핑하는 조건부 생성기 역할을 합니다.
자동 스키마 구축: 알고리즘은 접촉 그래프( $G_{pre}, G_{eff}$ )와 에지 작업을 PDDL 술어(Predicate)로 자동 변환하고 이를 적절한 스트림 함수(예: LearnedAttach, LearnedUniKeyPose)와 연관시킵니다.
제약 조건 강제: 프레임워크는 물리적 제약을 위한 특정 테스트 스트림을 구현합니다:
- 도달 가능성(Reachability): 사전 계산된 맵을 통해 특정 팔 구성에 의해 객체가 도달 가능한지 확인합니다.
- 정책 안전성(Policy Safety): 시연 궤적으로부터 최소 거리 필드(Minimum Distance Field, MDF)를 구축하여 "안전 구역"을 정의합니다. 플래너는 정책을 실행하기 전에 예상치 못한 장애물이 이러한 안전 제약을 위반하는지 검증합니다.

D. 온라인 실행 및 적응

온라인 단계는 인지-계획-실행-검증(Perceive-plan-act-verify) 루프를 채택합니다:

글로벌 스켈레톤: 거친(Coarse) TAMP 솔버가 현재 상태와 목표를 바탕으로 고수준 기술 시퀀스(Skeleton)를 생성합니다.
로컬 재계획: 스켈레톤의 각 기술에 대해, 시스템은 인지를 통해 상태를 갱신하고, 상세한 동작(또는 정책을 위한 키포즈)을 생성하기 위해 로컬 TAMP 문제를 풀고 명령을 실행합니다.
검증: 접촉 탐지기가 실행을 모니터링합니다. 만약 기술이 실패하거나(예: 잡기 실패) 상태가 이탈하면, 시스템은 전체 태스크를 실패시키는 대신 동일한 서브골(Subgoal)에 대해 로컬 재계획을 트리거합니다.

3. 주요 기여

TAMP 게이트형 분해: 시연으로부터 원자적 기술을 추상화하고 이를 TAMP를 통해 재구성하여 조합적 목표를 달성하는 새로운 시스템으로, 데이터 부담을 지수적인 시퀀스 길이에서 구별되는 기술 유형의 수로 전환합니다.
등변 프리미티브: 객체 중심 프리미티브를 학습하기 위해 등변 디퓨전 모델을 사용하여 최소한의 데이터(예: 기술당 20개의 시연)로 견고한 공간적 일반화를 가능하게 합니다.
TAMP 호환 정책 모델링: 학습된 시각-운동 정책의 시작, 종료 및 제약 조건을 샘플링 기반 TAMP와 호환되는 형태로 모델링하는 체계적인 방법을 제공합니다(키포즈 예측기 및 MDF 안전 체크 활용).
포괄적 검증: 시뮬레이션 및 실제 환경의 듀얼 암(ALOHA) 하드웨어에서 보지 못한 설정 및 물리적 제약이 있는 장기적 과제를 처리하는 프레임워크의 능력을 입증했습니다.

4. 실험 결과

저자들은 시뮬레이션 및 실제 벤치마크에서 DR-LfD를 최신 시각-운동 학습(IL) 방법(ACT, DP, $\pi_0.5$ ) 및 TAMP 베이스라인과 비교하여 평가했습니다.

공간적 일반화 (OOD): "Peg-in-Hole" 태스크에서 DR-LfD는 분포 내(ID) 설정에서 100% 성공률을, 고도로 분포 외(XYH-OOD) 설정에서 **88%**를 달성하여 베이스라인(예: XYH-OOD에서 12%를 기록한 DP)을 크게 앞질렀습니다.
실제 환경 듀얼 암 태스크: Object Handoff, Screwdriver Packing, Cup-sleeve Insertion과 같은 태스크에서 DR-LfD는 일관되게 DP보다 우수한 성능을 보였으며, 특히 OOD 및 "Leaky"(복잡한 변위) 시나리오에서 사전 학습된 $\pi_0.5$ 모델과 대등하거나 이를 능가했습니다.
제약 조건 처리: "Unreachable" 및 "Unsafe" 시나리오에서 DR-LfD는 장애물을 이동시키거나 객체를 재배치하여 도달 가능성 및 충돌 제약을 충족하도록 성공적으로 재계획을 수행하여 각각 55%와 70%의 성공률을 달 기록한 반면, 베이스라인들은 완전히 실패했습니다.
장기적 구성: 시스템은 학습된 소수의 기술을 사용하여 19~21단계의 계획(예: "Three-Tapes" 및 "Cup-Sponge-Screwdriver" 태스크)을 성공적으로 구성했습니다.
데이터 효율성: DexMimicGen 데이터셋에서 DR-LfD는 100개의 시연만으로 학습하여 1,000개의 시연을 학습한 Diffusion Policy를 능가했으며, 이는 분해 접근 방식의 효율성을 강조합니다.

5. 의의 및 주장

본 논문은 DR-LfD가 기술 실행과 기술 시퀀싱을 분리함으로써 엔드 투 엔드 학습의 근본적인 한계를 해결한다고 주장합니다. 학습된 기술을 모듈화되고 TAMP와 호환되는 구성 요소로 취급함으로써, 프레임워크는 다음을 실현합니다:

데이터 요구량 감소: 기술을 독립적으로 학습하고 이를 재조합함으로써 지수적인 데이터셋이 필요하지 않도록 합니다.
신뢰성 향 향상: 물리적 제약(도달 가능성, 충돌)을 계획 루프에 직접 통합하여 시스템이 실패에서 회복하고 보지 못한 객체 배치를 처리할 수 있도록 합니다.
격차 해소: 시각-운동 정책의 유연성과 기호적 플래닝의 추론 능력을 효과적으로 통합하여, 비구조화된 환경의 실제 환경에서 복잡하고 접촉이 풍부한 장기적 조작 태스크에 적합하게 만듭니다.

저자들은 TAMP의 고유한 한계(객체 증가에 따른 지수적 복잡성)와 등변 학습의 한계(깊이 센싱에 대한 의존성)를 인정하며, 자동화된 목표 명세 및 깊이 정보가 필요 없는 등변 학습에 대한 향후 연구를 제시합니다. 그러나 현재의 프레임워크가 비구조화된 환경에서 숙련된 로봇을 배치하기 위한 견고하고 데이터 효율적인 경로를 제공한다고 단언합니다.