💻 computer science

MoDex: A Diffusion Policy for Sequential Multi-Object Dexterous Grasping

Modex는 대립 공간 조건(opposition space condition)을 사용하여 미래의 작업을 위해 자유도를 확보함으로써, 이전에 잡고 있던 물체를 놓지 않고도 다수의 물체를 순차적으로 잡을 수 있게 하는 2단계 확산 정책(two-stage diffusion policy)으로, 기존 베이스라인들과 비교하여 시뮬레이션과 실제 환경 실험 모두에서 우수한 성공률을 달성하였다.

원저자: Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 손을 숙련된 저글러라고 상상해 보세요. 보통 로봇이 물체를 집으려고 할 때, 그들은 단 하나의 물건을 잡기 위해 손 전체, 즉 모든 손가락을 사용합니다. 이는 마치 커피 한 잔을 옮기기 위해 이삿짐 센터 팀 전체를 동원하는 것과 같습니다. 일단 커피 잔을 잡고 나면, 그들은 다음 물건을 집기 위해 반드시 그 잔을 내려놓거나 놓아야만 합니다. 그들은 하나의 물체에 "올인"하여, 다른 일을 할 여분의 손가락을 남겨두지 않습니다.

MoDex는 이 게임의 판도를 바꾸는 새로운 로봇 두뇌입니다. MoDex는 모든 손가락을 하나의 움켜쥐기에 사용하는 대신, 전략적으로 아끼는 법을 배웁니다. 이 로봇은 몇 개의 손가락(예를 들어 엄지와 검지만)만을 사용하여 물체를 집어 올려, 나머지 손가락들을 자유롭고 준비된 상태로 남겨둡니다. 그런 다음, 첫 번째 물체를 놓지 않은 채로, 다른 손가락 세트를 사용하여 두 번째 물체를 잡고, 이어서 세 번째 물체를 잡습니다. 이는 마치 한 손으로 공을 잡고 있는 상태에서, 다른 손으로 두 번째 공을 잡고, 다시 발을 이용해 세 번째 공을 잡는 저글러와 같습니다.

논문은 이 마법 같은 기술을 다음과 같이 쉬운 개념들로 나누어 설명합니다.

1. "대립 공간(Opposition Space)" (규칙집)

MoDex의 핵심 비결은 저자들이 **대립 공간(OS)**이라고 부르는 것입니다. 이것은 모든 움켜쥐기에 대한 규칙집이라고 생각하면 됩니다.

로봇이 물체를 집으려고 하기 전에, 하나의 "규칙"이 로봇에게 지시합니다: "이 특정 물체의 경우, 엄지와 중지만 사용하세요. 약지와 새끼손가락은 자유롭게 두세요."
이는 로봇이 미래에 필요한 손가락을 실수로 사용하지 않도록 보장합니다. 이는 마치 특정 요리에 특정 칼 세트만을 사용하고, 다른 칼들은 다음 코스 요리를 위해 아껴두는 셰프와 같습니다.

2. "기억력" (움켜쥐기 이력)

로봇은 **움켜쥐기 이력(Grasp History)**이라는 단기 기억력을 가지고 있습니다.

만약 로봇이 두 번째 물체를 집고 있다면, 다음과 같이 기억합니다: "나는 이미 엄지와 검지로 공을 잡고 있다."
이 기억은 로봇이 동일한 손가락을 다시 사용하려고 시도하는 것을 방지합니다. 이는 로봇이 현재 "비번" 상태인 손가락들을 사용하여 다음 물체를 잡을 수 있는 새로운 방법을 찾도록 강제합니다.

3. "훈련 캠프" (2단계 학습)

로봇은 하룻밤 사이에 이 기술을 배운 것이 아닙니다. 논문은 인간 운동선수가 훈련하는 방식과 유사한 2단계 훈련 과정을 설명합니다.

1단계: 모방 학습 (전문가 관찰하기): 먼저, 로봇은 컴퓨터 시뮬레이션 속에서 전문가의 인간다운 시연 영상을 수천 번 관찰했습니다. 로봇은 이러한 동작을 복사하는 법을 배웠는데, 이는 마치 학생이 선생님의 글씨체를 베껴 쓰는 것과 같습니다. 이를 통해 로봇은 좋은 시작점을 가질 수 있었습니다.
2단계: 강화 학습 (시행착오): 그 후, 로봇은 스스로 연습할 수 있는 "체육관"에 투입되었습니다. 로봇에게는 다음과 같은 보상 체계가 주어졌습니다:
- 좋음: 새로운 물체를 집어 올리면서 동시에 기존의 물체들도 떨어뜨리지 않고 유지함.
- 나쁨: 물체를 떨어뜨리거나, 테이블을 치거나, 움직이지 않기로 되어 있는 손가락을 까닥거림.
- 이 단계는 로봇을 미세 조정하여, 단순히 영상을 복사하는 것보다 훨씬 더 신뢰할 수 있게 만들었습니다.

4. 결과: 시뮬레이션 vs. 현실

연구진은 MoDex를 두 곳에서 테스트했습니다.

컴퓨터 안에서 (시뮬레이션): 가상 로봇 팔(Franka Panda)과 정교한 손(Allegro Hand)을 사용했습니다. 연구진은 연속으로 세 개의 물체를 집도록 요청했습니다. MoDex는 평균적으로 약 **56%**의 성공률을 보이며 훨씬 뛰어난 성과를 냈습니다. 반면 다른 방법들은 물체의 개수가 늘어남에 따라 고전하거나 완전히 실패했습니다.
실제 세상에서: 연구진은 동일한 코드를 실제 실험실의 실제 로봇에 적용했습니다. 로봇이 실제 물체를 본 적이 없음에도 불구하고(시뮬레이션에서만 보았음), 여전히 작동했습니다! 로봇은 실제 물체들을 성공적으로 집어 올렸으나, 컴퓨터 환경보다는 약간 덜 완벽했습니다(가장 어려운 작업에서 성공률이 ~56%에서 ~35%로 감소). 이는 "심투리얼(sim-to-real, 시뮬레이션에서 현실로의 전이)"이 작동함을 증명합니다.

MoDex가 아직 할 수 없는 것 (한계점)

논문은 로봇이 아직 할 수 없는 부분에 대해 솔직하게 밝히고 있습니다:

"손안의 마법" 불가: 인간은 펜을 두 손가락으로 집은 뒤, 놓지 않고도 더 편한 움켜쥐기 방식으로 바꿀 수 있습니다. MoDex는 이를 할 수 없습니다. 일단 특정 손가락 세트로 물체를 잡으면, 끝날 때까지 그 움켜쥐기를 유지합니다.
전략적 계획 불가: 로봇은 어떤 손가락을 사용할지 또는 어떤 물체를 먼저 집을지 결정하지 않습니다. 인간이 이를 결정하며, 로봇은 주어진 지침을 따를 뿐입니다.

종합적인 관점

이 논문은 현재의 로봇들이 자신들의 화려하고 다지형인 손을 "과소 활용"하고 있다고 결론짓습니다. 손가락을 한 번에 몇 개씩만 사용하도록 가르치고 나머지를 나중을 위해 아껴둠으로써, 우리는 로봇이 물체를 떨어뜨리지 않고 여러 아이템을 다루는 능력을 훨씬 향elle지게 만들 수 있습니다. MoDex는 이러한 "순차적 절약" 전략이 효과가 있음을 입증한 첫 번째 시스템으로, 서투른 로봇 손을 세심하고 멀티태스킹이 가능한 저글러로 탈바꿈시켰습니다.

기술 요약: MoDex – 순차적 다중 물체 데이레스터스 그래스핑을 위한 디퓨전 폴리시

문제 정의

현재의 데이레스터스 그래스핑(dexterous grasping) 방법들은 종종 손의 가용 자유도(DoF)를 단일 물체에 모두 할당하는 경 경향이 있습니다. 이는 특정 파지(grasp)에 대한 안정성은 극대화할 수 있지만, 손의 기교(dexterity)를 충분히 활용하지 못하며 후속 파지를 위한 여유분을 남기지 않습니다. 또한, 기존의 다중 물체 그래스핑 접근 방식은 알려진 물체 모델에 의존하거나, 파지 생성과 실행이 분리되어 있거나, 고정된 물체 포즈를 사용하는 경우가 많아 역동적인 실제 환경에서의 적용 가능성을 제한합니다.

본 연구는 **순차적 다중 물체 그래스핑(sequential multi-object grasping)**이라는 과제를 다룹니다. 이는 이전에 잡은 $i-1$ 개의 물체를 놓지 않고 유지하면서, $i$ 번째 타겟 물체를 잡는 작업입니다. 본 연구에서 사용된 Allegro Hand의 운동학적 제약으로 인해 파지 가능한 최대 물체의 수는 세 개( $I \le 3$ )로 제한됩니다. 핵심적인 어려움은 부분적인 관측값으로부터 행동을 매핑하는 제어 정책을 학습하면서, 현재의 물체를 위한 활성 손가락(DoF) 부분집합과 미래의 물체를 위해 예약된 부분을 동적으로 관리하는 것입니다.

방법론: MoDex

MoDex는 관측값으로부터 다음 그리퍼 포즈를 직접 예측하도록 설계된 **디퓨전 폴리시(Diffusion Policy, DP)**입니다. 이는 모방 학습(IL) 사전 훈련과 강화 학습(RL) 미세 조정의 2단계 훈련 프레임워크 내에서 작동합니다.

1. 정책 아키텍처 및 컨디셔닝(Conditioning)

MoDex는 예측 호라이즌(prediction horizon)에 걸친 액션 청크(action chunks)를 처리하는 인코더-디노이저 아키텍처(구체적으로 1D 컨볼루션 U-Net)를 따릅니다. 이 정책은 세 가지 핵심 입력값에 의해 컨디셔닝됩니다:

부분 포인트 클라우드 ( $P_t$ ): 환경에 대한 원시 지각 정보.
오포지션 스페이스(Opposition Space, OS) 벡터 ( $f_i$ ): 현재 파지에 참여하는 손가락을 지정하는 이진 지표 벡터입니다. 이는 현재 물체를 위한 활성 DoF를 명시적으로 제한하여, 나머지 DoF를 후속 파지를 위해 예약합니다.
그래스프 히스토리 컨텍스트 ( $h_{i-1}$ ): 이전 모든 파스의 OS 벡터를 결합한 벡터입니다. 이는 정책에 어떤 손가락이 이미 점유되었는지 알려주어, 새로운 물체를 위해 활성 DoF가 재사용되는 것을 방지합니다.

OS와 히스토리는 모든 디노이징 단계에서 노이즈가 섞인 액션 청크와 결합되어, 정책이 운동학적 중복성과 손가락 할당을 추론할 수 있도록 합니다.

2. 훈련 파이프라인

1단계: 모방 학습 (사전 훈련): MoDex는 시뮬레이션(Robosuite)에서 생성된 전문가의 순차적 그래스핑 궤적 데이터셋을 통해 사전 훈련됩니다. 휴리스틱 포즈 생성기와 운영 공간 제어기(OSC)가 이러한 데모를 생성합니다. 정책은 액션 청크의 노이즈를 제거하는 행동 복제(behavior cloning) 목적 함수를 사용하여 학습됩니다.
2단계: 강화 학습 미세 조정: 강건성을 높이고 분포 외(out-of-distribution) 상태를 처리하기 위해, 사전 훈련된 정책은 **디퓨전 폴리시 폴리 옵티마이제이션(DPPO)**을 사용하여 미세 조정됩니다. 이는 디노이징 과정을 중첩된 마르코프 결정 과정(MDP)으로 취급합니다.
- 보상 함수: 다음과 같은 밀집된 작업 특화 보상( $r_{base}$ $r_{ba se}$ )이 사용됩니다:
  - $r_{succ}$ : 이전 물체들을 유지하면서 타겟을 성공적으로 들어 올렸을 때 주어지는 큰 상수 보상.
  - $r_{grasp}$ : 활성 손가락이 타겟에 접촉하도록 유도함.
  - $r_{maintain}$ : 이전에 잡은 물체들을 안전하고 정지된 상태로 유지하도록 보상함.
  - $r_{avoid}$ : 테이블과의 충돌이나 유휴 손가락의 불필요한 접촉에 대해 벌점을 부여함.
  - $r_{ina}$ : 유휴 손가락이 떨리거나 표류하는 것을 방지하기 위한 벌점이며, 이는 후속 파스의 안정성을 유지하는 데 매우 중요함.

주요 기여

MoDex: 원시 관측값으로부터 그래스프 행동을 직접 매핑하면서 운동학적 중복성을 보존하는 최초의 순차적 다형 물체 그래스핑용 디퓨전 폴리시입니다.
컨디셔닝 메커즘: 오포지션 스페이스(OS)와 그래스프 히스토리 컨텍스트를 명시적인 컨디셔닝 신호로 도입하여, 단일 정책이 잡고 있는 물체를 놓지 않고도 복잡한 다단계 그래스핑 작업을 관리할 수 있게 했습니다.
데이터 수집 알고리즘: 물체를 유효한 OS 구성과 체계적으로 쌍을 이루도록 하는 스테이지 인덱스 기반 전문가 궤적 수집을 위한 새로운 알고리즘을 제안합니다.
포괄적 평가: 시뮬레이션과 실제 하드웨어 모두에서 대표적인 모방 학습(BC-RNN, MoDex-BC) 및 강화 학습(PPO, SeqDiffifer) 베이스라인과 MoDex를 광범위하게 벤치마킹했습니다.

실험 결과

저자들은 다양한 기하학적 형상(구, 원기둥, 상자)을 가진 15개의 물체에 대해 Franka Emika Panda 암과 Allegro Hand를 사용하여 MoDex를 평가했습니다.

시뮬레이션 성능: MoDex는 모든 그래스프 단계(1, 2, 3단계)에서 가장 높은 성공률을 달 기록했습니다.
- 1단계: 75.00% (MoDex-BC의 57.08% 대비).
- 2단계: 49.58% (MoDex-BC의 50.00%와 유사하지만, 0%를 기록한 PPO와 같은 베이스라인보다 현저히 높음).
- 3단계: 45.00% (MoDex-BC의 42.08% 대비).
- 전반적 개선: MoDex는 시뮬레이션에서 가장 우수한 학습 기반 베이스라인보다 2.92~17.92% 향상된 성능을 보였습니다.
실제 환경 전이: MoDex는 미지의 물체에 대한 제로샷 전이(zero-shot transfer)를 포함하여 실제 하드웨어에 배치되었습니다.
- 1단계에서 57.78%, 2단계에서 26.67%, 3단계에서 **20.00%**의 성공률을 달성했습니다.
- 이는 Mo-Dex-BC(사전 훈련만 수행, RL 미세 조정 없음) 베이스라인보다 6.67~17.78% 향상된 수치로, 심투리얼(sim-to-real) 격차를 줄이는 데 있어 DPPO 미세 조정의 결정적인 역할을 입증합니다.
절제 연구(Ablation Studies): OS 컨디션이나 그래스프 히스토리 컨텍스트를 제거하면 2단계와 3단계에서 성능이 크게 저하되어, 명시적인 손가락 할당 신호가 순차적 그래스핑에 필수적임을 확인했습니다. 마찬가지로, DPPO 미세 조정을 제거하면 특히 실제 환경에서 성공률이 낮아졌습니다.

의의 및 한계점

본 논문은 현재의 방법들이 DoF 할당을 관리하지 못함으로써 데이레스터스 핸드의 잠재력을 충분히 활용하지 못할 수 있다고 주장합니다. MoDex는 오포지션 스페이스와 그래스프 히스토리에 조건화된 단일 디퓨전 폴리시가 이 문제를 효과적으로 해결할 수 있으며, 분리된 계획이나 표준 RL로부터 시작하는 방식보다 우수함을 보여줍니다.

한계점:
저자들은 Mo-Dex가 아직 다음 두 가지 측면에서 인간 수준의 숙련도에 도달하지 못했음을 인정합니다:

인핸드 리그래스핑(In-hand Regrasping): 정책은 하나의 오브젝트당 단일 오포지션 스페이스를 확정하며, 핸드 조작(예: 물체를 핀치 그립에서 파워 그립으로 전환하는 것)을 수행할 수 없습니다.
태스크 플래닝(Task Planning): MoDex는 OS 할당과 물체를 집는 순서가 입력으로 제공된다고 가정하며, 최적의 OS나 집는 순서를 자율적으로 추론하지는 않습니다.

본 연구는 MoDex가 순차적 그래스핑 문제를 성공적으로 해결했지만, 향후 연구는 인핸드 조작 및 자율적 태스크 플래닝을 통합하는 데 집중해야 한다고 결론짓습니다.