RoTri-Diff: A Spatial Robot-Object Triadic Interaction-Guided Diffusion Model for Bimanual Manipulation

이 논문은 양손 조작 작업에서 두 로봇 팔과 물체 간의 공간적 삼각 관계를 명시적으로 모델링하여 충돌을 방지하고 안정적인 협동 궤적을 생성하는 새로운 확산 기반 모방 학습 프레임워크인 RoTri-Diff 를 제안합니다.

핵심

🤖 로봇의 '두 손'이 망치는 이유: "나만 잘하면 되지!"

지금까지의 로봇들은 두 손으로 물건을 다룰 때, 주로 두 가지 방식 중 하나를 따랐습니다.

1. 손만 보는 로봇 (Robot-Centric): "내 손이 어디로 가야지?"만 생각합니다. 물건의 상태는 덜 중요하게 여깁니다.
   • 문제점: 두 손이 서로 부딪히거나, 물건을 놓쳐버립니다. 마치 눈을 감고 두 손으로 공을 잡으려다 서로 주먹을 맞대는 상황과 같습니다.
2. 물건만 보는 로봇 (Object-Centric): "물건이 어디로 움직이지?"만 생각합니다.
   • 문제점: 물건을 잡으려다 다른 손이 방해가 되어 물건을 떨어뜨립니다. 마치 접시를 한 손으로 들어 올리려는데, 다른 손이 접시 아래를 못 받쳐서 접시가 미끄러지는 상황과 같습니다.

이전 연구들은 두 손과 물건 사이의 미묘한 공간적 관계를 제대로 이해하지 못해, 복잡한 작업 (예: 한 손으로 접시를 기울이고 다른 손으로 잡기) 에서 자주 실패했습니다.

---

✨ RoTri-Diff 의 비밀: "삼각형의 마법"

이 논문은 인간이 두 손으로 물건을 다룰 때 어떤 생각을 하는지 관찰했습니다. 인간은 단순히 "내 손이 어디로 가나?"가 아니라, **"내 두 손과 물건이 이루는 삼각형 관계"**를 끊임없이 감지합니다.

• 왼손과 오른손 사이의 거리
• 왼손과 물건 사이의 거리
• 오른손과 물건 사이의 거리

이 세 가지가 하나의 삼각형을 이루며 서로 연결되어 있어야 안정적입니다.

RoTri-Diff는 바로 이 **'로봇 - 물건 삼각형 상호작용 (Robot-Object Triadic Interaction)'**을 수학적으로 모델링했습니다.

비유: 마치 세 사람이 줄다리기를 할 때, 세 사람 사이의 줄의 장력이 균형을 이루어야 넘어지지 않는 것과 같습니다. RoTri-Diff 는 이 '줄의 장력 (공간적 관계)'을 실시간으로 계산하여, 로봇 두 손이 물건을 놓치지 않고 완벽하게 조화롭게 움직이게 합니다.

---

🎨 어떻게 작동할까요? (마법 같은 그림 그리기)

이 기술은 **'확산 모델 (Diffusion Model)'**이라는 AI 기술을 사용합니다. 이걸 어떤 그림을 그리는 과정에 비유해 볼까요?

1. 잡동사니부터 시작 (Noisy Input): 처음에는 로봇의 움직임이 엉망진창인 잡음 (Noise) 상태입니다.
2. 세 가지 나침반 (Guidance Signals): 로봇은 그림을 그릴 때 세 가지 나침반을 봅니다.
   • 키포즈 (Keyposes): "이제 손이 어디로 가야 할지 큰 방향 (중요한 지점)"을 알려줍니다. (예: 접시 가장자리를 잡아야 해!)
   • 물건 움직임 (Object Flow): "물건이 앞으로 어떻게 움직일지"를 예측합니다. (예: 접시가 기울어지면 물이 쏟아질 수 있으니 조심해!)
   • RoTri (삼각형 관계): "두 손과 물건이 서로 너무 멀지 않고, 너무 가깝지도 않게 유지해!"라고 끊임없이 조언합니다.
3. 점점 선명해짐 (Denoising): 이 세 가지 나침반을 보며, 엉망이었던 잡음을 하나씩 지워나가면, 완벽하게 조화로운 두 손의 움직임이 그려집니다.

---

🏆 실제 성과: "접시 들어 올리기" 성공!

이 기술이 얼마나 좋은지 실험해 보았습니다.

• 시뮬레이션 (가상 현실): 11 가지 복잡한 두 손 작업 (접시 들기, 물건 옮기기 등) 에서 기존 최고의 로봇들보다 약 10% 더 높은 성공률을 보였습니다. 특히 한 손으로 접시를 기울이고 다른 손으로 잡는 정교한 작업에서 압도적인 차이를 보였습니다.
• 실제 로봇 (현실 세계): 실제 두 개의 로봇 팔을 이용해 접시 씻기, 바구니 들기 등의 작업을 시켰습니다.
  • 결과: 대부분의 작업에서 성공했습니다. 특히 접시 들기 작업에서, 한 손이 접시를 살짝 들어 올리면 다른 손이 그 순간을 포착해 잡는 타이밍과 공간 감각이 인간과 거의 비슷해졌습니다.

---

💡 결론: 로봇도 이제 '공간 감각'을 익혔다

RoTri-Diff 는 로봇에게 **"혼자 잘하는 게 아니라, 물건과 함께, 그리고 다른 손과 함께 움직이는 법"**을 가르쳤습니다.

마치 발레리나가 파트너와 무대 위를 움직일 때, 서로의 위치와 물체의 무게를 느끼며 완벽한 춤을 추는 것처럼, 이 기술은 로봇이 두 손으로 물건을 다룰 때 안정적이고 우아한 움직임을 가능하게 합니다.

이제 로봇은 더 이상 부딪히거나 물건을 떨어뜨리는 clumsy( clumsy)한 존재가 아니라, 정교한 두 손으로 복잡한 일을 해내는 숙련된 도우미가 될 수 있게 되었습니다! 🤖✨

기술 요약

1. 문제 정의 (Problem)

이중 팔 (Bimanual) 조종은 복잡한 인간형 작업을 수행하기 위한 로봇의 핵심 기술이지만, 기존 모방 학습 (Imitation Learning, IL) 방법론들은 다음과 같은 한계를 가지고 있습니다.

• 기존 접근법의 부족:
  • 로봇 중심 (Robot-centric): 로봇의 궤적만 학습하여 물체와의 상호작용을 간과함. 중간 상태 제어 부재로 인해 팔 간 충돌 (Self-collision) 이 발생하거나 궤적이 불안정함.
  • 물체 중심 (Object-centric): 물체의 운동만 강조하여 로봇 팔 간의 공간적 관계를 무시함. 이로 인해 한 팔이 물체를 들어 올리는 동안 다른 팔이 미끄러지거나 잡지 못하는 실패가 빈번함.
  • 혼합 방법: 키 포즈 (Keypose) 와 연속 동작을 결합하지만, 물체의 동적 상태와 로봇 - 물체 간의 정밀한 상호작용을 명시적으로 모델링하지 못해 정밀한 협조 작업 (예: 접시 들어 올리기) 에서 실패함.
• 핵심 과제: 두 개의 로봇 팔과 조작 대상 물체 간의 공간적 삼각 관계 (Spatial Triadic Relationship) 를 지속적으로 인식하고, 이를 기반으로 충돌 없이 안정적인 협조 동작을 생성하는 것.

2. 방법론 (Methodology)

저자들은 RoTri-Diff라는 새로운 확산 모델 (Diffusion Model) 기반 모방 학습 프레임워크를 제안합니다. 이 프레임워크의 핵심은 로봇 - 물체 삼각 상호작용 (Robot-Object Triadic Interaction, RoTri) 을 명시적으로 모델링하는 것입니다.

A. RoTri 표현 (RoTri Representation)

• 두 개의 엔드 이펙터 (End-effector) 와 조작 대상 물체 간의 상대적인 6D 포즈 (6D relative poses) 를 벡터로 인코딩합니다.
• 구체적으로 $[p_{left \to right}, p_{left \to obj}, p_{right \to obj}]$ 형태로 구성되며, 이는 두 팔과 물체 사이의 연속적인 삼각형 기하학적 제약을 형성합니다.
• 이 표현은 팔 간 거리, 팔 - 물체 관계, 그리고 이들의 동적 상호작용을 포착하여 안정적인 협조 동작을 위한 구조화된 가이드를 제공합니다.

B. 계층적 확산 모델 (Hierarchical Diffusion Model)

RoTri-Diff 는 세 가지 주요 가이드 신호를 통합하여 동작을 생성합니다:

1. 로봇 키 포즈 (Robot Keyposes): 장기적인 계획 (High-level planning) 을 위한 중요한 지점 (Waypoints).
2. 물체 포인트 플로우 (Object Pointflow): 물체의 물리적 동역학을 포착하기 위한 점군 이동 정보.
3. RoTri 관계: 안정적인 공간적 관계를 유지하기 위한 핵심 제약 조건.

작동 프로세스:

1. 시각적 인식: 다중 뷰 이미지와 깊이 정보를 기반으로 3D 시맨틱 특징과 초기 물체 점군 ($F_0$) 을 추출합니다.
2. RoTri 모델링: 초기 6D 포즈를 기반으로 초기 RoTri 벡터 ($R_0$) 를 계산하고, 학습 중에는 절대 포즈가 아닌 RoTri 의 변화량 ($\Delta R_t$) 을 점진적으로 예측합니다.
3. 동작 예측 (Hierarchical Diffusion):
   • 1 단계: 물체 포인트 플로우와 미래 RoTri 세그먼트를 동시 예측.
   • 2 단계: 예측된 포인트 플로우와 RoTri 정보를 기반으로 키 포즈 동작 생성.
   • 3 단계: 생성된 키 포즈, 포인트 플로우, 전체 RoTri 세그먼트를 통합하여 연속적인 동작 시퀀스 (Continuous Actions) 를 생성.
   • 이 과정은 상호 주의 (Synergistic Attention) 메커니즘을 통해 전역 계획부터 미세한 실행까지 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. RoTri 개념 도입: 두 팔과 물체 간의 공간적 관계를 명시적으로 인코딩하는 삼각 상호작용 표현 (Triadic Interaction Representation) 을 최초로 제안하여 이중 팔 작업의 안정성을 획기적으로 향상시켰습니다.
2. RoTri-Diff 프레임워크: 로봇 키 포즈, 물체 동역학, RoTri 제약을 계층적 확산 모델에 통합하여, 시간적·공간적으로 일관된 궤적을 생성하는 새로운 아키텍처를 제시했습니다.
3. 광범위한 실험 검증: 시뮬레이션 및 실제 환경에서의 실험을 통해 기존 최첨단 (SOTA) 방법론들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

A. 시뮬레이션 (RLBench2)

• 데이터셋: 11 가지의 다양한 이중 팔 조종 작업 (대칭, 동기, 비동기 조종 유형 포함).
• 성능: 기존 SOTA 방법론 (ACT, PerAct2, PPI 등) 대비 평균 성공률 10.2% 향상을 기록했습니다.
  • 특히 정밀한 조정이 필요한 'Pick Plate' (접시 들어 올리기) 작업에서 PPI 는 0% 성공률을 보인 반면, RoTri-Diff 는 **40.7%**의 성공률을 달성했습니다.
  • 'Handover Item (Hard)' 작업에서도 기존 방법론 (1544%) 대비 **52.373.3%**로 크게 우위를 보였습니다.

B. 실제 환경 (Real-world)

• 셋업: 두 대의 xArm6 로봇과 RealSense 카메라를 활용한 4 가지 실제 작업 (과일 집기, 접시 들어 올리기, 접시 씻기, 바구니 들기).
• 성능: 5 회 시도당 성공 횟수로 평가했을 때, 복잡한 순차적 작업 (Pick Plate, Wash Plate) 에서도 3/5 ~ 4/5의 높은 성공률을 보이며, 하중이 걸린 상태 (Lift Basket) 에서도 안정적인 동기화를 유지했습니다.

5. 의의 및 의의 (Significance)

• 공간적 인식의 혁신: 단순히 로봇이나 물체 하나에 집중하는 것을 넘어, '로봇 - 로봇 - 물체'의 삼각적 공간 관계를 명시적으로 모델링함으로써 이중 팔 조종의 근본적인 난제 (충돌, 불안정성) 를 해결했습니다.
• 정밀한 협조 가능: 기존 방법론이 실패했던 미세한 조정이 필요한 작업 (예: 한 팔로 기울이고 다른 팔로 잡기) 에서 인간 수준의 협조 능력을 보여주었습니다.
• 확장성: 확산 모델 (Diffusion Model) 과 계층적 구조를 결합하여 다양한 작업 유형에 적용 가능한 강력한 프레임워크를 제시했습니다.

한계점 및 향후 과제:
현재 방법은 강체 (Rigid-body) 가정과 정확한 6D 포즈 추정에 의존하므로, 변형 가능한 물체 (Deformable objects) 나 비정형 환경에서의 일반화에는 한계가 있습니다. 향후 유연한 물체 처리 및 다양한 로봇 플랫폼 간 전이 학습 (Cross-embodiment transfer) 연구가 필요하다고 결론지었습니다.