Push Anything: Single- and Multi-Object Pushing From First Sight with Contact-Implicit MPC

이 논문은 다양한 물체와 다중 물체 환경에서도 실시간으로 작동하는 향상된 접촉-암시적 모델 예측 제어 알고리즘인 C3+ 를 제안하여, 물체 스캐닝부터 하드웨어 실행까지의 전체 파이프라인을 통해 높은 성공률로 정밀한 미끄럼 조작 (pushing) 을 가능하게 합니다.

핵심

🤖 1. 핵심 문제: 로봇의 "손"이 없는 상황

일반적인 로봇은 물건을 '잡아서' (Grasp) 옮깁니다. 하지만 이 연구는 로봇이 손가락이 없는 공 모양의 끝부분으로 물건을 '밀어서' 움직이는 상황을 다룹니다.

• 비유: 마치 아이스크림을 스푼으로 떠서 옮기는 게 아니라, 스푼으로 아이스크림을 밀어서 그릇에 넣는 것과 비슷합니다.
• 어려움: 물건의 모양이 다르고, 여러 물건이 서로 겹쳐 있거나 벽에 닿으면, 로봇은 "어떻게 밀어야 이 물건이 제자리에 갈까?"를 실시간으로 계산해야 합니다. 특히 물건들이 서로 부딪히며 복잡하게 얽히면 (Cluttered), 계산이 너무 어려워져 로봇이 멍해지거나 실패하기 쉽습니다.

🧠 2. 해결책: "C3+"라는 초고속 계산기

연구진은 CI-MPC라는 기술을 개량했습니다. 이 기술은 로봇이 "만약 이렇게 밀면 어떻게 될까?"를 수천 번 시뮬레이션하며 최적의 경로를 찾습니다.

• 이전 기술 (C3) 의 한계: 이전에는 이 계산이 너무 느려서, 물건이 2~3 개만 있어도 로봇이 "생각"하는 동안 시간이 다 지나갔습니다. 마치 고전적인 계산기로 복잡한 미적분 문제를 풀려고 애쓰는 것처럼 느렸습니다.
• 새로운 기술 (C3+): 연구진은 이 계산 과정을 획기적으로 단순화했습니다. 복잡한 수학 문제를 **간단한 공식 (닫힌 형식, Closed-form)**으로 바꿔버린 것입니다.
  • 비유: 이제 로봇은 고전 계산기에서 최신 AI 칩이 탑재된 스마트폰으로 업그레이드된 것입니다. 복잡한 계산이 순식간에 끝나서, 로봇이 실시간으로 "아, 저걸 밀면 저 물건이 비켜나겠네!"라고 바로 반응할 수 있게 되었습니다.

🗺️ 3. 작동 원리: "스케치북"과 "나침반"

이 시스템은 크게 세 단계로 작동합니다.

1. 눈 (Perception): 로봇은 카메라로 물건을 스캔합니다. 마치 아이스크림 가게에서 새로운 아이스크림 모양을 사진으로 찍어 3D 모델로 만드는 과정입니다.
2. 머리 (Sampling & Planning): 로봇은 "어디서 밀어야 할까?"를 고민합니다.
   • 비유: 로봇은 스케치북에 여러 개의 '밀기 시작점'을 찍어봅니다. (예: 왼쪽에서 밀기, 위에서 밀기 등). 그중에서 가장 효율적인 경로를 골라냅니다.
   • C3+ 의 역할: 이 '스케치북'을 볼 때, 이전에는 한 장 한 장 천천히 확인했지만, C3+ 는 한눈에 모든 가능성을 빠르게 훑어보고 가장 좋은 선택지를 골라냅니다.
3. 손 (Execution): 로봇은 계산된 대로 물건을 밀어 정리합니다.

🏆 4. 성과: 실제로 얼마나 잘할까?

연구진은 실제 로봇 팔 (프랑카 파마다) 을 이용해 실험했습니다.

• 실험 내용: 33 가지의 다양한 물건 (알파벳 모양, 세제통, 장난감 등) 을 1 개부터 4 개까지 섞어서 밀어 정리하는 과제였습니다.
• 결과:
  • 성공률: 전체 실험의 **98%**에서 성공했습니다. (거의 실패하지 않음)
  • 속도: 물건 1 개는 약 30 초, 4 개가 섞여도 약 5 분 안에 정리했습니다.
  • 의미: 과거에는 "물건이 3 개만 있어도 계산이 너무 복잡해서 로봇이 못 한다"고 생각했는데, 이제는 복잡하게 얽힌 물건들도 척척 정리할 수 있게 되었습니다.

💡 5. 왜 중요한가요? (일상에서의 적용)

이 기술은 로봇이 집안 정리나 창고 관리에 혁신을 가져올 수 있습니다.

• 예상 장면: 로봇이 방에 널브러진 장난감, 책, 옷 등을 손으로 잡지 않고, 바닥에 있는 물건들을 밀어서 제자리에 정리하거나, 쓰레기통으로 밀어 넣을 수 있습니다.
• 핵심 메시지: "잡는 것"이 아니라 "밀어서" 움직이는 것이 훨씬 유연하고 빠를 수 있으며, 이제 그 기술이 실시간으로 가능해졌습니다.

🚀 요약

이 논문은 **"복잡한 물리 법칙을 실시간으로 계산할 수 있는 초고속 알고리즘 (C3+)"**을 개발하여, 로봇이 손이 없는 상태에서도 여러 물건이 뒤섞인 복잡한 환경에서도 물건을 밀어 정리하는 것을 가능하게 만들었습니다. 마치 느린 계산기를 가진 로봇이, AI 칩을 달고서 복잡한 퍼즐을 순식간에 해결하는 모습이라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

로봇 조작 분야에서 비선형 (Non-prehensile) 조작, 특히 다양한 물체를 집지 않고 밀어서 이동시키는 작업은 여전히 핵심적인 난제입니다.

• 주요 도전 과제:
  • 알려지지 않은 물리적 속성: 물체의 질량, 마찰 계수, 관성 등의 불확실성.
  • 복잡한 접촉 상호작용: 단일 물체뿐만 아니라 여러 물체가 얽힌 환경 (Cluttered environment) 에서 발생하는 다중 접촉 (Multi-contact) 과 물체 간 상호작용.
  • 기존 방법의 한계: 기존 접촉-암시적 모델 예측 제어 (Contact-Implicit MPC, CI-MPC) 는 국소적 근사 (Local approximation) 에 의존하여 국소 최소값 (Local minima) 에 빠지기 쉽고, 물체 수가 증가함에 따라 접촉 모드의 조합이 기하급수적으로 늘어나 계산이 불가능해졌습니다. 또한, 대부분의 기존 연구는 CAD 모델로 정확히 알려진 단일 물체 시나리오에 국한되어 있었습니다.

2. 방법론 (Methodology)

저자들은 **"Push Anything"**이라는 새로운 파이프라인을 제안하며, 이는 실시간으로 다양한 물체를 밀고 정리하는 것을 목표로 합니다. 시스템은 크게 **지각 (Perception)**과 제어 (Control) 두 단계로 구성됩니다.

A. 지각 파이프라인 (Perception Pipeline)

• 메쉬 재구성 (Mesh Reconstruction): RealSense D455 카메라로 물체를 촬영하고, XMem 을 이용한 마스크 생성과 BundleSDF 를 활용하여 실시간으로 3D 메쉬를 재구성합니다.
• 강건한 물체 추적 (Robust Tracking): FoundationPose 를 기반으로 하되, XMem 을 주기적으로 재등록하여 장기적인 추적 드리프트 (Drift) 와 다른 물체/로봇 엔드 이펙터에 의한 가려짐 (Occlusion) 문제를 해결합니다. 대칭적인 물체의 경우 시간적 일관성을 유지하는 포즈를 선택하여 모호성을 제거합니다.

B. 제어 프레임워크: 샘플링 기반 CI-MPC

기존의 Venkatesh et al. [4] 의 프레임워크를 기반으로 하되, C3+ (Consensus Complementarity Control Plus) 알고리즘을 도입하여 성능을 획기적으로 개선했습니다.

1. 엔드 이펙터 위치 샘플링 전략:
   • 물체 메쉬의 표면을 기반으로 엔드 이펙터의 후보 위치를 무작위 샘플링합니다.
   • 각 후보 위치에서 CI-MPC 를 실행하여 비용 (Cost) 이 가장 낮은 경로를 선택합니다. 이는 국소 최적화에 빠지는 것을 방지하고 전역적인 해를 찾는 데 기여합니다.
2. C3+ 알고리즘 (핵심 개선점):
   • 선형 보완성 시스템 (LCS) 모델링: 비선형 동역학을 선형화하여 선형 보완성 시스템으로 근사합니다.
   • ** slack 변수 도입:** 기존 C3 알고리즘의 비볼록 (Non-convex) 최적화 문제를 해결하기 위해 슬랙 변수 ($\eta_k$) 를 도입하여 문제를 재구성합니다.
   • ADMM 기반 분해: 대안 방향 승수법 (ADMM) 을 사용하여 문제를 두 단계로 분해합니다.
     • 2 차 계획 (Quadratic Step): 볼록한 2 차 계획 문제 (QP) 로 변환하여 OSQP 같은 솔버로 효율적으로 풉니다.
     • 투사 단계 (Projection Step): 보완성 제약 조건을 각 시간 단계별로 분리하여 상호 독립적인 1 차원 MIQP 문제로 만듭니다. 이는 **폐쇄형 해 (Closed-form solution)**로 즉시 계산 가능하여, 기존 C3 의 투사 단계 계산 시간을 4~5 차수 (Orders of magnitude) 단축시켰습니다.
   • 실시간 수행: 제한된 수의 ADMM 반복 (Early termination) 을 수행하여 실시간 제어 주기를 유지합니다.

3. 주요 기여 (Key Contributions)

1. Push Anything 시스템: 실제 세계 스캔, 메쉬 재구성, 강건한 추적, 그리고 실시간 접촉-rich 밀기 운동을 계획하는 통합 파이프라인을 구축했습니다.
2. C3+ 알고리즘: 다중 물체 간 및 물체 - 환경 간 접촉 (최대 19 개의 접촉 쌍) 을 고려하면서도 실시간으로 해결 가능한 효율적인 CI-MPC 알고리즘을 개발했습니다.
3. 하드웨어 검증: 33 개의 다양한 물체 (볼록/오목, 3D 프린팅, 일상용품 등) 를 대상으로 한 광범위한 실험을 통해 시스템의 유효성을 입증했습니다.

4. 실험 결과 (Results)

하드웨어 실험 (Franka Emika Panda 로봇 사용) 에서 다음과 같은 성과를 거두었습니다.

• 성공률: 전체 33 개 물체, 928 회 실험에서 98% 의 성공률을 기록했습니다.
• 단일 물체 (Single-Object): 701 회 실험 중 700 회 성공 (99.9%). 목표 포즈 도달 시간 (평균 31 초).
• 다중 물체 (Multi-Object):
  • 2 개 물체: 98.0% 성공률, 평균 97 초.
  • 3 개 물체: 96.8% 성공률, 평균 186 초.
  • 4 개 물체: 79.3% 성공률, 평균 316 초.
  • 참고: 물체 수가 증가할수록 계산 복잡도로 인해 계획 시간 (Horizon) 을 줄였으며, 이는 계산 속도와 예측 범위의 절충안입니다.
• 성능 비교 (C3 vs C3+):
  • C3+ 은 C3 대비 투사 (Projection) 단계에서 10,000 배 이상 빠른 속도를 보였습니다.
  • 전체 해결 시간 (Solve time) 이 크게 단축되어 다중 물체 작업에서도 실시간 제어 (약 14Hz) 가 가능해졌습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 접촉-암시적 MPC(CI-MPC) 의 실용성을 다중 물체 환경으로 확장했다는 점에서 의의가 큽니다.

• 기술적 혁신: C3+ 알고리즘을 통해 비선형 보완성 문제의 계산 비용을 획기적으로 줄여, 복잡한 다중 접촉 시나리오에서도 실시간 최적화가 가능하게 했습니다.
• 실용성: CAD 모델에 의존하지 않고, 실제 스캔 데이터와 온라인 추적을 통해 다양한 형태의 물체를 즉시 조작할 수 있는 "First Sight" 능력을 입증했습니다.
• 한계 및 향후 과제: 현재는 물체의 질량과 관성을 동일하게 가정하고 있으며, 복잡한 가려짐 상황에서 추적 정확도가 떨어질 수 있습니다. 향후 고수준 계획 (High-level planning) 과 결합하거나, 3D 비선형 조작으로 확장하는 것이 다음 단계로 제시되었습니다.

요약하자면, 이 연구는 로봇이 복잡한 환경에서 여러 물체를 집지 않고 효율적으로 정리하고 이동시킬 수 있는 실시간, 고정밀, 범용적인 조작 시스템을 성공적으로 구현한 획기적인 작업입니다.