TiPToP: A Modular Open-Vocabulary Planning System for Robotic Manipulation

이 논문은 사전 훈련된 비전 기반 모델과 기존 작업 및 운동 계획기 (TAMP) 를 결합하여 로봇 데이터 없이도 RGB 이미지와 자연어 지시만으로 다양한 조작 작업을 수행할 수 있는 모듈형 오픈-보커불러리 시스템 'TiPToP'을 제안하고, 시뮬레이션 및 실세계 평가에서 VLA 모델과 유사하거나 더 우수한 성능을 보임을 입증합니다.

핵심

TiPToP: 로봇에게 "요리해줘"라고 말하면 바로 실행하는 마법 같은 시스템

이 논문은 MIT 와 펜실베이니아 대학 연구팀이 개발한 **'TiPToP'**이라는 새로운 로봇 시스템에 대한 이야기입니다. 이 시스템은 로봇이 자연어 (일상 언어) 로 된 지시와 카메라 영상을 보고, 복잡한 작업을 스스로 계획하고 수행할 수 있게 해줍니다.

기존의 로봇들은 "이것을 집어라"라고 구체적으로 가르쳐야 했지만, TiPToP 는 **"바나나를 집어서 상자에 넣어"**나 **"빨간색 A 블록을 같은 색 더미에 올려"**처럼 조금 더 복잡하고 추상적인 말도 이해하고 실행합니다.

이 시스템을 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. TiPToP 의 정체: "요리사 + 건축가 + 배달부"의 합작품

기존의 최신 로봇 기술 (VLA 모델) 이 마치 천재 요리사처럼 "눈으로 보고 손으로 움직이는 것"을 반복 학습 (훈련) 을 통해 익힌다면, TiPToP 는 세 명의 전문가가 팀을 이뤄 일하는 방식입니다.

• 👀 눈 (지각 모듈): 로봇의 카메라로 세상을 봅니다. 하지만 단순히 "사과"라고만 보는 게 아니라, "아, 이건 사과고 저건 오렌지야. 그리고 사과를 잡으려면 손잡이를 잡아야 해"라고 3D 공간에서 정밀하게 분석합니다.
• 🧠 두뇌 (계획 모듈): "바나나를 상자에 넣으려면 먼저 그 사이를 막고 있는 콜라 캔을 치워야 해"라고 논리적으로 생각합니다. 여기서 TAMP(작업 및 운동 계획) 라는 강력한 알고리즘을 써서, 장애물을 피하고 정확한 궤적을 계산합니다.
• ✋ 손 (실행 모듈): 두뇌가 계산한 대로 로봇 팔을 움직여 물건을 집고 옮깁니다.

핵심 차이점:

• 기존 방식 (VLA): 수천 시간의 영상 데이터를 먹여 "이런 상황에선 이렇게 움직여"라고 암기시킨 뒤, 비슷한 상황을 보면 그 기억을 떠올려 움직입니다. (새로운 로봇에 적용하려면 다시 훈련해야 함)
• TiPToP 방식: 훈련 데이터가 전혀 필요 없습니다. 대신 미리 학습된 '시각 모델'과 '계획 알고리즘'을 연결해서, 처음 보는 상황에서도 논리적으로 해결책을 찾습니다. 마치 새로운 로봇을 사면 설치만 하면 바로 작동하는 '오프더셸 (off-the-shelf)' 제품처럼 쉽게 쓸 수 있습니다.

---

2. 실험 결과: "훈련생" vs "직관적인 천재"

연구팀은 TiPToP 를 기존에 350 시간이나 훈련된 최신 로봇 모델 (π0.5-DROID) 과 비교했습니다. 결과는 매우 흥미로웠습니다.

• 단순한 작업: 둘 다 잘했습니다. (예: 컵을 옮기기)
• 복잡한 작업: TiPToP 가 압도적으로 잘했습니다.
  • 예시: "바나나를 상자에 넣어"라고 했을 때, 바나나가 다른 물건에 가려져 있거나, 바나나 모양이 구부러져 있어 잡기 어려운 경우, 훈련된 모델은 당황해서 실패했습니다. 하지만 TiPToP 는 "아, 저 바나나는 모양이 이상하니까 다른 각도로 잡아야겠구나" 혹은 "저 콜라 캔이 방해하니까 먼저 치워야지"라고 논리적으로 생각해서 성공했습니다.
• 속도: TiPToP 가 훨씬 빨랐습니다. 훈련된 모델은 실수하면 다시 시도하느라 시간을 낭비하는 반면, TiPToP 는 한 번에 정확한 경로를 계산해서 날아갑니다.

비유하자면:

• 훈련된 모델 (π0.5): 수만 번의 시험을 본 수험생입니다. 익숙한 문제는 잘 풀지만, 낯선 문제나 함정이 있는 문제는 당황합니다.
• TiPToP: 논리력을 갖춘 천재 학생입니다. 문제를 처음 보더라도 원리를 파악해서 풀이 과정을 만들어냅니다.

---

3. TiPToP 의 약점과 미래: "눈이 멀지 않는 한 완벽하다"

물론 TiPToP 가 완벽하지는 않습니다. 논리적으로 계획을 세웠는데, 실제 손이 미끄러지거나 물건을 놓쳐버리는 경우에는 다시 시도할 수 있는 '반응'이 부족합니다.

• 현재의 한계: TiPToP 는 "한 번 계획하면 그대로 실행 (Open-loop)"합니다. 만약 로봇이 바나나를 잡다가 놓치면, 그 자리에서 "아, 놓쳤네? 다시 잡아야지"라고 생각하지 못하고 실패로 끝납니다.
• 미래의 해결책: 이 시스템의 장점은 모듈화되어 있다는 점입니다.
  • "눈 (지각)"이 더 좋아지면 시스템 전체가 좋아집니다.
  • "손 (제어)"이 더 정교해지면 성공률이 올라갑니다.
  • 연구자들은 TiPToP 의 '논리 두뇌'와, 훈련된 모델의 '반응형 손'을 합치면 완벽한 로봇이 될 것이라고 믿습니다.

📝 한 줄 요약

TiPToP는 로봇에게 "훈련"을 시키는 대신, 눈 (카메라) 과 두뇌 (계획 알고리즘) 를 연결해서, 어떤 로봇 팔이든, 어떤 물건이든 자연어로 지시만 주면 논리적으로 생각하며 일을 해결하는 새로운 방식의 로봇 시스템입니다.

이 시스템은 로봇 공학의 미래를 "데이터를 많이 먹이는 것"에서 "논리와 모듈을 잘 조합하는 것"으로 바꾸는 중요한 전환점이 될 것입니다.

기술 요약

TiPToP: 로봇 조작을 위한 모듈형 오픈 보카불러리 계획 시스템 기술 요약

이 논문은 TiPToP (TiPToP is a Planner That just works on Pixels) 을 소개합니다. TiPToP 은 사전 훈련된 비전 기반 모델 (Vision Foundation Models) 과 기존 작업 및 운동 계획 (Task and Motion Planning, TAMP) 시스템을 결합하여, RGB 이미지와 자연어 명령만으로 다단계 로봇 조작 작업을 해결하는 확장 가능한 모듈형 시스템입니다.

1. 문제 정의 (Problem)

로봇 공학 연구의 오랜 목표는 "그대로 작동 (just works)"하는 조작 시스템을 구축하는 것입니다. 즉, 특정 로봇, 환경, 또는 물체에 대한 튜닝 없이 자연어 명령으로 임의의 작업을 수행할 수 있어야 합니다.

• 기존 접근법의 한계:
  • 시각 - 언어 - 행동 (VLA) 모델 (예: $\pi_0.5$): 자연어와 이미지를 입력받아 행동을 출력하지만, 방대한 양의 로봇 데이터 학습이 필요하며, 실패 원인을 진단하기 어렵고 새로운 로봇 체형 (embodiment) 에 대한 일반화가 제한적입니다.
  • 전통적 TAMP: 구조화된 다단계 추론이 가능하지만, 대부분 특정 하드웨어와 밀접하게 결합되어 있으며, 복잡한 환경에서의 일반화와 접근성이 떨어집니다.

2. 방법론 (Methodology)

TiPToP 은 학습 데이터 수집 없이 사전 훈련된 모델과 GPU 가속화된 계획 알고리즘을 활용합니다. 시스템은 크게 세 가지 모듈로 구성됩니다 (그림 2 참조).

A. 지각 모듈 (Perception Module)

입력된 스테레오 RGB 이미지와 자연어 명령을 기반으로 객체 중심의 3D 장면 표현을 생성합니다.

1. 3D 비전 브랜치:
   • 깊이 추정: FoundationStereo 를 사용하여 스테레오 이미지에서 밀도 높은 깊이 맵을 생성합니다.
   • 그립 생성: M2T2 모델을 사용하여 장면 포인트 클라우드에서 6 자유도 (6-DoF) 그립 포즈를 예측합니다.
2. 시맨틱 브랜치:
   • 객체 탐지 및 목표 정립: Gemini Robotics-ER 1.5(VLM) 를 사용하여 장면 내 객체를 식별하고, 자연어 명령을 객체 간의 논리적 관계 (예: On(사과, 접시)) 로 변환된 기호적 목표 (Symbolic Goal) 로 매핑합니다.
   • 분할: SAM-2 를 사용하여 객체별 픽셀 단위 분할 마스크를 생성합니다.
3. 결합: 생성된 깊이 정보, 그립, 분할 마스크를 통합하여 각 객체의 메쉬 (Convex Hull) 와 해당 그립을 할당한 3D 장면 표현을 완성합니다.

B. 계획 모듈 (Planning Module)

• cuTAMP 활용: GPU 병렬화 된 TAMP 알고리즘인 cuTAMP 를 사용합니다.
• 작동 원리:
  1. 스케레톤 생성: 기호적 목표를 바탕으로 PDDL 스타일의 행동 시퀀스 (Plan Skeleton) 를 생성합니다. (예: 장애물을 치우고 물건을 집는 순서)
  2. 파티클 초기화 및 최적화: 연속적인 파라미터 (그립 위치, 배치 위치, 로봇 구성) 를 샘플링하고, 충돌 회피, 안정성, 운동학적 제약 조건을 만족하도록 미분 가능한 최적화를 수행합니다.
  3. 운동 계획: cuRobo 를 사용하여 충돌 없는 시간 매개 궤적을 생성합니다.
• 특징: 장애물을 치우는 등의 복잡한 다단계 작업을 자동으로 추론할 수 있습니다.

C. 실행 모듈 (Execution Module)

• 생성된 궤적을 로봇의 관절 공간에서 개방 루프 (Open-loop) 방식으로 추적합니다.
• Franka 로봇의 경우 정밀한 궤적 추적을 위해 자체 구현한 관절 임피던스 컨트롤러를 사용합니다.

3. 주요 기여 (Key Contributions)

1. 접근성과 배포 용이성: 표준 DROID 설정에서 1 시간 이내에 설치 및 배포가 가능하며, UR5e 및 WidowX AI 등 새로운 로봇 체형으로의 적응에도 최소한의 노력만 필요합니다.
2. 데이터 없는 성능: 로봇별 학습 데이터 (Demonstration) 가 전혀 필요 없으며, 사전 훈련된 모델과 계획 알고리즘만으로 작동합니다.
3. 모듈형 아키텍처 및 디버깅: 시스템의 실패 원인을 지각, 계획, 실행 등 특정 모듈 단위로 추적 및 분석할 수 있어 개선 방향을 명확히 제시합니다.
4. 오픈 소스: 전체 코드와 시뮬레이션/실제 환경 배포를 위한 인프라를 오픈 소스로 공개합니다.

4. 실험 결과 (Results)

TiPToP 은 시뮬레이션과 실제 환경 (DROID, UR5e, WidowX) 에서 28 가지 다양한 작업 (단순, 방해물, 시맨틱, 다단계) 에 대해 최신 VLA 모델인 $\pi_0.5$-DROID 와 비교 평가되었습니다.

• 성능 비교:
  • 전체 성공률: 165 회 시도 중 TiPToP 은 **74.6%**의 성공률을 기록하여, 350 시간의 학습 데이터로 튜닝된 $\pi_0.5$-DROID(52.4%) 보다 우세하거나 동등한 성능을 보였습니다.
  • 복잡한 작업: 방해물이 있는 작업 (Distractor), 복잡한 시맨틱 추론이 필요한 작업, 다단계 계획이 필요한 작업에서 TiPToP 의 성능이 압도적으로 좋았습니다. (예: 시맨틱 작업에서 $\pi_0.5$는 46.8% 성공률, TiPToP 는 71.3%)
  • 이유: TiPToP 은 VLM 을 통해 명시적으로 목표를 기호화하고, TAMP 를 통해 기하학적 제약과 장애물 회피를 체계적으로 해결하기 때문입니다.
• 실행 시간: TiPToP 은 일반적으로 더 빠른 실행 시간을 보였습니다. (예: 단순 작업에서 약 15 초 vs 30 초 이상). 이는 TiPToP 이 최적화된 단일 궤적을 미리 계획하여 실행하는 반면, VLA 는 반응형 제어를 통해 여러 번의 시도와 실패를 겪기 때문입니다.
• 실패 분석 (173 회 추가 시도):
  • 가장 흔한 실패 원인은 **그립 실패 (31/55)**였습니다. (객체 모양의 볼록 껍질 근사화 한계나 미끄러짐 등)
  • 그 다음으로 장면 완성 오류, VLM 탐지 오류, 계획 실패 순서로 나타났습니다.
  • 이는 TiPToP 의 개방 루프 실행 방식이 실패 시 재시도 메커니즘이 부족함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모듈형 시스템의 가치: 오프더셸 (Off-the-shelf) 기반 모델과 계획 알고리즘을 조합한 모듈형 시스템이, 대량의 학습 데이터가 필요한 엔드 투 엔드 VLA 모델보다 복잡한 조작 작업에서 더 강력하고 해석 가능한 성능을 낼 수 있음을 입증했습니다.
• 상호 보완적 접근: TiPToP 은 기하학적 추론과 다단계 계획에 강점이 있고, VLA 는 반응형 제어와 유연성에 강점이 있습니다. 향후 TiPToP 의 계획 프레임워크 내에서 VLA 를 '반응형 기술 원시 (Reactive Skill Primitives)'로 통합하면 두 시스템의 장점을 모두 갖춘 강력한 로봇 시스템을 구축할 수 있을 것입니다.
• 연구 기여: 이 연구는 학습과 계획의 긴밀한 통합을 위한 기반을 제공하며, 모듈별 실패 분석을 통해 로봇 공학 연구의 새로운 방향성을 제시합니다.

요약하자면, TiPToP 은 데이터 수집 없이도 복잡한 자연어 명령을 수행할 수 있는 범용 로봇 시스템을 구현하여, 계획 기반 접근법의 현대적 부활과 그 실용성을 입증한 중요한 연구입니다.