Open-World Task and Motion Planning via Vision-Language Model Genereated Constraints

이 논문은 비전 - 언어 모델이 생성한 이산적 및 연속적 제약 조건을 작업 및 운동 계획 (TAMP) 시스템에 통합하여 자연어 기반의 복잡한 장기 로봇 조작 과제를 해결하는 'OWL-TAMP'라는 새로운 접근법을 제안하고 그 유효성을 실험을 통해 입증합니다.

핵심

🤖 비유: "요리사 (로봇), 요리책 (TAMP), 그리고 요리 컨설턴트 (VLM)"

이 문제를 해결하기 위해 세 명의 인물이 협력한다고 상상해 보세요.

1. 요리사 (기존 TAMP 시스템):

   • 역할: 매우 꼼꼼하고 논리적인 요리사입니다. 칼질, 볶기, 접시 옮기기 같은 구체적인 동작은 완벽하게 수행합니다.
   • 단점: 아주 엄격한 '레시피 (규칙)'만 따릅니다. 만약 레시피에 "소금 약간"이라고 적혀있지 않다면, 소금을 얼마나 넣어야 할지 모릅니다. 또한 "맛있게"나 "예쁘게" 같은 추상적인 말은 이해하지 못합니다. 오직 "소금 5g"처럼 숫자로 된 명확한 지시만 받습니다.

2. 요리 컨설턴트 (VLM, 시각 - 언어 모델):

   • 역할: 최신 트렌드를 잘 알고 있고 상식도 풍부한 요리 전문가입니다. "이 요리를 예쁘게 차려줘"라고 하면 어떤 색깔의 접시를 쓰고, 어떤 모양으로 배치해야 예쁜지 상상할 수 있습니다.
   • 단점: 직접 칼을 들고 요리를 하거나, 정확한 그램 수를 재는 것은 서툴러서 실수를 자주 합니다. "약간"이라는 말은 알지만, "정확히 3cm 옆에 두세요" 같은 정밀한 계산은 못 합니다.

3. OWL-TAMP (이 두 사람을 연결하는 매니저):

   • 역할: 이 두 사람의 장점을 합쳐서 완벽한 요리를 만들어냅니다.
   • 방법: 컨설턴트에게 "이 요리를 어떻게 차려야 예쁘지?"라고 물어보고, 그 답을 **수학적인 규칙 (코드)**으로 바꿔 요리사에게 전달합니다.
   • 결과: 요리사는 컨설턴트의 아이디어를 바탕으로, 하지만 자신의 정확한 손기술로 요리를 완성합니다.

---

🌟 이 시스템이 해결한 문제

기존 로봇들은 두 가지 큰 벽에 부딪혔습니다.

• 벽 1 (VLM 만의 한계): "바나나를 다른 과일 옆에 둬"라고 하면, 로봇이 바나나를 집어 들 수는 있어도, 정확히 어디에, 어떤 각도로 내려놓아야 '옆'이라는 뜻이 되는지 계산하지 못해 벽에 부딪히거나 떨어뜨립니다.
• 벽 2 (기존 TAMP 의 한계): 로봇은 "바나나를 옆에 두라"는 지시를 이해하지 못합니다. "옆"이라는 개념이 사전에 정의되어 있지 않기 때문입니다. 로봇은 "바나나를 테이블 중앙에 두라"는 지시만 이해할 뿐입니다.

💡 OWL-TAMP 의 혁신: "생각을 코드로 바꾸기"

OWL-TAMP 는 이 두 문제를 해결하기 위해 다음과 같이 작동합니다.

1. 아이디어 스케치 (Plan Sketch):

   • 로봇에게 "바나나를 사과와 배 옆에 두세요"라고 말하면, VLM(컨설턴트) 이 먼저 작업 순서를 생각합니다.
   • "일단 우유 상자를 치우고, 바나나를 집어서 사과와 배가 있는 곳 근처에 내려놓아야겠다."
   • 이때 VLM 은 로봇이 이해할 수 있는 **작업 순서 (먼저 A, 그다음 B)**를 만들어냅니다.

2. 구체적인 규칙 만들기 (Continuous Constraints):

   • 여기서 가장 중요한 부분입니다. VLM 은 "사과와 배 옆"이라는 말을 **파이썬 코드 (수학 공식)**로 변환합니다.
   • "바나나의 위치가 사과와의 거리가 5cm 이내이고, 배와의 거리도 5cm 이내여야 한다."
   • 이렇게 만들어진 코드는 로봇의 '눈'이 되어, 로봇이 바나나를 내려놓을 때 정확히 어디에 놓아야 성공인지를 실시간으로 체크합니다.

3. 실제 실행 (Execution):

   • 이제 로봇 (요리사) 은 이 코드를 보며 움직입니다.
   • 만약 우유 상자가 바나나를 가리고 있다면, 로봇은 "아, 이걸 치워야 바나나를 잡을 수 있구나"라고 계산하여 우유 상자를 먼저 치웁니다.
   • 그리고 VLM 이 만들어준 "사과와 배 옆"이라는 코드를 만족하는 위치로 바나나를 정확히 내려놓습니다.

🚀 실제 성과

이 논문에서는 이 시스템을 실제 로봇과 시뮬레이션에서 테스트했습니다.

• 과제 예시: "가장 짧은 물건을 저울에 올린 뒤 쓰레기통에 버려라", "수저를 모두 정렬해서 접시 앞에 놓아라" 같은 복잡한 지시.
• 결과: 기존 방법들은 대부분 실패하거나, 로봇이 물건을 떨어뜨리는 실수를 했습니다. 하지만 OWL-TAMP 는 자연어로 된 지시를 정확히 이해하고, 장애물을 피하며, 원하는 위치에 정확하게 물건을 배치하는 데 성공했습니다. 심지어 실제 로봇 팔을 이용해 실험에서도 성공했습니다.

📝 한 줄 요약

**"로봇에게 '예쁘게 차려줘'라고 말하면, 로봇이 그 뜻을 수학적으로 해석해서 실제로 완벽하게 실행하게 해주는 새로운 시스템"**입니다.

이 기술은 로봇이 우리가 말로 하는 복잡한 지시 (예: "책상 위를 정리해 줘", "이 물건이 다른 물건과 충돌하지 않게 옮겨줘") 를 이해하고, 스스로 문제를 해결하며 일할 수 있는 시대를 여는 중요한 첫걸음입니다.

기술 요약

Open-World Task and Motion Planning via Vision-Language Model Generated Constraints (OWL-TAMP) 기술 요약

이 논문은 OWL-TAMP(Open-World Language-based TAMP) 라는 새로운 시스템을 제안하며, 비전 - 언어 모델 (VLM) 이 생성한 제약 조건을 활용하여 로봇이 자연어 명령을 이해하고 복잡한 장거리 조작 작업을 수행할 수 있도록 합니다. 기존 TAMP(작업 및 운동 계획) 시스템의 한계를 극복하고, 사전 정의된 기호 어휘에 국한되지 않는 개방형 (Open-World) 환경에서의 로봇 제어를 가능하게 합니다.

---

1. 문제 정의 (Problem)

로봇 공학에서 자연어로 지정된 복잡하고 장거리 (long-horizon) 의 조작 작업을 해결하는 것은 여전히 큰 도전 과제입니다.

• 기존 VLM 의 한계: 비전 - 언어 모델 (VLM) 은 상식적 추론과 명령 해석에는 탁월하지만, 충돌 회피, 안정적인 그립 생성, 정밀한 연속 파라미터 (위치, 자세 등) 를 포함한 기하학적 추론에는 어려움을 겪습니다.
• 기존 TAMP 의 한계: 전통적인 TAMP 시스템은 이산적 (discrete) 과 연속적 (continuous) 인 값을 결합하여 장기 계획을 수립할 수 있지만, 사전에 정의된 기호 (predicate) 와 도메인 모델에 의존합니다. 따라서 "사과 옆에 두기", "직각으로 세우기"와 같은 새로운 개념이나 자연어 기반의 유연한 목표를 처리할 수 없으며, 이를 위해서는 수동으로 모델을 확장하거나 학습 데이터가 필요합니다.

핵심 문제: 자연어 명령을 이해하는 VLM 의 능력과 정밀한 운동 계획을 수행하는 TAMP 의 능력을 어떻게 결합하여, 사전 정의된 모델 없이도 새로운 환경과 목표에 적응할 수 있게 할 것인가?

---

2. 방법론 (Methodology)

OWL-TAMP 는 VLM 을 TAMP 시스템에 통합하여 **이산적 **(discrete)을 동적으로 생성하는 방식을 채택합니다.

2.1. 개방형 작업 및 술어 (Open-World Actions and Predicates)

• **개방형 작업 **(Open-World Actions) 기존 TAMP 작업 (예: detach, move) 에 자연어 설명 (description) 을 추가합니다. 예를 들어, detach("사과와 배 근처에 바나나를 두기", ...)와 같이 작업의 의도를 자연어로 명시합니다.
• **개방형 술어 **(Open-World Predicates) 자연어 설명이 실제로 달성되었는지 확인하기 위해, 계획 시점에 VLM 이 생성한 **분류기 함수 **(classifier function)를 제약 조건으로 사용합니다. 이는 고정된 분류기가 아니라, VLM 이 생성한 Python 코드 형태로, 연속 변수 (예: 객체의 위치) 가 자연어 목표 (예: "가까이", "직각") 를 만족하는지 평가합니다.

2.2. OWL-TAMP 의 3 단계 프로세스

1. **개방형 작업 순서 제약 생성 **(Plan Sketch Generation)
   • VLM 에게 초기 상태 이미지와 자연어 명령을 입력받아, 작업 수행을 위한 **부분 계획 스케치 **(plan sketch)를 생성합니다.
   • 이 스케치는 필요한 이산적 작업들의 순서와 각 작업에 대한 자연어 설명을 포함합니다.
   • TAMP 계획기는 이 스케치를 하위 시퀀스 (subsequence) 로 포함하는 완전한 계획을 탐색합니다.
2. **개방형 술어 구체화 **(Grounding Open-World Predicates)
   • 생성된 계획 스케치 내의 각 개방형 작업에 대해, VLM 에게 해당 자연어 설명을 만족하는 **연속 제약 조건 **(Python 코드)을 생성하도록 요청합니다.
   • 예: "배를 사과 근처에 두기"라는 명령에 대해, VLM 은 dist(pose, apple_pose) < 0.05와 같은 조건을 포함하는 test_banana_pose(p) 함수를 생성합니다.
3. **제약 조건 기반 계획 수립 **(Planning with Constraints)
   • 기존 TAMP 솔버 (예: PDDLStream, SeSaME) 는 생성된 이산적 순서 제약과 VLM 이 생성한 연속적 제약 조건을 모두 만족하는 계획을 탐색합니다.
   • 계획이 실패하면 (예: 장애물 충돌), TAMP 시스템은 백트래킹 (backtracking) 을 통해 장애물을 이동시키는 등의 대안 계획을 찾습니다.

---

3. 주요 기여 (Key Contributions)

1. **VLM 기반 제약 생성 계약 **(Contract) VLM 과 범용 TAMP 시스템을 결합하기 위한 명확한 계약을 제안했습니다. VLM 은 구체적인 계획 코드를 직접 작성하는 것이 아니라, **작업별 제약 조건 **(이산적 순서 및 연속적 파라미터 제약)을 생성하여 TAMP 의 검색 공간을 안내합니다.
2. Zero-Shot 일반화: 추가적인 튜닝이나 시뮬레이션 학습 없이, 사전 정의된 기호 어휘를 확장하지 않고도 새로운 자연어 목표 (예: "가장 짧은 물체 찾기", "직각으로 정렬") 를 처리할 수 있습니다.
3. 실제 하드웨어 배포: 시뮬레이션뿐만 아니라 실제 로봇 (Kinova Gen3双臂) 에서도 성공적으로 작동함을 입증했습니다.

---

4. 실험 결과 (Results)

저자는 RAVENS-YCB 시뮬레이션 환경과 실제 로봇을 사용하여 10 가지 이상의 다양한 장거리 조작 작업을 평가했습니다.

• 성공률: OWL-TAMP 는 10 개 작업 중 9 개에서 가장 높은 성공률 (평균 92%) 을 기록했습니다.
  • 기반선 비교: 순수 VLM 기반 (Code as Policies) 이나 순수 TAMP 기반 방법론은 복잡한 장애물 회피나 정밀한 위치 제어가 필요한 작업에서 실패했습니다.
  • Ablation Study: 이산적 제약 (No disc.) 이나 연속적 제약 (No cont.) 중 하나만 제거하면 성능이 크게 저하되었으며, 백트래킹 (No backtrack) 을 없애면 장애물 제거가 필요한 긴 작업에서 실패율이 증가했습니다.
• **정확도 **(Soundness) OWL-TAMP 는 거의 0% 에 가까운 오진 (False Positive) 을 보였습니다. 즉, 작업이 실제로 완료되지 않았는데 성공했다고 판단하는 경우가 거의 없었습니다. 반면, 다른 방법론들은 제약 조건을 정확히 해석하지 못해 잘못된 계획을 성공으로 간주하는 경우가 많았습니다.
• 실제 로봇 실험: 실제 환경에서 19 가지 자연어 명령 (예: "자석에 맞는 색상의 쓰레기통에 과일 넣기", "파란색 블록을 빨간색과 파란색 블록 사이에 두기") 을 성공적으로 수행했습니다.

---

5. 의의 및 결론 (Significance)

• 개방형 세계에서의 로봇 제어: OWL-TAMP 는 로봇이 사전 정의된 모델에 갇히지 않고, 인간의 자연어 지시를 통해 새로운 개념과 관계를 이해하고 행동할 수 있는 길을 열었습니다.
• 하이브리드 접근법의 유효성: 대규모 사전 학습 모델 (Foundation Models) 의 유연한 추론 능력과 구조화된 계획기 (Structured Planners) 의 정밀한 기하학적 추론 능력을 결합하는 것이, 복잡한 로봇 작업을 해결하는 가장 효과적인 전략임을 입증했습니다.
• 향후 전망: VLM 이 생성한 제약 조건이 부정확할 경우 시스템이 실패할 수 있다는 한계가 있지만, 재계획 (replanning) 및 인간 피드백을 통해 이를 보완할 수 있음을 보였습니다. 이 연구는 유연하고 강력한 로봇 조작 시스템 개발을 위한 중요한 기반을 마련했습니다.

요약하자면, OWL-TAMP는 VLM 이 "무엇을 해야 하는지 (계획 스케치)"와 "어떻게 해야 하는지 (연속 제약 코드)"를 TAMP 에게 알려주어, 로봇이 자연어 명령을 통해 복잡한 물리적 세계를 탐색하고 조작할 수 있게 하는 혁신적인 프레임워크입니다.