기술 요약: 객체 중심의 모션 제약 추상화를 이용한 통합 작업 및 모션 계획 (U-TAMP)

문제 정의

작업 및 모션 계획(Task and Motion Planning, TAMP)에서 근본적인 과제는 작업 계획자가 사용하는 추상적 기호 기술(symbolic descriptions)의 모호성과 미결정성에서 발생합니다. 이러한 기술은 실제 세계에서 작업을 성공적으로 수행하는 데 필요한 구체적인 물리적 제약을 충분히 설명하지 못하는 경우가 많습니다. 전통적인 방식은 작업 계획과 모션 계획을 분리하여 이 문제를 해결합니다. 즉, 작업 계획자는 추상적인 명령 시퀀스를 생성하되 물리적 제약은 간과하며, 이후의 하위 심볼릭(sub-symbolic) 기하학적 추론 기술이 이러한 동작들을 구체화(grounding)하려고 시도합니다.

이러한 결합 해제(decoupling)는 상당한 비효율성을 초래합니다. 기하학적 추론 단계는 실행 불가능한 동작에 대해 여러 번 호출을 요구하는 비용이 많이 드는 시행착오 전략(예: 샘플링 기반 방법)에 의존하게 됩니다. 만약 기하학적 해를 찾을 수 없다면, 시스템은 작업 계획 수정 및 재계획을 트리거해야 하며, 이는 또 다른 집중적인 탐색 과정을 시작하게 만듭니다. 더욱이, 기존의 많은 TAMP 접근 방식은 작업 계획 루프 외부에서 모션 실행 가능성을 평가하기 위해 "블랙박스" 형태의 하위 심볼릭 메커니ism에 의존하거나, 복잡한 로봇 역학 모델 및 최적 제어 계산을 필요로 하는데, 이는 긴 호흡의 작업(long-horizon tasks)에 대해 계산적으로 매우 부담스럽습니다.

방법론

저자들은 작업 계획과 모션 계획을 단일 휴리스틱 탐색으로 통합하는 통합 접근 방식인 U-TAMP를 제안합니다. 핵심 혁신은 **객체 중심 추상화(object-centric abstractions)**를 사용하여 모션 제약을 심볼릭 작업 계획 도메인 내에 직접 표현하는 것입니다. 이를 통해 플래너는 표준 AI 휴리스틱 탐색 기술을 사용하여 기하학적 실행 가능성을 평가할 수 있으며, 별도의 비용이 많이 드는 하위 심볼릭 추론 루프를 제거할 수 있습니다.

1. 객체 중심 추상화

이 방법은 객체의 바운딩 박스(bounding box)와 방향의 기능적 부위에 기반하여 심볼릭 변수를 정의합니다. 객체 $o$는 on(위), under(아래), left(왼쪽), right(오른쪽), front(앞), back(뒤), in(안)과 같은 부위들로 특징지어집니다.

• 파지 제약(Grasping Constraints): 객체와 로봇 손의 손바닥 및 손가락 사이의 상호작용을 나타내는 변수들(예: ?o-h-p, ?o-h-f1, ?o-h-f2)로 정의됩니다. 이 변수들에 값을 할당하면 상대적 위치와 방향(roll, pitch, yaw)을 포함한 손-객체 포즈($^1\xi_h$)가 유일하게 결정됩니다.
• 배치 제약(Placement Constraints): 객체와 지지 구조 사이의 상호작용을 나타내는 변수들(예: ?o1-o2, ?o2-o1)로 정의됩니다. 여기에는 지지 표면 및 컨테이너 공간과의 상호작용이 포함됩니다. 값을 할당하면 객체-지지 구조 포즈($^2\xi_1$)가 결정됩니다.
• 운동학적 제약(Kinematic Constraints): 전역 손 포즈($r\xi_h$)는 파지 및 배치 구성을 변환 행렬을 사용하여 수학적으로 도출되며, 이를 통해 탐색 과정 중 명시적인 역운동학(IK) 솔버 없이도 운동학적 실행 가능성을 보장합니다.

2. PDDL 내 제약 인코딩

저자들은 이러한 추상화를 PDDL(Planning Domain Definition Language) 술어(predicate)로 인코딩하여 휴리스틱 탐색을 유도합니다. 두 가지 주요 작업 유형이 다뤄집니다:

• 객체-지지 작업(Object-Support Tasks): 객체와 지지 표면 사이의 상호작용에 집중합니다. 술어는 상호작용하는 부위가 비어 있는지(예: oc ?o1-h-p ?o1 air)와 지지 표면이 객체를 안정적으로 유지할 수 있는지(예: force ?o2 ?o2-o1)를 확인합니다.
• 객체-컨테이너 작업(Object-Container Tasks): 객체를 컨테이너 공간(예: 상자 안의 컵)에 배치하는 데 집중합니다. 여기서 컨테이너 공간은 지지체 역할을 합니다. 제약은 객체의 표면이 아닌 컨테이너 주변 공간을 기준으로 평가되어, 주변의 혼잡도나 인접 객체에 대한 추론을 가능하게 합니다.

3. 통합 액션 템플릿

이 접근 방식은 이러한 제약 조건을 전제 조건(preconditions)으로 포함하는 특정 PDDL 액션 템플릿(Pick, Place, Pick-space, Place-space)을 정의합니다.

• 전제 조건(Preconditions): 파지 구성이 적법하고(안정적인 파지), 로봇 베이스의 반대 방향이 아닌 운동학적으로 도달 가능한지 확인하여 동작이 고려되기 전의 조건을 보장합니다.
• 효과(Effects): 객체의 위치, 비어 있는 표면, 힘의 분포(예: 객체가 들어 올려지면 더 이상 다른 객체를 지지하지 않음)의 변화를 반영하도록 심볼릭 상태를 업데이트합니다.
• 실행(Execution): 플랜이 생성되면, 정의된 기하학적 관계를 사용하여 심볼릭 변수를 실제 값 매개변수(포즈 및 궤적)로 다시 매핑합니다. 프리-그라스핑(pre-grasping)/프리-플레이싱(pre-placing) 포인트를 계산하여 큐빅 스플라인 보간법(cubic spline interpolation)을 사용하여 충돌 없는 궤적을 생성합니다.

주요 기여

1. 통합 휴리스틱 탐색: 본 논문은 작업 계획과 모션 계획을 단일 탐색 프로세스로 통합하여, 기성 AI 플래너(특히 Fast Downward)의 계산 효율성을 활용하는 방법을 제시합니다.
2. 객체 중심 추상화: 모션 제약(파지, 배치, 운동학)을 객체 부위에 기반한 심볼릭 변수로 추상화하여, 기하학적 실행 가능성을 작업 계획 단계에서 평가할 수 있게 하는 새로운 표현 방식을 도입했습니다.
3. 하위 심볼릭 루프 제거: 플래너 외부에서의 반복적인 시행착오적 기하학적 추론이나 "블랙박스" 형태의 실행 가능성 체크를 필요로 하지 않습니다. 실행 가능한 플랜이 직접 생성됩니다.
4. 동적 테이블탑 생성: 시스템은 객체 포즈와 가용 공간을 기반으로 테이블탑 부품을 동적으로 생성할 수 있어, 핸드크래프트된 시나리오에 국한되었던 이전 방식들과 달리 무작위 객체 배치 및 방해 요소에 대한 견고한 처리가 가능합니다.
5. 다중 객체 상호작용으로의 확장성: 단일 상호작용에 제한되었던 기존의 객체 중심 연구들과 달리, 이 방식은 여러 객체 간의 상호작용(예: 어떤 객체의 오른쪽이자 다른 객체의 앞쪽에 객체를 배치하는 것)에 대한 제약을 인코딩합니다.

실험 결과

U-TAMP 프레임워크는 Garrett 등[23]에서 변형된 두 가지 도전적인 비단조적(non-monotonic) 벤치마크 작업에 대해 평가되었습니다:

1. 초록색 블록 배열하기 (Arranging Green Blocks): 혼잡한 환경에서 파란색 블록 뒤로 초록색 블록을 옮겨야 하는 작업으로, 목표 조건을 되돌리는 과정이 필요합니다.
   • 성능: U-TAMP는 0.31초 만에 46개의 액션으로 구성된 플랜을 생성했으며, 실패 없이 실행했습니다.
   • 비교: 이는 135초의 시간과 0.72의 성공률을 보인 최첨단 방식인 HFFRob, HA 알고리즘보다 성능이 현저히 뛰어납니다.
2. 두 명을 위한 저녁 식사 준비하기 (Cooking Dinner for Two): 양배추를 집고, 씻고, 요리하고, 컵을 씻고, 식탁을 차리는 등 객체-지지 및 객체-컨테이너 상호작용이 포함된 복잡한 작업입니다.
   • 성능: U-TAMP는 0.94초 만에 57개의 액션으로 구성된 플랜을 생성했으며, 실패 없이 실행했습니다.
   • 비교: 최첨단 방식은 44초의 시간과 0.76의 성공률을 기록했습니다.

두 경우 모두 U-TAMP는 기존 방법들에 비해 계산 시간을 약 두 자릿수(order of magnitude) 감소시켰습니다.

의의 및 주장

본 논문은 U-TAMP가 객체 중심 추상화를 통해 모션 계획 제약을 작업 계획 단계로 이동시킴으로써, 심볼릭 작업 계획과 기하학적 모션 계획 사이의 간극을 메우는 중요한 진전을 이루었다고 주장합니다.

저자들은 다음과 같이 밝힙니다:

• 비싼 하위 심블릭 추론을 피함: 집중적인 기하학적 백트래킹이나 샘플링 기반 재시도가 필요하지 않습니다.
• 로봇 역학 모델을 요구하지 않음: 최적 제어 기반의 TAMP 접근 방식과 달리, 상태 기반 계획 효율성에 의존합니다.
• 긴 호흡의 작업에 확장 가능: 계층적 또는 분리된 접근 방식이 어려워하는 복잡한 비단조적 시나리오를 성공적으로 해결했습니다.
• 우수한 일반화 능력: 객체 중심 표현을 통해 유사한 물리 법칙을 가진 객체 전반에 걸쳐 일반화가 가능하며, 동적 지원 공간 생성을 통해 비구조화된 환경에서도 견고함을 제공합니다.

저자들은 현재 구현에서는 바운딩 박스 부위를 사용하지만, 이 프레임워크가 더 풍부한 기능적 객체 부위 세트로 쉽게 확장될 수 있도록 설계되었음을 언급하며, 이는 더 넓은 적용 가능성을 위한 경로를 제시한다고 결론지었습니다.