Hierarchical Task Model Predictive Control for Sequential Mobile Manipulation Tasks

이 논문은 대형 언어 모델을 활용한 고수준 작업 계획과 원활하게 연동하여 로봇의 중복성을 효과적으로 활용함으로써 순차적 이동 조작 작업의 성능과 반응성을 크게 향상시킨 계층적 작업 모델 예측 제어 (Hierarchical-Task MPC) 프레임워크를 제안하고, 실제 9 자유도 이동 매니퓰레이터 실험을 통해 기존 방법 대비 경로 단축 및 실행 시간 2.3 배 단축 등의 우수성을 입증했습니다.

핵심

이 논문은 **"로봇이 여러 가지 일을 순서대로 할 때, 어떻게 하면 더 똑똑하고 빠르게 움직일 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

간단히 말해, 저자들은 "한 손으로 컵을 들고 (상체 작업), 동시에 다른 손으로 길을 찾아 이동하는 (하체 작업)" 로봇을 위해 새로운 두뇌를 개발했습니다. 기존 로봇은 "일단 컵을 들고 멈춰서, 길을 찾은 뒤 다시 이동"하는 식으로 느리게 움직였지만, 이 새로운 방법은 "이동하면서 동시에 컵을 들고 있는" 상황을 만들어냅니다.

이 복잡한 기술을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "일단 멈추고 생각하기" vs "이동하며 해결하기"

상상해 보세요. 당신이 손에 뜨거운 커피를 들고 (상체 작업), 집에서 카페까지 이동해야 하는 상황입니다.

• 기존 로봇 (구식 방법):

  • "일단 커피를 테이블에 내려놓아야겠다. 이동 중에는 커피가 쏟아질까 봐 무서우니까."
  • → 커피를 내려놓고, 길을 찾아 이동합니다.
  • → 도착해서 다시 커피를 집어 듭니다.
  • 결과: 매우 안전하지만, 시간이 오래 걸리고 비효율적입니다.

• 이 논문의 로봇 (새로운 HTMPC 방법):

  • "나는 커피를 들고 있으면서도 발을 움직일 수 있어. 내 몸이 유연하니까!"
  • → 이동하면서 동시에 커피를 안정적으로 들고 목적지로 향합니다.
  • 결과: 훨씬 빠르고, 에너지도 아끼며, 상황에 따라 즉각적으로 대처합니다.

2. 핵심 기술: "우선순위 있는 다중 작업" (Hierarchical Task)

로봇은 팔 (상체) 과 바퀴 (하체) 를 모두 가지고 있어 움직일 수 있는 자유도가 매우 높습니다. 이를 **'중복성 (Redundancy)'**이라고 하는데, 마치 사람이 한 손으로 물건을 들고 다른 손으로 문을 여는 것처럼 여러 일을 동시에 할 수 있는 능력입니다.

하지만 두 가지 일을 동시에 하려면 충돌이 생길 수 있습니다. (예: 커피를 떨어뜨리지 않으면서도 빠르게 가야 함)

이 논문은 **"우선순위 (Hierarchy)"**라는 개념을 도입했습니다.

• 1 순위: 커피를 절대 떨어뜨리지 않기 (상체 작업).
• 2 순위: 가능한 한 빨리 목적지로 이동하기 (하체 작업).

기존 로봇은 1 순위와 2 순위를 번갈아 가며 처리했지만, 이 새로운 시스템은 1 순위가 완벽하게 지켜지는 범위 내에서 2 순위 작업을 최대한 빠르게 수행합니다. 마치 우산 (커피) 을 쓰면서 비 (이동) 를 피하는 것과 같습니다. 우산이 젖지 않는 선에서 가장 빠르게 걷는 전략을 실시간으로 계산합니다.

3. 마법 같은 두뇌: "예측하는 운전사" (Model Predictive Control)

이 로봇의 두뇌는 **'예측 운전사'**와 같습니다.

• 일반 운전사: 앞차만 보고 브레이크를 밭니다. (현재 상황만 반응)
• 이 로봇의 두뇌 (MPC): "앞으로 10 초 뒤에는 길이 막힐 거야. 그리고 5 초 뒤에는 커피가 흔들릴 수도 있어. 그래서 지금부터 미리 속도를 조절하고 방향을 살짝 틀어야겠다."

이처럼 미래를 미리 시뮬레이션해서, 로봇이 갑자기 방향을 틀거나 멈춰야 할 때에도 커피 (상체 작업) 는 흔들리지 않게, 이동 (하체 작업) 은 최대한 빠르게 하도록 경로를 실시간으로 수정합니다.

4. 실제 실험 결과: "2.3 배 빠른 배달 로봇"

저자들은 실제 9 개의 관절을 가진 로봇 (팔 6 개 + 바퀴 3 개) 으로 실험했습니다.

• 상황: 세 명의 사람에게 순서대로 물건을 배달해야 합니다.
• 기존 로봇: 한 사람에게 물건을 주고, 멈추고, 다음 사람 위치로 이동하고, 다시 멈추고... (일일이 멈춤)
• 새로운 로봇: 한 사람에게 물건을 주면서, 이미 다음 사람의 위치로 바퀴를 굴립니다.
• 결과: 새로운 로봇이 기존 로봇보다 2.3 배나 더 빠르게 모든 배달을 완료했습니다. 또한, 로봇 팔이 구부러지는 특이한 자세 (특이점) 가 되거나 장애물이 나타나도, 커피를 떨어뜨리지 않고 유연하게 길을 찾아갔습니다.

5. 요약: 왜 이것이 중요한가요?

이 기술은 **"로봇이 인간의 일상에서 더 복잡한 일 (병원에서 약 배달하기, 공장 부품 조립하기 등) 을 자연스럽게 수행할 수 있게 해주는 핵심 열쇠"**입니다.

• 기존: "일단 멈추고, 일하고, 다시 멈추고, 이동하고..." (비효율적)
• 이제: "이동하면서 일하고, 상황 변화에 맞춰 즉시 적응하며..." (효율적이고 민첩함)

결론적으로, 이 논문은 로봇이 "한 손으로 일을 하면서 다른 손으로 길을 찾는" 인간의 자연스러운 움직임을 기계적으로 구현하여, 로봇이 우리 삶에서 더 빠르고 똑똑한 파트너가 될 수 있는 길을 열었습니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 **이동형 매니퓰레이터 (Mobile Manipulator)**가 인간의 언어적 지시를 받아 복잡한 환경에서 **연속적인 작업 (Sequential Tasks)**을 수행할 때 발생하는 효율성과 반응성 문제를 다룹니다.

• 현재의 한계: 기존 제어 아키텍처는 일반적으로 작업 계획 (Task Planner) 과 운동 제어 (Motion Control) 를 분리된 모듈로 처리합니다. 특히, 연속적인 작업 (예: A 지점 이동 $\rightarrow$ 물체 잡기 $\rightarrow$ B 지점 이동 $\rightarrow$ 놓기) 을 수행할 때, 대부분의 방법은 각 작업을 순차적으로 처리하거나 (한 번에 하나의 작업만 수행), 작업 간 충돌을 피하기 위해 기저 (Base) 와 암 (Arm) 을 분리하여 제어합니다.
• 비효율성: 이러한 접근 방식은 로봇의 **운동학적 중복성 (Kinematic Redundancy)**을 충분히 활용하지 못합니다. 예를 들어, 다음 작업 지점으로 이동하는 기저를 움직이는 동시에 현재 작업 (예: 물체 잡기) 을 수행할 수 있음에도 불구하고, 안전을 위해 기저를 완전히 정지시키거나 작업을 번갈아 수행함으로써 시간과 경로가 낭비됩니다.
• 반응성 부족: 기존 중복성 해결 (Redundancy Resolution) 방법들은 주로 최적성에 중점을 둔 계획 기반 (Planning-oriented) 접근을 취하여, 실시간으로 발생하는 작업 변경이나 장애물에 대한 반응성이 낮습니다.

2. 방법론 (Methodology)

저자들은 **계층적 작업 모델 예측 제어 (Hierarchical-Task Model Predictive Control, HTMPC)**라는 새로운 프레임워크를 제안합니다. 이는 비선형 사전적 최적화 (Nonlinear Lexicographic Optimization) 개념을 기반으로 합니다.

• HTMPC 아키텍처:
  • 고수준 작업 계획기로부터 받은 작업 시퀀스 (기저 경로 및 엔드 이펙터 (EE) 웨이포인트) 를 시간 순서대로 유지하며, 이를 동시에 해결합니다.
  • 로봇의 모든 관절 (기저 + 암) 을 통합하여 제어하며, 우선순위가 높은 작업의 성능을 저하시키지 않으면서 하위 우선순위 작업을 수행합니다.
• 사전적 최적화 (Lexicographic Optimization) 재정의:
  • 기존 사전적 최적화 알고리즘은 각 단계에서 이전 작업의 최적 해를 고정하고 다음 작업을 최적화하는 방식으로 작동합니다.
  • 저자들은 이를 비선형 프로그래밍 (NLP) 형태로 재구성하여 온라인 (실시간) 해결이 가능하도록 했습니다.
  • 제약 조건 완화: 엄격한 등식 제약 대신, 허용 오차 (Tolerance, $\delta$) 를 도입한 부등식 제약과 **분리된 제약 (Decoupled Constraints)**을 사용하여 수렴 속도를 높이고 계산 비용을 줄였습니다.
  • 제어 노력 (Control Effort): 매끄러운 운동을 보장하고 특이점 (Singularity) 에서 수치적 안정성을 확보하기 위해 제어 노력 비용 함수를 목적 함수에 추가했습니다.
• 해결 알고리즘:
  • 순차적 단일 작업 MPC (Sequential Single-Task MPC): 각 반복 단계에서 이전 작업들의 최적 해를 기반으로 다음 작업의 단일 작업 MPC 문제를 풀고, 이를 순차적으로 누적하여 전체 시퀀스를 해결합니다.
  • SQP (Sequential Quadratic Programming): 비선형 문제를 해결하기 위해 SQP 방식을 사용하며, Gurobi 솔버를 통해 각 QP 서브문제를 풉니다.

3. 주요 기여 (Key Contributions)

1. HTMPC 프레임워크 제안: 연속적인 이동형 매니퓰레이션 작업을 해결하기 위해 계층적 작업 MPC 문제를 공식화하고, 온라인 해결을 가능하게 하는 사전적 최적화 제약의 재공식화를 제시했습니다.
2. 새로운 운동 계획 및 제어 아키텍처: 로봇의 운동학적 중복성을 활용하여 여러 작업을 동시에 수행할 수 있도록 HTMPC 제어기에 최적화된 아키텍처를 설계했습니다.
3. 성능 검증: 작업 변경, 로봇 특이점 (Singularity), 궤적 변화 등 다양한 조건에서 기존 최첨단 방법 (HTIDKC) 보다 우월한 성능을 입증했습니다.
4. 실제 로봇 실험: 9 자유도 (DoF) 이동형 매니퓰레이터 (Ridgeback 기저 + UR10 암) 를 이용한 실제 실험을 통해 제안된 방법의 유효성을 검증했습니다.

4. 실험 결과 (Results)

실험은 9 DoF 이동형 매니퓰레이터를 사용하여 수행되었으며, 주요 결과는 다음과 같습니다.

• 계층적 궤적 추적 성능 향상:
  • 작업 변경, 특이점, 궤적 변동이 발생하는 상황에서 기존 최첨단 방법인 HTIDKC (Hierarchical Task Inverse Difference Kinematic Control) 대비 평균 42% 더 향상된 계층적 궤적 추적 성능을 보였습니다.
  • 특히 특이점 (Arm이 완전히 펴진 상태) 근처에서 HTMPC 는 기저의 추적을 포기하지 않고 EE 작업을 우선시하면서도 기저의 이동을 최적화하여 HTIDKC 보다 훨씬 낮은 오차를 보였습니다.
• 작업 효율성 및 속도:
  • 단일 작업 아키텍처 (ST-Arch, 기저와 암을 분리 제어) 와 비교했을 때, 제안된 HTMPC 아키텍처는 작업 공간에서 더 짧은 경로를 이동했습니다.
  • 연속된 배송 작업 (Delivery Tasks) 수행 시, 기존 방법보다 2.3 배 빠른 실행 시간을 기록했습니다. 이는 기저가 다음 목표지로 이동하는 동안에도 현재 EE 작업을 유지할 수 있기 때문입니다.
• 반응성 (Reactivity):
  • 예상치 못한 작업 변경이나 동적 장애물에 대해 실시간으로 재계획 (Re-planning) 이 가능하여, EE 작업이 위험에 처하지 않도록 기저를 즉시 정지시키거나 경로를 수정하는 등 높은 반응성을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 연구는 이동형 매니퓰레이터가 인간의 일상생활에서 더 복잡하고 연속적인 서비스를 제공할 수 있는 핵심 기술적 토대를 마련했습니다.

• 실시간성과 최적성의 균형: 기존 계획 기반 방법의 낮은 반응성과 기존 제어 기반 방법의 비최적성 사이의 간극을 메웠습니다. MPC 의 예측 능력을 활용하여 미래 작업을 고려하면서도, 계층적 제어를 통해 실시간으로 우선순위를 관리합니다.
• 중복성의 효율적 활용: 로봇이 "이동하면서 작업 (Manipulation on the Move)"을 수행할 수 있도록 하여, 작업 완료 시간을 단축하고 에너지 효율을 높이는 새로운 패러다임을 제시했습니다.
• 실용성: 실제 하드웨어 (9 DoF 로봇) 에서 성공적으로 검증되었으며, 계산 비용이 낮아 (평균 63ms) 10Hz 의 제어 주파수로 실시간 적용이 가능함을 입증했습니다.

결론적으로, 이 논문은 대형 언어 모델 (LLM) 등의 고수준 계획기와 결합하여, 인간이 지시한 복잡한 연속 작업을 로봇이 효율적이고 유연하게 수행할 수 있는 강력한 제어 솔루션을 제시했습니다.