Perceptive Hierarchical-Task MPC for Sequential Mobile Manipulation in Unstructured Semi-Static Environments

이 논문은 비정형적이고 변화하는 환경에서 장기적인 작업을 수행하는 모바일 매니퓰레이션을 위해, 베이지안 추론을 통해 환경 변화를 실시간으로 인식하고 사전 지도 없이도 효율적으로 작업을 완수할 수 있는 지각 기반 계층적 작업 모델 예측 제어 (HTMPC) 프레임워크를 제안합니다.

핵심

이 논문은 로봇이 복잡한 환경에서 오랫동안 일을 할 때, 갑자기 상황이 변해도 안전하게 임무를 계속 수행할 수 있도록 하는 새로운 기술을 소개합니다.

이해하기 쉽게 **'눈이 먼 로봇'과 '눈이 밝은 로봇'**의 이야기로 비유해 설명해 드릴게요.

1. 문제 상황: "눈이 먼 로봇의 고난"

기존의 로봇들은 일을 시작하기 전에 미리 지도를 그려두고 그 지도대로 움직입니다. 마치 눈을 감고 집 안을 돌아다니는 사람과 비슷합니다.

• 상황: 로봇이 A 에서 B 로 물건을 옮기러 나갔습니다.
• 문제: 로봇이 돌아오는 길에, 사람이 갑자기 의자를 옮기거나 박스를 쌓아두었습니다.
• 결과: 로봇은 여전히 "의자는 원래 없던 곳이었다"고 믿고 있는 옛날 지도를 보고 움직입니다. 그래서 의자에 부딪히거나, "여기 길이 막혔다"고 생각해서 길을 잃거나 멈춰버립니다.

2. 이 연구의 해결책: "눈이 밝고 기억력이 좋은 로봇"

이 논문에서 개발한 기술은 로봇에게 실시간으로 주변을 보고, 변한 것을 기억하며, 즉시 계획을 수정하는 능력을赋予了 (부여) 합니다. 이를 **'지각적 위계적 작업 MPC (Perceptive HTMPC)'**라고 부르는데, 너무 어렵다면 **'현명한 로봇 코치'**라고 생각하시면 됩니다.

이 시스템은 크게 두 가지 역할을 합니다:

① "변화를 감지하는 눈" (지각 및 매핑)

• 비유: 로봇은 주변을 스캔하면서 "아, 이 박스는 10 분 전엔 여기 있었는데, 지금은 저기로 옮겨졌네?"라고 스스로 판단합니다.
• 작동 원리: 로봇은 단순히 벽이나 물체의 모양만 보는 게 아니라, **"이 물체가 움직였을까, 아니면 그대로일까?"**를 확률적으로 계산합니다.
  • 만약 박스가 움직였다면, 로봇은 옛날 지도에서 그 박스를 지우고 새로운 위치에 표시합니다.
  • 만약 박스가 사라졌다면, "아, 이제 여기는 길이 열렸다!"라고 인식합니다.
• 효과: 로봇은 **가상의 장애물 ( phantom obstacles)**에 속지 않고, 실제 상황에 맞는 최신 지도를 항상 가지고 다닙니다.

② "안전한 운전 코치" (위계적 제어)

• 비유: 로봇은 두 가지 일을 동시에 해야 합니다. 1) 바퀴로 이동하기, 2) 팔로 물건을 잡기.
• 작동 원리: 이 '코치'는 로봇에게 **"무조건 빨리 가라"가 아니라 "위험하면 천천히 가라"**고 지시합니다.
  • 기존 방식: 장애물이 보이면 "정지"하거나 "우회"하는 딱딱한 규칙을 따릅니다.
  • 이 방식 (CBF): 장애물이 가까이 오면 로봇이 자동으로 속도를 줄이고, 장애물과 더 넓은 간격을 유지하며 부드럽게 피합니다. 마치 운전할 때 앞차가 갑자기 끼어들면 급브레이크를 밟기보다 부드럽게 속도를 줄이며 차선을 바꾸는 숙련된 운전자처럼 행동합니다.

3. 실제 실험 결과: "실제 세상에서도 통했다"

연구진은 실제 로봇 (팔이 달린 이동 로봇) 을 이용해 실험했습니다.

• 실험: 로봇이 물건을 나르는 동안, 연구진이 로봇이 보지 못하는 곳 (시야 밖) 에서 박스를 옮기거나 쌓았습니다.
• 결과:
  • 기존 로봇: 옛날 지도를 믿고 움직이다가 박스에 부딪히거나 길을 잃었습니다.
  • 새로운 로봇: "어? 박스가 옮겨졌네?"라고 즉시 알아채고, 지도를 업데이트한 뒤 안전하게 우회하여 목적지까지 성공적으로 물건을 운반했습니다.

4. 왜 이것이 중요한가요? (일상 속 적용)

이 기술은 창고, 병원, 우리 집 같은 곳에서 로봇이 오랫동안 일할 때 필수적입니다.

• 창고: 사람이 물건을 옮기거나 팔레트를 배치하는 등 환경이 수시로 변합니다. 로봇이 매번 지도를 다시 그릴 필요 없이, 변한 것을 바로 알아채고 일할 수 있습니다.
• 서비스 로봇: 호텔이나 집에서 로봇이 청소나 배달을 할 때, 사람이 의자를 옮기거나 장난감을 바닥에 놓아도 로봇이 넘어지지 않고 유연하게 대처할 수 있습니다.

요약

이 논문은 **"로봇이 눈을 감고 지도만 보고 걷는 시대"**를 끝내고, **"주변을 실시간으로 보고, 변한 상황을 기억하며, 위험하면 스스로 속도를 조절해 안전하게 움직이는 로봇"**을 만들 수 있는 기술을 제안했습니다. 마치 스마트한 운전기사처럼, 예측 불가능한 세상에서도 로봇이 스스로 판단하여 임무를 완수할 수 있게 해주는 것입니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 비구조화 (unstructured) 반정적 (semi-static) 환경에서 순차적 이동 조작 (sequential mobile manipulation) 과제를 수행하는 로봇의 자율성 문제를 다룹니다.

• 핵심 과제: 로봇이 장기간에 걸쳐 여러 하위 작업 (이동 및 조작) 을 순서대로 수행해야 하는 상황 (예: 창고에서 물건을 픽업하여 포장 구역으로 이동) 에서, 환경이 동적으로 변화할 때 (물체 제거, 이동, 추가 등) 안전하고 효율적으로 임무를 완수해야 합니다.
• 기존 방법의 한계:
  • 기존 이동 조작 계획기들은 대부분 정적 환경을 가정하고 사전에 계산된 지도 (prior map) 에 의존합니다.
  • 장기간 운영 중에는 환경이 변화하여 (예: 로봇의 경로에 다른 물체가 놓임) 사전 지도와 실제 환경이 불일치하게 됩니다.
  • 이로 인해 기존 계획은 비효율적이 되거나, 심한 경우 충돌로 이어져 안전이 위협받을 수 있습니다.
  • 기존 지각 기반 제어 방법들은 주로 단일 작업이나 저차원 플랫폼에 국한되어 있으며, 순차적 작업과 고차원 운동학적 중복성 (redundancy) 을 동시에 처리하는 데 한계가 있었습니다.

2. 제안된 방법론 (Methodology)

저자들은 지각 기반 계층적 작업 모델 예측 제어 (Perceptive Hierarchical-Task MPC, HTMPC) 프레임워크를 제안하여 지각 (Perception) 과 제어 (Control) 사이의 폐루프 (closed-loop) 를 구축했습니다.

A. 지각 및 매핑 (Perception and Mapping)

• 베이지안 추론 기반 객체 수준 변화 감지:
  • 정적 지도가 아닌 객체 수준 (object-level) 의 3D 볼륨 지도를 유지합니다.
  • 각 객체에 대해 정체성 점수 (stationarity score) 와 일관성 (consistency) 을 확률 분포 (가우시안 및 베타 분포) 로 모델링합니다.
  • 베이지안 추론을 통해 관측된 데이터와 기존 지도를 비교하여, 객체가 이동했는지, 사라졌는지, 혹은 새로운 물체인지 판단합니다.
  • 일관성 점수가 임계값 이하로 떨어지면 해당 객체를 지도에서 제거하거나 위치를 업데이트하여 '유령 장애물 (phantom obstacles)' 문제를 해결합니다.
• 실시간 지도 업데이트: ORB-SLAM3 와 결합된 휠 오도메트리 및 RGB-D 카메라 데이터를 활용하여 로봇의 상태와 환경 지도를 실시간으로 갱신합니다.

B. 지각 기반 HTMPC (Perceptive HTMPC)

• 계층적 작업 최적화:
  • 순차적 작업을 어휘적 최적화 (Lexicographic Optimization) 문제로 공식화합니다. 이는 작업 순서를 엄격하게 준수하면서도 로봇의 운동학적 중복성을 활용하여 효율성을 극대화합니다.
  • 각 하위 작업 (이동, 조작 등) 에 대해 우선순위를 부여하여, 상위 작업의 성능을 저하시키지 않는 범위 내에서 하위 작업을 최적화합니다.
• CBF 기반 안전 제약 조건 (Safety Constraints):
  • 기존 EDF(유클리드 거리장) 기반 충돌 회피 대신, 제어 장벽 함수 (Control Barrier Function, CBF) 를 활용합니다.
  • 실시간으로 업데이트된 3D 지도에서 도출된 안전 제약 조건을 MPC 에 통합합니다.
  • CBF 는 로봇이 장애물에 접근할 때 속도를 자동으로 감속시키고, 장애물과의 여유 거리 (traverse clearance) 를 유지하도록 유도하여, 센서 지연이나 불완전한 관측 상황에서도 보수적이고 안전한 행동을 보장합니다.

3. 주요 기여 (Key Contributions)

1. 순차적 이동 조작을 위한 최초의 지각 - 제어 폐루프: 비구조화 반정적 환경에서 순차적 작업을 수행하는 이동 조작 로봇을 위해, 지각 (지도 업데이트) 과 제어 (MPC) 를 통합한 체계적인 프레임워크를 최초로 제안했습니다.
2. 객체 수준의 변화 감지 및 지도 유지: 베이지안 추론을 활용하여 환경의 반정적 변화 (물체 이동, 제거 등) 를 명시적으로 모델링하고, 이를 통해 정확하고 최신의 3D 지도를 유지하여 장기 운영의 신뢰성을 높였습니다.
3. CBF 기반의 반응형 안전 제어: 이동 조작 로봇의 고차원 동역학에 적용 가능한 CBF 기반 안전 제약 조건을 설계하여, 불완전한 관측 환경에서도 기존 EDF 방법보다 우수한 안전성과 효율성을 달성했습니다.
4. 실제 로봇 및 시뮬레이션 검증: 시뮬레이션과 실제 로봇 (UR10 암 + Ridgeback 베이스) 실험을 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 지도 정확도 및 경로 효율성:
  • 기존 정적 지도 기반 방법 (Baseline) 은 환경 변화 후에도 이동한 물체의 흔적 (유령 장애물) 을 남기며 비효율적인 경로를 생성했습니다.
  • 제안된 방법은 객체 변화를 실시간으로 감지하여 지도를 정제함으로써, 더 짧고 효율적인 경로를 생성했습니다 (Fig. 4).
• CBF vs EDF 안전성 비교:
  • 안전 마진 (Safety Margin): 동일한 안전 마진 설정에서 CBF 는 EDF 보다 장애물 근처에서 더 큰 여유 거리 (clearance) 를 유지했습니다.
  • 속도 제어: CBF 는 장애물에 접근할 때 속도를 현저히 감속시키는 반면, EDF 는 안전 마진을 크게 설정하지 않는 한 높은 속도를 유지하여 위험할 수 있었습니다.
  • 충돌 회피율: 불완전한 지도 (부분 관측) 환경에서 CBF 는 EDF 보다 충돌 없는 비율 (collision-free rate) 이 훨씬 높았습니다 (Fig. 8).
• 반응성 (Reactivity):
  • 동적 장애물이 갑자기 나타나는 시나리오에서, 제안된 시스템은 이론적 최소 충돌 거리 (DTC) 에 근접한 수준 (이동체 0.6m, 베이스 1.48m) 에서도 충돌을 피할 수 있었습니다.
  • 실제 실험에서 2 개 박스 시나리오에서 87%, 5 개 박스 시나리오에서 60% 의 충돌 회피 성공률을 기록했습니다.
• 순차적 작업 수행:
  • 로봇이 여러 번의 방문을 통해 환경 변화를 감지하고 재계획하여 순차적 픽 - 앤 - 플레이스 작업을 성공적으로 완수했습니다.

5. 의의 및 결론 (Significance)

이 논문은 장기 자율성 (Long-term Autonomy) 을 위한 중요한 진전을 이루었습니다.

• 실제 환경 적용 가능성: 사전 지도나 외부 인프라에 의존하지 않고, 온보드 센싱과 컴퓨팅만으로 미지의 변화하는 환경에서 안전하게 임무를 수행할 수 있음을 증명했습니다.
• 안전성과 효율성의 균형: CBF 를 활용하여 센서 지연과 불확실성이 있는 상황에서도 로봇이 보수적으로 행동하도록 유도함으로써, 안전성을 확보하면서도 작업 효율성을 유지했습니다.
• 확장성: 제안된 모듈러 프레임워크는 언어 기반 작업 계획기 (Language-based task planners) 나 다른 작업 스택 (Stack-of-Task) 방법과 결합하여 더 복잡하고 인간 중심의 응용 분야 (창고, 서비스 로봇 등) 로 확장될 수 있는 잠재력을 가지고 있습니다.

요약하자면, 이 연구는 동적으로 변화하는 환경에서 이동 조작 로봇이 어떻게 지각을 통해 스스로를 업데이트하고, 이를 기반으로 안전하고 효율적인 순차적 작업을 수행할 수 있는지에 대한 체계적인 해결책을 제시했습니다.