기술 요약: MPVI – 모션 플래너 / VLA 인터리빙 (Motion Planner / VLA Interleaving)

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 모바일 조작(mobile manipulation) 분야에서 상당한 진전을 보여주었으나, 특히 복잡한 가정 환경에서의 장기적 과제(long-horizon tasks) 수행에는 여전히 어려움을 겪고 있습니다. 이러한 과제는 로봇이 높은 수준의 목표를 향해 진행 상황을 유지하면서 공간적으로 분산된 하위 작업들을 일련의 과정으로 실행할 것을 요구합니다.

대규모 인간 텔레오퍼레이션 데이터셋(예: 2025 BEHAVIOR 챌린지에 제공된 1,200시간의 데이터)으로 미세 조정(finetuning)을 거쳤음에도 불구하고, 최상위 엔드 투 엔드(end-to-end) VLA 모델들은 낮은 성공률을 보입니다(예: BEHAVIOR-1K 벤치마크에서 12.4%). 체계적인 실패 분석 결과, 이러한 모델들은 다음과 같은 문제로 인해 성능 저하를 겪는 것으로 나타났습니다:

1. 내비게이션 실패: 복잡한 장면을 통과하거나 멀리 떨어져 있거나 가려진 물체를 찾는 능력의 부족.
2. 실행 순서 혼동: 하위 작업 시퀀스에서의 오류.
3. 공간적 접지(Spatial grounding) 문제: 장기적인 관점에서 정확한 상태 추적을 유지하는 데 어려움.
4. 오류 누적(Error compounding): 초기 실행 오류가 과제의 전체 기간 동안 성능을 급격히 저하시킴.

저자들은 이러한 문제들이 단순히 학습 데이터나 모델 크기를 키우는 것만으로는 해결할 수 없는 근본적인 구조적 병목 현상이라고 주장합니다.

방법론: MPVI 프레임워크

추가적인 데이터나 학습 없이 이러한 문제를 해결하기 위해, 저자들은 **MPVI (Motion Planner / VLA Interleaving)**를 제안합니다. 이는 고전적인 모델 기반 모션 플래너와 학습된 VLA 정책을 통합하는 하이브리드 프레임워크입니다. 이 시스템은 LLM, VLM, VLA, 그리고 모션 플래너를 서로 교체 가능한 블랙박스로 취급하도록 설계되어 모듈화되어 있습니다.

프레임워크는 다섯 가지 핵심 모듈로 구성됩니다:

1. 하위 작업 플래너 (LLM):

   • 자연어 과제 지침을 짧은 하위 작업 시퀀스로 분해합니다.
   • 각 하위 작업을 내비게이션(navigation) 또는 **조작(manipulation)**으로 태깅합니다.
   • 행동 기반 술어(action-based predicates) 대신 상태 기반 완료 기준(예: "캔이 쓰레기통 안에 있음"과 같은 세계 상태에 대한 술어)을 할당합니다. 이는 상태 술어가 단일 이미지를 통해 더 쉽게 검증될 수 있기 때문입니다.

2. 오케스트레이터 (Orchestrator):

   • 하위 작업을 적절한 모듈로 라우팅합니다: 내비게이션을 위해서는 고전적 모션 플래너로, 조작을 위해서는 VLA로 보냅니다.
   • 연속적인 조작 하위 작업들을 VLA를 위한 하나의 실행 단위로 그룹화합니다.
   • 이후의 내비게이션 세그먼트 동안 불필요한 시각적 탐색을 방지하기 위해 발견된 방, 고정물, 물체에 대한 **지식 베이스(knowledge base)**를 유지합니다.
   • 실패 처리를 관리합니다: 만약 특정 모듈이 시간 예산을 초과하면, 오케스트레이터는 해당 하위 작업을 실패로 표시하고 다음 단계로 진행합니다.

3. 내비게이션 모듈 (고전적 모션 플래너):

   • 모든 베이스 모션을 A* 경로 탐색을 통해 처리합니다.
   • 레이블링된 방(rooms)이 포함된 기존의 통행 가능 지도(traversability map)에 의존합니다(이는 가정용 로봇 공학의 표준적인 가정입니다).
   • 대상 물체의 위치 파악을 위해 먼저 지식 베이스를 쿼리합니다. 위치를 알 수 없는 경우, 오픈 보캐블러리 물체 탐지(GroundingDINO)와 **프런티어 기반 탐색(frontier-based exploration)**을 결합하여 물체를 찾아냅니다.
   • VLA는 로봇이 대상 물체의 특정 "핸드오프 반경(handoff radius)" 내에 들어왔을 때만 가동됩니다.

4. 조작 모듈 (VLA):

   • 사전 학습된 VLA(구체적으로 $\pi0.5$ 기반의 openpi-comet)를 사용하여 조작 하위 작업을 실행합니다.
   • 헤드 및 손목 카메라로부터 하위 작업 설명과 RGB 이미지를 전달받습니다.
   • 완료 체크 기능이 종료를 신호할 때까지 작동합니다.

5. 완료 체크 (VLM 및 고유 수용 감각 트리거):

   • 조작 하위 작업이 완료되었는지 판단하여 모션 플래너로의 전환을 트리거합니다.
   • 핵심 혁신: 주기적인 VLM 폴링(polling) 방식은 계산 비용이 많이 들고 환각(hallucination)에 취약하므로, 시스템은 **고유 수용 감각 트리거(proprioceptive triggers)**를 사용합니다.
   • 조작 프리미티브(예: 집기 또는 놓기)가 방금 종료되었음을 나타내는 고유 수용 감각 신호(예: 그리퍼 닫힘 또는 팔의 상태)가 발생했을 때만 완료 체크를 시작합니다. 이는 연쇄적인 실패를 유발할 수 있는 거짓 양성(false positives)을 크게 줄여줍니다.

주요 기여

1. MPVI 프레임워크: 고전적 모션 플래닝과 VLA를 인터리빙하는 새로운 아키텍처를 제시하며, 모션 플래너가 장기적 모바일 조작에서의 실패를 완화하는 "조향 메커니즘(steering mechanism)" 역할을 할 수 있음을 입증했습니다.
2. 고유 수용 감각 트리거 기반 완료 체크: 물리적 로봇 상태에 기반하여 시맨틱 시각 검증을 접지함으로써, 작업 전환 중 VLM의 환각으로 인한 연쇄 실패를 방지하는 메커니즘을 제л시했습니다.
3. 경험적 검증: BEHAVIOR-1K 벤치마크에 대한 종합적인 평가를 통해, 하이브리드 접근 방식이 대규모 전신(whole-body) 데이터셋으로 학습된 엔드 투 엔드 VLA보다 우수한 성능을 보일 수 있음을 입증했습니다.

실험 결과

저자들은 OmniGibson 시뮬레이터를 사용하여 50개 과제로 구성된 BEHAVIOR-1K 벤치마크의 하위 집합에서 MPVI를 openpi-comet(2025 BEHAVIOR 챌린지의 2위 솔루션)과 비교 평가했습니다.

• 성능 향상: MPVI는 엔드 투 엔드 VLA 베이스라인 대비 평균 과제 진행도(Q-Score)에서 113%의 개선을 달enc성했습니다.
• 과제 커버리지: 50개 과제 중 31개에서 개선이 관찰되었으며, 16개 과제에서는 베이스라인과 동일한 성능을 보였고, 단 3개 과제에서만 성능 저하가 나타났습니다.
• 실패 모드 완화: 이 방법은 베이스라인에서 주요 실패 모드로 식별된 내비게이션 실패, 충돌, 실행 순서 혼동 문제를 구체적으로 해결했습니다.
• 효율성: 동일한 과제 진행도(Q-score)를 가진 에피소드를 비교했을 때, MPVI는 이동 거리(base distance traveled)를 4.5% 감소시켰고, 정규화된 시뮬레이션 시간을 9.8% 단축했습니다.
• 절제 연구 (Ablation Studies):
  • 모션 플래너를 제거했을 경우(하위 작업 분해에만 의존), MPVI 대비 성능이 31% 감소했습니다.
  • 고유 수용 감각 트리거를 제거했을 경우(주기적 폴링 사용), 성능이 47% 감소하여 신뢰할 수 있는 완료 체크의 결정적인 역할을 강조했습니다.
  • 참값(Ground-truth) 물체 위치를 사용했을 경우(Oracle), MPVI보다 Q-score가 17% 향상되었습니다. 이는 인지 능력이 요소이긴 하지만, 베이스라인의 주요 병목 현상은 단순한 물체 탐지가 아니라 내비게이션 및 플래닝 로직이었음을 시사합니다.

의의 및 주장

본 논문은 데이터를 늘리는 것만으로는 해결책이 될 수 없다고 주장합니다. 대신, 고전적 플래닝과 학습된 정책을 통합하는 것이 추가적인 학습 데이터 없이도 강건함(robustness)을 확보하는 길임을 보여줍니다.

저자들의 주장은 다음과 같습니다:

• 장기적 과제는 순수 엔드 투 엔드 VLA의 메모리, 공간 추론, 오류 전파와 관련된 구조적 한계를 드러냅니다.
• 고전적 모션 플래닝은 복잡한 장면을 항해하고 충돌 없는 경로를 계산하는 문제를 해결하도록 명시적으로 설계되어 있으므로, VLA의 자연스러운 보완재가 됩니다.
• 제안된 인터리빙 "레시피"—특히 모듈 전환을 위한 고유 수용 감각 트리거의 사용—는 학습된 정책의 유연성/시맨틱 이해 능력과 고전적 플래너의 신뢰성/기하학적 정밀함을 결합하는 원칙적인 방법을 제공합니다.

이 연구는 향-VLA 스케일링의 미래 개발 방향이 단순히 모델 용량이나 데이터셋 크기를 키우는 것이 아니라, 전환을 위한 원칙적인 기준(deferral criteria)(언제 고전적 구성 요소로 전환할 것인가)을 정립하는 데 집중해야 함을 시사합니다.

한계점

저자들은 두 가지 주요 한계를 인정합니다:

1. 지도(Map) 의존성: 이 프레임워크는 방 경계가 레이블링된, 사전에 매핑된 환경에 대한 접근을 가정합니다. 현재는 온라인 시맨틱 매핑이나 무(from scratch)에서 시작하는 시각-언어 내비게이션을 처리하지 못합니다.
2. 조작 병목 현상: 통합 범위가 내비게이션에 국한되어 있습니다. 따라서 조작은 완전히 VLA에 위임됩니다. 결과적으로, 정교한 조작(예: 삼각대에 카메라 부착)이 주요 병목인 과제에서는 성능을 개선하지 못하며, 이는 실패의 원인이 조작 정책 자체에 있기 때문입니다.