Navigating the Clutter: Waypoint-Based Bi-Level Planning for Multi-Robot Systems

이 논문은 **혼잡한 환경에서의 다중 로봇 시스템 제어를 위한 'WAYPLAN'**이라는 하이브리드 제어 프레임워크를 제안합니다. 이 프레임워크는 고수준 작업 계획 (Task Planning) 과 저수준 운동 계획 (Motion Planning) 을 통합적으로 최적화하여, 로봇 간 충돌, 장애물 충돌, 그리고 실행 불가능한 동작 문제를 해결합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

혼잡한 환경 (Cluttered Environments) 에서 다중 로봇을 제어하는 것은 매우 어렵습니다. 주요 도전 과제는 다음과 같습니다.

• 물리적 제약의 복잡성: 로봇 간 충돌, 로봇과 장애물 간 충돌, 운동학적 비가역성 (Kinematic infeasibility) 등이 빈번하게 발생합니다.
• 작업 - 운동 불일치 (Task-Motion Mismatch):
  • 작업 수준 실패: 고수준 계획이 물리적으로 불가능한 동작을 할당하는 경우 (예: 겹치는 영역 할당).
  • 운동 수준 실패: 고수준 계획은 유효하지만, 고정된 운동 계획 알고리즘이 복잡한 장애물 환경에서 충돌 없는 궤적을 찾지 못하는 경우.
• 기존 방법의 한계: 기존 접근법은 작업 계획과 운동 계획을 분리하거나, VLA(Vision-Language-Action) 모델을 사용하지만, 고차원 연속 공간에서의 RL 학습 불안정성과 크레딧 할당 (Credit Assignment) 의 모호함으로 인해 확장성이 떨어집니다.

2. 방법론 (Methodology)

저자들은 WAYPLAN을 제안하며, 이는 두 개의 LLM 기반 플래너 (작업 플래너, 운동 플래너) 로 구성됩니다.

A. 이진 계층 구조 (Bi-level Planning)

• 작업 플래너 (Task Planner): 고수준의 다단계 행동 계획을 생성합니다. 각 단계에서 어떤 로봇이 활성화될지, 목표 위치는 어디이며 물체를 들고 있는지 등을 결정합니다.
• 운동 플래너 (Motion Planner): 작업 플래너의 지시를 받아 Waypoint(경유지) 기반의 궤적을 생성합니다.
  • Waypoint 표현: VLA 모델이 직접 고차원의 조인트 (Joint) 값을 예측하는 대신, 장애물과 다른 로봇을 피하는 간단한 3D 좌표 (Waypoint) 시퀀스를 생성합니다.
  • 실행: 생성된 Waypoint 는 기존의 신뢰할 수 있는 운동 계획 알고리즘 (예: RRT) 을 통해 실제 실행 가능한 조인트 궤적으로 변환됩니다. 이는 운동 학습의 차원을 줄이고 물리적 타당성을 보장합니다.

B. 커리큘럼 기반 훈련 전략 (Curriculum Training Strategy)

작업과 운동 플래너의 공동 최적화를 위해 3 단계 훈련 전략을 사용합니다.

1. Stage 1 (SFT Warm-up): 각 플래너를 별도의 데이터셋으로 지도 학습 (SFT) 합니다.
   • 작업 플래너: A* 검색으로 생성된 정답 계획과, 실패 사례 (충돌, 도달 불가) 를 반영한 '반성 (Reflection)' 추론 과정을 포함하는 데이터로 학습합니다.
   • 운동 플래너: 충돌 없는 Waypoint 시퀀스 데이터로 학습합니다.
2. Stage 2 (Separate RLVR): 각 플래너를 개별적으로 강화학습 (RLVR) 합니다. 이때 작업 플래너는 운동 계획의 품질과 무관하게 작업 성공 여부만으로 보상을 받습니다.
3. Stage 3 (Joint RLVR): 작업과 운동 플래너를 공동으로 최적화합니다.
   • 수정된 RLVR 알고리즘: 작업 플래너의 보상에 '운동 실행 불가능성 (Motion Infeasibility)'에 대한 페널티를 추가합니다.
   • 피드백 전파: 운동 플래너가 실패한 경우, 그 정보가 작업 플래너에게 전달되어 잘못된 할당을 수정하도록 유도합니다. 이를 통해 작업과 운동 간의 크레딧 할당 모호성을 해결합니다.

3. 주요 기여 (Key Contributions)

1. BoxNet3D-OBS 벤치마크: 밀집된 장애물과 최대 9 개의 로봇이 공존하는 새로운 다중 로봇 평가 환경을 제안했습니다.
2. WAYPLAN 프레임워크: 작업 결정과 운동 실행 가능성을 명시적으로 결합한 하이브리드 LLM 제어 시스템을 개발했습니다.
3. 효율적인 학습 전략: Waypoint 기반 운동 표현과 커리큘럼 학습 전략을 통해 복잡한 다중 로봇 환경에서의 공동 최적화를 가능하게 했습니다.
4. VLA 대비 성능 우위: 유사한 데이터 예산 하에서 Waypoint 기반 운동 계획이 VLA 기반 계획보다 더 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

BoxNet3D-OBS 환경에서의 실험 결과는 다음과 같습니다.

• 성능 향상: WAYPLAN 은 운동 무관성 (Motion-agnostic) 기반선 및 VLA 기반 모델보다 일관되게 높은 작업 성공률을 기록했습니다.
• 소규모 모델의 우위: 운동 인식을 갖춘 4B 파라미터 모델 (FULLPLAN-S3) 은 운동 인식이 없는 GPT-5 와 같은 초대규모 LLM 보다 훨씬 높은 성공률 (0.62 vs 0.14) 을 달성했습니다.
• 운동 플래너의 중요성: 작업 플래너가 아무리 훌륭해도 운동 플래너의 성능이 낮으면 전체 성공률이 급격히 떨어집니다. Waypoint 기반 운동 플래너가 VLA 기반보다 훨씬 안정적이고 성공률이 높았습니다.
• 재계획 (Replanning) 효과: 실패 시 재계획을 수행하는 NC-REPLAN 모드가 가장 높은 성능을 보였으며, 이는 긴 문맥 처리가 어려운 소규모 모델에게 효율적인 전략임을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 혼잡한 환경에서 다중 로봇 제어를 위해 작업 계획과 운동 계획의 통합적 최적화가 필수적임을 강조합니다.

• 실용성: Waypoint 추상화와 기존 운동 계획 알고리즘의 결합은 RL 학습의 복잡성을 줄이고, 물리적 제약 조건을 더 잘 준수하도록 합니다.
• 확장성: 작은 규모의 LLM 이도 운동 인식을 통해 거대 모델보다 우수한 성능을 낼 수 있음을 보여줌으로써, 안전이 중요한 물류 자동화 등 실제 배포 환경에 적용 가능한 경량화된 솔루션을 제시합니다.
• 한계: 현재는 시뮬레이션 환경에서 검증되었으며, 매우 동적인 환경이나 정밀한 조작 (Contact-rich manipulation) 에는 추가 연구가 필요하다고 명시하고 있습니다.

요약하자면, 이 논문은 다중 로봇 시스템이 복잡한 환경에서 성공적으로 작동하기 위해서는 고수준의 의사결정과 저수준의 운동 실행이 분리되지 않고 상호 피드백을 통해 함께 학습되어야 함을 증명했습니다.