Safe and Interpretable Multimodal Path Planning for Multi-Agent Cooperation

1. 문제 정의 (Problem Statement)

분산된 에이전트 (로봇 간 또는 인간 - 로봇 간) 간의 성공적인 협력은 각 에이전트가 다른 에이전트의 행동에 빠르게 적응하여 경로를 수정할 수 있어야 가능합니다. 그러나 에이전트들이 서로의 의도나 계획을 명확히 예측할 수 없는 상황에서는 안전사고가 발생할 위험이 큽니다.

기존의 다중 에이전트 경로 계획 (MAPF) 은 중앙 집중식 최적화나 단순한 충돌 회피 알고리즘에 의존하는 경우가 많으나, 이는 다음과 같은 한계가 있습니다:

• 의사소통 부재: 자연어 (언어) 를 통한 상호작용을 계획 과정에 직접 반영하지 못함.
• 안전성 및 해석 가능성 부족: 언어 명령을 직접 행동이나 궤적으로 매핑하는 기존 VLM(비전 - 언어 모델) 기반 접근법은 물리적 제약 (장애물 충돌 등) 을 위반할 가능성이 높고, 왜 그런 결정을 내렸는지 해석하기 어려움.
• 유연성 결여: 재계획 (Replanning) 은 계산 비용이 크고 실시간 적응에 비효율적일 수 있음.

이 논문은 자연어 의사소통을 기반으로 경로를 안전하게 수정 (Editing) 하되, 물리적 안전성과 인간이 이해할 수 있는 해석 가능성을 동시에 보장하는 프레임워크를 제안합니다.

2. 방법론 (Methodology: CaPE)

저자들은 CaPE (Code as Path Editor) 라는 새로운 프레임워크를 제안합니다. CaPE 는 언어 명령을 직접 행동이 아닌, 기존 경로 계획을 수정하는 프로그램 (Code) 으로 변환하여 실행합니다.

핵심 구성 요소

1. Joint Planner (공동 계획기):

   • 목표 에이전트와 다른 에이전트 (인간 또는 다른 로봇) 의 목표를 기반으로 충돌 없는 여러 개의 후보 경로 (Candidate Paths) 를 생성합니다.
   • Homotopy-aware Path Planning을 사용하여 장애물을 우회하는 질적으로 다른 경로 클래스 (Homotopy classes) 를 다양하게 제공합니다.
   • 다른 에이전트의 미래 경로를 예측하여 컨텍스트로 제공합니다.

2. VLM 기반 경로 수정 프로그램 합성 (Program Synthesis):

   • 비전 - 언어 모델 (VLM) 을 사용하여 다중 모달 입력 (지도, 후보 경로, 예측 경로, 자연어 명령) 을 분석합니다.
   • VLM 은 도메인 특정 언어 (DSL) 로 된 "경로 수정 프로그램"을 생성합니다.
   • DSL 기능: 경로 선택 (select_path), 웨이포인트 이동/회전 수정 (modify_translation/rotation), 웨이포인트 삽입 (insert_waypoint), 대기 (wait) 등 간단한 명령어 집합을 사용합니다. 이는 복잡한 궤적 생성이 아닌, 기존 계획의 '편집'에 초점을 맞춥니다.

3. 안전성 검증기 (Verifier):

   • VLM 이 생성한 프로그램은 실행 전 모델 기반 계획기 (Model-based Planner) 를 통해 검증됩니다.
   • 생성된 수정 명령이 물리적 환경 (장애물, 다른 에이전트) 과 충돌하지 않는지 확인합니다.
   • 안전 위반이 발견되면 해당 명령을 거부하거나 수정하여 최종 경로의 안전성을 보장합니다.

4. 학습 전략:

   • 대규모 VLM 을 직접 사용하는 대신, 합성 데이터 (Synthetic Data) 로 작은 크기의 VLM (예: Qwen 2.5 7B) 을 파인튜닝하여 실시간 효율성과 낮은 지연 시간을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 안전하고 해석 가능한 프레임워크: 언어 기반 프로그램 합성을 통해 경로를 수정하되, 계획기 기반 검증을 통해 물리적 안전성을 보장하는 새로운 접근법 제시.
2. 플러그 앤 플레이 모듈: CaPE 는 다양한 로봇 시스템과 다중 에이전트 시나리오 (다중 로봇, 인간 - 로봇 팀) 에 쉽게 통합될 수 있습니다.
3. 효율적인 VLM 파인튜닝: 소규모 모델을 다중 모달 입력 기반의 경로 편집 프로그램 합성 작업에 특화시켜 학습하는 방법 제시.
4. 새로운 벤치마크 및 실증: 주차장 (다중 로봇), 가정 환경 (물체 재배치), 실제 세계 (인간 - 로봇 공동 운반) 등 다양한 시나리오에서 검증.
5. Sim-to-Real 일반화: 합성 데이터로 학습된 모델이 실제 세계의 복잡한 환경과 다양한 인간의 지시에서도 효과적으로 작동함을 입증.

4. 실험 결과 (Results)

저자들은 세 가지 주요 실험을 통해 CaPE 의 성능을 평가했습니다.

• 실험 1: 자율 주행 차량을 위한 다중 로봇 경로 조정 (SimWorld)

  • 결과: 기존 계획기만 사용하는 방법 (23.3% 성공) 이나 직접 행동을 생성하는 VLM 기반 방법 (대부분 0% 성공) 과 비교하여, CaPE 는 76.6% (2 대 차량), 60.0% (3 대 차량) 의 높은 성공률을 기록했습니다.
  • 의의: 복잡한 협상 상황에서 충돌을 피하고 경로를 조정하는 데 CaPE 가 압도적으로 우수함을 보임.

• 실험 2: 가정 환경에서의 인간 - 로봇 팀 작업 (VirtualHome)

  • 결과: 밀집된 장애물과 좁은 공간에서 CaPE 는 80.0% 의 성공률을 보였습니다. 반면, 다른 VLM 기반 베이스라인들은 대부분 실패했습니다.
  • 의의: 복잡한 실내 환경에서 인간의 지시를 이해하고 경로를 실시간으로 수정하는 능력 입증.

• 실험 3: 실제 세계 인간 - 로봇 공동 운반 (Real-world Joint Carrying)

  • 설정: 인간과 로봇이 PVC 파이프를 함께 들고 좁은 공간의 장애물을 통과하는 실험 (10 명의 참가자).
  • 결과: CaPE (Gemini-3-Pro 및 파인튜닝 모델) 는 70% 성공률을 기록하여, 계획기만 사용하는 방법 (20%) 과 웨이포인트 예측 베이스라인 (10%) 을 크게 앞섰습니다.
  • 사용자 평가: 참가자들은 CaPE 가 인간의 지시를 더 잘 이해하고, 안전하며, 효율적이라고 평가했습니다. 특히 파인튜닝된 모델은 추론 속도가 2 배 빨라 실시간 적용에 유리했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 다중 에이전트 협력에서 자연어 의사소통과 물리적 안전성을 어떻게 조화시킬 수 있는지에 대한 중요한 통찰을 제공합니다.

• 안전성과 유연성의 균형: VLM 의 유연한 언어 이해 능력과 모델 기반 계획기의 엄격한 안전 검증을 결합하여, "안전한 개방형 협력"을 실현했습니다.
• 해석 가능성 (Interpretability): 로봇이 왜 경로를 수정했는지 (예: "벽에서 멀리 이동", "대기") 를 코드와 DSL 명령어를 통해 명확하게 설명할 수 있어, 인간 사용자의 신뢰를 높입니다.
• 실용성: 소규모 모델을 활용하여 실시간 성능을 확보하고, 다양한 로봇 시스템에 모듈식으로 적용 가능하다는 점은 실제 로봇 공학 적용에 큰 잠재력을 보여줍니다.

결론적으로 CaPE 는 로봇이 인간의 지시나 다른 에이전트의 의도를 이해하여, 안전하고 논리적으로 경로를 수정할 수 있는 새로운 패러다임을 제시하며, 향후 인간과 공존하는 로봇 시스템의 핵심 기술로 자리 잡을 것으로 기대됩니다.