기술 요약: GROVE – 상호작용형 사회적 로봇 내비게이션을 위한 자연어 기반 접지형 보행자 시뮬레이션

문제 정의

보행자 시뮬레이션은 사회적 로봇 내로게이션 시스템을 훈련하고 배포하는 데 있어 필수적인 전제 조건입니다. 그러나 현재의 시뮬레이터들은 시뮬레이션-실제 간 격차(sim2real gap)를 심화시키는 "경직된" 아키텍처라는 문제를 안고 있습니다. 기존 시스템들은 대개 시나리오 정의와 시뮬레이션 실행을 분리하여, 연구자가 모든 테스트 케이스마다 에이전트의 위치, 목표, 행동을 수동으로 지정해야 합니다. 이러한 수동 작업의 병목 현상은 실무자들이 손으로 직접 만든 작고 고정된 시나리오 세트에만 국한되게 만들며, 이는 실제 세계의 사회적 상황이 가진 '롱 테일(long tail)' 현상을 포괄하지 못합니다.

또한, 대부분의 시뮬레이터는 모든 에이전트에 대해 균일한 행동 모델을 적용함으로써, 인간 행동의 풍부한 다양성을 단일 파라미터화로 축소해 버립니다. 이들은 주로 사회적 힘 모델(Social Force Model, SFM)만을 내비게이션 프리미티브로 사용합니다. SFM은 국소적인 충돌 회피에는 효과적이지만, 에이전트가 복잡한 환경을 통과하도록 유도하는 데 필요한 의미론적 의도(semantic intent)와 전역 경로 계획(global path planning) 능력이 부족합니다. 이로 인해 에이전트가 의미론적 목표와 상호작용해야 할 때 부적절한 행동(예: 벽을 뚫고 직선 경로로 이동하거나 목적성 있게 이동하지 못함)을 보이는 문제가 발생합니다.

방법론

저자들은 자연어 프롬프트를 고충실도의 사회적으로 도전적인 보행자 시뮬레이션으로 변환하는 생성형 프레임워크인 GROVE를 제안합니다. 이 시스템은 의미론적 추론, 행동 계획, 기하학적 모션 계획을 분리하는 계층적이고 디커플링된 파이프라인을 채택합니다.

1. 시스템 아키텍처

파이프라인은 세 가지 지평(horizon)으로 나뉩니다:

• 전략 계층 (의미론적 추론 - Strategic Layer): 시스템은 자연어 입력으로부터 관심 영역(Regions of Interest, RoIs)을 추출합니다. 공간 및 의미 정보(구역, 문, 엔티티)를 인코딩하는 구조화된 world.yaml 파일을 활용합니다. LLM은 사용자의 프롬프트를 이 메타데이터와 매칭하여 관련 RoI를 식별하며, 효율성을 유지하기 위해 무관한 컨텍스트를 필터링합니다.
• 전술 계층 (행동 계획 - Tactical Layer): 이 계층은 중간 표현으로서 행동 트리(Behavior Trees, BTs)를 생성합니다. BT가 실행 가능하고 의미론적으로 접지(grounded)되도록 하기 위해, 시스템은 **검색 증강 생성(Retrieval-Augmented Generation, RAG)**을 사용합니다. 벡터 데이터베이스(ChromaDB)는 구조화된 행동 노드 라이브러리를 저장합니다. RAG 모듈은 LLM 컨텍스트에 주입할 노드 명세(설명, 제약 조건, 템플릿)만을 검색하여 전달함으로써, 환각(hallucination) 위험과 컨텍스트 길이를 줄입니다.
  • 노드 래핑 (Node Wrapping): 다중 에이전트 상호작용의 복잡성을 처리하기 위해, 시스템은 생성 후 에이전트와 목표에 대한 식별자를 해결하는 자동 ID 관리 모듈을 도입합니다. 또한, 고수준 행동(예: 줄 서기)을 구조화된 BT 서브트리로 인코딩하며, 확장 가능한 그룹 제어를 위해 FollowVelocityField 노드를 도입합니다.
• 운영 계층 (기하학적 계획 - Operational Layer): BT가 의도를 정의하는 동안, 시스템은 기하학적 타당성을 보장하기 위해 전역 플래너를 통합합니다.
  • Theta 계획:* 시스템은 의미론적 세계를 2D 점유 격자(occupancy grid)로 분해합니다. Theta* 알고리즘을 사용하여 목표 지점 사이의 효율적이고 가시선(line-of-sight)에 가까운 경로를 계산합니다. 이 웨이포인트(waypoint)들은 명시적인 하위 목표로서 행동 트리에 주입되어, 상징적 의도와 물리적 내비게이션 사이의 간극을 메웁니다.
  • 실행: 최종 출력물은 post-processed된 행동 트리이며, 이는 Isaac Sim, Gazebo 또는 RViz와 같은 시뮬레이터 내에서 사회적 힘 모델(SFM)과 함께 실행됩니다.

2. 최적화된 프리셋 (Optimized Presets)

제어 가능성을 높이고 지연 시간을 줄이기 위해, GROVE는 구성 오버레이 역할을 하는 세 가지 시나리오별 프리셋을 제공합니다:

• 비상 모드 (Emergency Mode): 대피 의미론에 편향됩니다. 일관된 그룹 흐름을 위해 FollowVelocityField 노드로 검색을 제한하고, 복잡한 사회적 상호작용을 비활성화하며, 그룹 중심점에서 단일 출구로 향하는 속도장(velocity field)을 계산합니다.
• 대기 모드 (Queuing Mode): 순차적인 에이전트 삽입을 위한 전용 Queue 서브트리 템플릿을 활성화합니다. 순차적인 목표 할당을 강제하며, 제한된 서비스 구역 내에서 Theta* 계획을 유지합니다.
• 일반 모드 (Normal Mode): 전체 사회적 행동 노드 세트(그룹 형성, 대화, 배회)를 활성화하면서 계층적 제어와 전역 계획 사이의 균형을 맞춥니다.

3. 사용자 인터페이스

RViz2에 통합된 GUI를 통해 사용자는 프롬프트를 입력하고, 프리셋을 선택하며, 전체 물리 시뮬레이션을 실행하기 전에 생성된 속도장과 웨이포인트를 검증할 수 있습니다.

주요 기여

1. 텍스트-시나리오 프레임워크: GROVE는 RAG 기반 검색과 사회적 행동 트리를 결합하여 자유 텍스트 설명으로부터 완전히 구성된 고충실도 보행자 시뮬레이션을 자동으로 생성하는 최초의 프레임워크입니다.
2. 계층적 계획 통합: 본 논문은 전역 Theta* 웨이포인트를 행동 트리에 직접 주입하는 새로운 방법을 소개합니다. 이를 통해 상징적 작업 프로그램의 계층적 구조를 유지하면서도 정적 장애물 회피와 기하학적 타당성을 보장합니다.
3. 행동 합성을 위한 RAG: 행동 노드 명세를 동적으로 검색함으로써, 시스템은 LLM의 환각을 완화하고 컨텍스트 길이를 줄여 오류 없는 복잡한 행동 트리를 생성할 수 있게 합니다.
4. 속도장 통합: FollowVelocityField 노드의 도입은 언어 조건부 생성을 위한 새로운 통합 방식으로, 행동 트리 프레임워크 내에서 확장 가능한 그룹 수준의 모션 제어를 가능하게 합니다.
5. 시뮬레이터 호환성: 시스템은 ROS 2 생태계를 통해 주요 로보틱스 시뮬레이터(Isaac Sim, Gazebo, RViz)에 직접 통합되어, 고도로 사회적인 환경에서의 로봇 배포를 지원합니다.

결과 및 평가

저자들은 두 가지 최신 언어 기반 군집 생성 베이스라인인 Text-Crowd 및 TRACE와 GROVE를 비교 평가했습니다. 평가는 병원, 사무실, 주거 환경에서 세 가지 프리셋(Emergency, Normal, Queuing)을 대상으로 수행되었습니다.

• 내비게이션 및 궤적: GROVE는 정적 장애물 회피 및 의미론적 정렬 측면에서 우수한 성능을 보였습니다. 벽 관통 문제를 겪은 TRACE나 의미론적으로 부적절한 종착지를 생성한 Text-Crowd와 달리, GROVE는 일관된 군집 흐름과 구조화된 대기열을 생성했습니다. 또한, 대기열에서의 점진적인 에이전트 전진과 현실적인 스톱 앤 고(stop-and-go) 패턴을 생성할 수 있는 유일한 방법이었습니다.
• 정량적 지표: 시각-언어 모델(VLM)을 사용하여 시나리오를 프롬프트 정렬도, 개연성, 시각적 사실성(0~10점 척도)에 따라 점수화했을 때, GROVE는 모든 프리셋에서 가장 높은 평균 점수를 기록했습니다. 가장 눈에 띄는 개선은 프롬프트 정렬도였으며, 이는 RoI에 기반한 시작 및 목표 할당 덕분인 것으로 분석되었습니다.
• 효율성: 최적화된 프리셋의 사용은 제약 조건이 없는 "순수(vanilla)" 버전의 GROVE와 비교했을 때 토큰 수를 35~49% 감소시켰으며, 이는 생성 지연 시간을 크게 개선했습니다.

의의

본 논문은 GROVE가 의미론적 의도와 물리적 내비게이션 사이의 단절을 좁힘으로써 지속적인 sim-to-real 격차를 해결한다고 주장합니다. 다양한 현실적 인간 행동 생성을 자동화함으로써, 이 프레임워크는 연구자들이 작고 고정된 시나리오 세트를 넘어 복잡하고 역동적인 환경에서 사회적 로봇을 테스트할 수 있게 합니다. 상징적 추론(Behavior Trees), 기하학적 계획(Theta*), 물리적 실행(SFM)을 결려한 통합은 자연어로 제어 가능하면서도 로봇 배포에 충분히 견고한 고충실도 시뮬레이션을 구축하는 원칙적인 접근 방식을 제공합니다. 저자들은 여러 최첨단(SotA) 방식의 결합에 따른 높은 계산 비용과 정적 장애물 맵 가정 등의 한계를 인정하면서도, GROVE를 접근 가능하고 행동적으로 현실적인 사회적 로봇 훈련을 향한 중요한 진전으로 규정합니다.