기술 요약: HiCrowd - 밀집된 인간 환경을 위한 계층적 군중 흐름 정렬

문제 정의

모바일 로봇은 밀집된 인간 환경을 항해할 때 주로 **로봇 동결 문제(Freezing Robot Problem, FRP)**로 인해 상당한 어려움을 겪습니다. 이러한 시나리오에서 로봇은 복잡한 인간 상호작용 속에서 안전한 움직임을 찾는 데 어려움을 겪으며, 목표에 도달하지 못한 채 멈춰버리게 됩니다. 기존의 반응형 플래너(예: Social Force, ORCA)는 밀집된 환경에서 복잡한 인간 간의 상호작용을 포착하는 데 실패하여 FRP를 유발하는 경우가 많습니다. 반대로, 최근의 강화 학습(RL) 접근 방식은 사회적으로 준수하는 행동을 학습하면서도, 복잡한 군중 상태를 저수준 제어 동작으로 직접 매핑하고 안전성을 보장하는 데 어려움을 겪는 경우가 많습니다. 핵심 과제는 로봇이 동결되거나 충돌을 일으키지 않으면서 항해 효율성, 안전성, 그리고 사회적 준수성을 균들 맞추는 것입니다.

방법론: HiCrowd 프레임워크

저자들은 효율적이고 안전한 항해를 가능하게 하기 위해 **강화 학습(RL)**과 **모델 예측 제어(MPC)**를 통합한 계층적 프레임워크인 HiCrowd를 제안합니다. 핵심 가설은 밀집된 환경에서 로봇이 인간을 단순히 피해야 할 동적 장애물로 취급하기보다, 인간의 움직임을 가이드로 활용(호환 가능한 흐름에 정렬)해야 한다는 것입니다.

1. 계층적 구조

시스템은 장기적인 전략적 의사 결정과 단기적인 모션 제어를 분리합니다:

• 상위 수준 (RL 정책): RL 에이전트는 전략적 플래너 역할을 합니다. 직접적인 제어 명령을 출력하는 대신, 로봇의 로컬 프레임 내에서 팔로우 포인트(follow point) $(f_x, f_y)$를 예측합니다. 이 지점은 로봇이 적절한 보행자 그룹(로컬 군중 흐름)과 정렬하도록 유도합니다.
• 하위 수준 (MPC 컨트롤러): MPC 모듈은 RL이 생성한 팔로우 포인트를 참조점으로 가져옵니다. 이는 근처 인간에 대한 동적 타당성과 안전성(충돌 회피)을 보장하면서, 참조점을 추적하기 위한 단기 궤적을 최적화합니다.

2. 강화 학습 모듈

RL 정책은 Soft Actor-Critic (SAC) 알고리즘을 사용하여 학습됩니다. 관측 공간에는 로봇의 상태, 목표, 그리고 감지 반경 내 $n$명의 주변 인간의 상태(위치, 속도)가 포함됩니다.

• 보상 함수: 보상 $r_t$는 세 가지 구성 요소의 가중치 합입니다:
  1. 목표 도달 ($r_{goal}$): 목적지에 도달했을 때 주어지는 희소 보상(sparse reward).
  2. 목표 근접성 ($r_{dist}$): 목표를 향한 움직임을 장려하는 조밀한 보상(dense reward).
  3. 군중 추종 ($r_{follow}$): 군중 흐름과 정렬하도록 장려하는 새로운 보상 항.
     • 인간은 공간적 근접성과 운동 유사성을 기반으로 DBSCAN을 사용하여 그룹으로 클러스터링됩니다.
     • 보상은 모든 그룹에 대한 최대 점수를 기반으로 계산되며, 로봇의 움직임과 그룹의 평균 속도 및 헤딩(heading) 사이의 일치도를 측정합니다.
     • 이 항은 로봇이 호환 가능한 흐름에 합류하도록 명시적으로 유도하여 학습을 가속화하고 성능을 향상시킵니다.
• 모델 예측 제어(MPC) 모듈
  MPC는 계획 지평(planning horizon) $H$ 동안 비용 함수 $J = J_{follow} + J_{safe}$를 최소화합니다:
• 추종 비용 ($J_{follow}$): 예측된 궤적과 RL이 제공한 팔로우 포인트 사이의 거리를 최소화합니다.
• 안전 비용 ($J_{safe}$): 등속 모델(Constant Velocity Model, CVM)을 통해 예측된 인간과의 근접성을 페널티로 부여하며, 안전 반경을 강제하기 위해 지수 비용 함수를 사용합니다.

주요 기여

1. 군중 흐름 가이드 원칙: 본 논문은 인간의 움직임을 단순히 장애물이 아닌 가이드로 활용하는 것이 안전하고 효율적인 항해를 위한 강력한 원칙임을 입증합니다.
2. 계층적 RL-MPC 프레임워크: 저자들은 군중 추종 보상으로 학습된 상위 수준 RL 에이전트가 사회적으로 인지된 팔로우 포인트를 생성하고, 하위 수준 MPC가 안전한 실행을 보장하는 특정 구조를 도입했습니다.
3. 실제 환경 검증: 이 방법은 재학습 없이 실제 배포에서도 효과적임을 보여주며, Sim-to-Real 격차를 해소합니다.

실험 결과

저자들은 ORCA(반응형), SARL(평면 RL), CrowdAttn(어텐션 기반 RL), 그리고 MPC 전용 어블레이션 모델을 포함한 베이스라인들과 HiCrowd를 비교 평가했습니다. 평가는 ETH-UCY 데이터셋(실제 녹화 데이터)과 합성(Synthetic) 데이터셋(더 밀집되고 반대 방향의 흐름이 있는 환경)에서 오프라인(인간이 반응하지 않음) 및 온라인(인간이 ORCA를 통해 반응함) 설정으로 수행되었습니다.

• 성능 지표: HiCrowd는 가장 높은 성공률(SR) (온라인 ETH-UCK 및 합성 설정에서 100%)과 가장 낮은 항해 시간(NT) 및 **경로 길이(PL)**를 달로했습니다.
• 로봇 동결 문제: HiCrowd는 **동결 빈도(FF)**를 크게 줄여 대부분의 설정에서 거의 제로에 가까운 동결을 달성한 반면, 베이스라인들은 자주 멈춰버렸습니다.
• 안전성: Hi-Crowd가 일부 베이스라인에 비해 항상 최소 보행자 거리를 극대화하지는 못했지만, 일관되게 1.2미터 이상의 사회적 거리를 유지했습니다.
• 어블레이션 연구: 군중 추종 보상을 제거했을 경우($\lambda_f = 0$), 학습 수렴이 느려지고 성능이 저하되어, 흐름 정렬을 명시적으로 보상하는 것이 중요하다는 점을 확인했습니다.
• 실제 환경 배포: 로봇은 공공 박물관과 2025 오사카 엑스포에 배치되었습니다. 재학습 없이도 로봇은 밀집된 보행자 흐름 속에서 성공적으로 항해하며, 그룹에 합류하고, 흐름에 역행하거나 흐름을 가로지르는 과정에서 충돌이나 동결 없이 이동했습니다.

의의 및 주장

본 논문은 HiCrowd가 "장애물 회피"에서 "흐름과의 정렬"로 패러다임을 전환함으로써 로봇 동결 문제에 대한 견고한 해결책을 제공한다고 주장합니다. 저자들은 이러한 계층적 접근 방식이 장기적인 사회적 추론과 단기적인 안전 제약을 효과적으로 분리한다고 설명합니다. 결과는 인간을 정적인 장벽이 아닌 동적인 가이드로 취급하는 것이 밀집된 군중 속에서 로봇이 지속적인 전진을 유지할 수 있게 함을 시사합니다. 재학습 없이 비정형화된 혼잡한 환경에서 성공적으로 실제 배포된 점은 인간 중심 로보틱스 분야에서 이 방법의 실용적 잠재력을 강조합니다.

저자들이 언급한 한계점:

• 상위 수준과 하위 수준 동작 간의 고정된 비율로 인해 급격히 변하는 상황에서 반응이 지연될 수 있습니다.
• 현재 프레임워크는 그룹의 공간적 기하학을 명시적으로 모델링하지 않고 주로 운동 특성에 의존합니다.
• 정적 장애물(예: 벽)은 현재 평가의 주요 초점이 아니었습니다.