기술 요약: 그래프 표현을 이용한 궤적 학습 기반 사회적 로봇 내비게이션

문제 정의

인간이 밀집된 환경에서 작동하는 자율 이동 로봇은 보행자에게 방해를 최소화하며 주행해야 한다. 사회적 상호작용을 포착하고 보행자 운동 추정치를 포함하는 것은 사회적으로 준수하는 행동을 위해 매우 중요하지만, 기존 방식들은 다음과 같은 상당한 한계에 직면해 있다:

1. 강화 학습 (Reinforcement Learning, RL): 수작업으로 설계된 보상 함수가 필요한데, 이는 복잡한 사회적 행동을 정적인 기준으로 축소시켜 실제 보행 패턴을 재현하는 능력을 제한한다.
2. 모방 학습 (Imitation Learning - Behavior Cloning, BC): 실제 데이터로부터 직접 학습을 제공하지만, 단일 단계 의사결정으로 인한 오차 누적(error accumulation) 문제로 고통받는다. 훈련과 테스트 사이의 미세한 분포 변화는 복합적인 오차를 유발한다.
3. 상태 표현 (State Representation): 많은 접근 방식이 고정된 수의 보행자나 독립적인 쌍별 상호작용에 의존하며, 군중 내의 관계적 구조와 역동적인 사회적 상호작용을 모델링하는 데 실패한다.
4. 예견 능력 (Foresight): 현재 또는 과거의 관측에만 의존하는 항법은 보행자의 의도를 예측하는 능력을 제한하여, 선제적(preemptive)인 기동보다는 반응적(reactive)인 기동에 그치게 한다.

방법론

저자들은 군중 표현 학습과 내비게이션 정책 학습을 분리하는 2단계 모방 학습 프레임워크를 제안한다.

1. 그래프 특징 오토인코더 (Graph Feature Autoencoder, GFAE)

사회적 구조 모델링의 한계를 해결하기 위해, 저자들은 새로운 보조 네트워크인 **그래프 특징 오토인코더 (GFAE)**를 도입한다.

• 구조: 이 모델은 **그래프 트랜스포머 레이어 (Graph Transformer Layer, GTL)**를 인코더로 활용한다. 이 레이어는 멀티 헤드 어텐션 메커니즘을 사용하여 모든 상호작용을 동일하게 취급하는 대신, 근접성과 영향력에 따라 에이전트(보행자 및 로봇) 간의 상호작용에 동적으로 가중치를 부여한다.
• 기능: GFAE는 노드가 에이전트를 나타내고 엣지가 상호작용을 나타내는 그래프 기반 상태를 처리한다. 이 모델은 **맥스 풀링(max pooling)**을 통해 노드 임베딩을 집계하여 고정된 크기의 군중 임베딩($z$)을 생성한다.
• 학습 목표: 풀링된 임베딩이 개별 노드의 정보를 보존하도록 하기 위해, 네트워크는 전역 임베딩으로부터 개별 노드 특징을 재구성하는 디코더를 포함한다. 모델은 원래의 노드 특징과 재구성된 특징 사이의 평균 제곱 오차(MSE)를 최소화하도록 학습된다.
• 결과: 이를 통해 하위 내비게이션 작업과 독립적이면서도 인간-인간 및 인간-로봇 상호작용을 포착하는 전이 가능한 군중 임베딩을 생성한다.

2. 조건부 로봇 궤적 생성 (내비게이션 모듈)

내비게이션 모듈은 오차 누적과 예견 능력 부족 문제를 해결하기 위해 조건부 신경 운동 프리미티브 (Conditional Neural Movement Primitives, CNMP) 프레임워크를 기반으로 구축된다.

• 입력: 이 모듈은 시간, 로봇 위치, 목표 지점, 그리고 GFAE로 생성된 그래프 임베딩을 포함하는 샘플링된 관측치로부터 유도된 공유 잠재 표현($r$)을 입력으로 받는다.
• 이중 헤드 예측 (Dual-Head Prediction): 표준 BC와 달리, 이 모듈은 동일한 잠재 벡터로부터 작동하는 두 개의 디코더 헤드를 사용한다:
  1. 궤적 헤드 (Trajectory Head): 로봇의 미래 위치를 예측한다.
  2. 상태 헤드 (State Head): 미래의 군중 임베딩(보행자 움직임 추정치)을 예측한다.
• 학습 목표: 네트워크는 **궤적 수준의 학습 목표(trajectory-level learning objective)**를 가지고 학습된다. 시연 데이터에서 관측 및 타겟 타임스텝을 균등하게 샘플링하여 다음의 선형 결합을 최소화한다:
  • 궤적 손실 (가우시안 음의 로그 가능도).
  • 상태 예측 손실 (예측된 미래 군중 임베딩과 실제 미래 군중 임베딩 사이의 MSE).
• 메커니즘: 로봇의 궤적과 미래 군중 상태를 공동으로 예측함으로써, 공유 인코더는 로봇의 경로와 보행자 역학 모두에 대한 정보를 인코딩하도록 규제된다. 이를 통해 로봇은 예상되는 보행자 움직임을 의사결정에 통합할 수 있어, 단일 단계 BC에서 나타나는 오차 누적 문제를 완화할 수 있다.

주요 기여

1. 시공간 프레임워크: 학습된 공간적 군중 표현(GNN을 통해)과 시간적 궤적 학습의 통합.
2. 그래프 특징 오토인코더 (GFAE): 어텐션 메커니즘을 활용하여 인간-인간 및 인간-로봇 상호작용을 모델링함으로써, 군중의 사회적 구조를 고정된 크기의 임베딩으로 인코딩하는 새로운 방법.
3. 궤적 수준 내비게이션 모듈: 오차 누적을 완화하는 궤적 수준 목표로 학습된 내비게이션 모듈. 이는 공유 잠재 표현으로부터 보행자 움직임 추정치와 로봇 궤적을 공동으로 예측하여 선제적 기동을 가능하게 한다.

실험 결과

본 프레임워크는 시뮬레이션된 창고 환경(SEAN 2.0)과 실제 세계 데이터셋(SCAND) 모두에서 평가되었다.

시뮬레이션 결과 (SEAN 2.0)

• 지표: 친밀 구역 침범 횟수(IZIC), 개인 구역 침범 횟수(PZIC), 보행자 최소 거리(MDDT), 충돌, 내비게이션 시간 및 성공률로 평가하였다.
• 성능: 제안된 방법(GE+CNMP)은 행동 복제(BC), 확산 정책(Diffusion Policy), 그리고 그래프 임베딩을 사용한 BC 베이스라인(GE+BC)보다 우수한 성능을 보였다.
  • 가장 높은 성공률(98.12%)과 가장 낮은 침범 횟수를 달성하였다.
  • 확산 정책(Diffusion Policy)보다 성능이 크게 뛰어났으며, 저자들은 이를 확산 접근 방식의 궤적 수준 목표 부재와 더 작은 데이터셋 크기 때문으로 분석하였다.
  • 절제 연구 (Ablation Study): 학습된 그래프 임베딩을 사용하는 것(GE+BC)이 원시 상태 표현(BC)보다 성능을 크게 향상시킨다는 것을 확인하였다. TransformerConv 레이어가 맥스 풀링을 사용할 때 GFAE에서 가장 낮은 재구성 손실을 보였다.
• 시각화: t-SNE 시각화를 통해 GFAE 잠재 공간이 원시 상태 공간과 달리 사회적 시나리오별로 상태를 성공적으로 클러스터링함을 보여주었다.

실제 세계 결과 (SCAND 데이터셋)

• 설정: 실외 환경의 노이즈가 있는 실제 LiDAR 데이터를 대상으로 테스트하였다.
• 성능: GE+CNMP는 BC를 크게 압도하였으며, BC의 성공률이 53.33%인 것에 비해 98.33%의 성공률을 기록하였다.
• 관찰: BC는 목표를 지나치거나 보행자와 충돌하며 자주 실패한 반면, 제안된 방법은 사회적 준수성을 유지하며 효과적으로 목표에 도달하였다.

의의 및 주장

본 논문은 자신의 프레임워크가 기존 사회적 내비게이션 방식의 세 가지 주요 한계를 성공적으로 해결했다고 주장한다:

1. 오차 누적: 단일 단계 모방이 아닌 궤적 수준의 학습 목표를 활용함으로써 실행 중 발생하는 오차의 누적을 줄인다.
2. 예측된 움직임: 로봇 궤적과 함께 미래 군중 상태를 공동으로 예측함으로써, 시스템이 반응적 기동이 아닌 유연하고 선제적인 기동을 할 수 있게 한다.
3. 사회적 구조 모델링: GFAE는 보행자를 독립적인 개체로 취급하거나 고정된 집합으로 보는 대신, 군중의 관계적 구조(인간-인간 상호작용)를 포착한다.

저자들은 자신들의 방법이 시뮬레이션과 실제 환경 모두에서 사회적으로 준수하는 기동을 보여주며, 센서-운동 데이터와 군중 임베딩 사이의 시간적 관계를 학습하는 것이 일반적인 반응적 방법보다 우수한 사회적 성능을 낸다는 것을 입증하였다고 결론지었다.

한계점

저자들은 다음과 같은 특정 한계를 인정한다:

• 확장성: 그래프 임베딩을 생성하는 데 사용되는 풀링 연산은 매우 혼잡한 환경에서 확장성 문제를 겪을 수 있다.
• 충돌 회피: 본 프레임워크는 명시적인 충돌 회피 보장을 통합하지 않는다. 실험은 사회적 기동에 집중하기 위해 정적 장애물이 없는 환경에서 수행되었다. 향후 연구에서는 저수준 제어기가 충돌 회피를 담당하는 내비게이션 스택에 이 프레임워크를 통합할 계획이다.