Seq-DeepIPC: Sequential Sensing for End-to-End Control in Legged Robot Navigation

기술 요약: Seq-DeepIPC: 보행 로봇 내비게이션을 위한 엔드 투 엔드 제어를 위한 순차적 센싱

문제 정의
현대의 로봇 내비게이션은 원시 센서 데이터를 직접 제어 명령으로 매핑하는 엔드 투 엔드 학습 아키텍처에 점점 더 의존하고 있습니다. 그러나 비정형적인 실제 환경에서 보행 로봇에 이러한 시스템을 배치하는 것은 상당한 어려움을 수반합니다. 기존 방식들은 다음과 같은 문제로 인해 어려움을 겪는 경우가 많습니다: (1) 시간적 불일치(Temporal Inconsistency): 단일 프레임 인지는 보행 패턴에서 발생하는 고주파 카메라 피치 진동으로 인해 에일리어싱(aliasing)과 노이즈에 취약합니다. (2) 헤딩 불안정성(Heading Instability): 도시 환경의 자기 간섭으로 인해 IMU 기반 지자기 센서에 의존할 경우 드리프트가 발생합니다. (3) 제한된 일반화 능력(Limited Generalization): 검증된 대부분의 시스템이 구조화된 도로 위의 바퀴형 로봇을 위해 설계되어, 잔디, 계단, 불균일한 표면과 같은 혼합 지형으로 일반화하는 데 실패합니다.

방법론
저자들은 보행 로봇 내비게이션을 위해 특별히 설계된 순차적, 멀티태스크 엔드 투 엔드 인지-제어 프레임워크인 Seq-DeepIPC를 제안합니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 인지 및 BEV 구축:

   • 입력: 모델은 $K$개의 짧은 RGB-D 프레임 시퀀스를 입력받습니다.
   • 인코더: 경량화된 EfficientNet-B0 인코더가 순차적 RGB 입력을 처리하여 잠재 특징(latent features)을 추출합니다.
   • 멀티태스크 헤드: 인코더는 두 가지 예측 헤드를 구동합니다: 시맨틱 세그멘테이션(19개 클래스)과 깊이 추정(depth estimation). 깊이 예측은 인코더를 정규화하고 기하학적 인지 특징을 강제하는 보조 작업 역할을 합니다.
   • BEV 투영: 그라운드 트루스 깊이 맵은 예측된 세그멘테이션과 결합되어 조감도(Bird's-Eye-View, BEV) 시맨틱 맵을 생성합니다. 이 맵들은 두 번째 EfficientNet-B0에 의해 인코딩됩니다.
   • 시간적 융합(Temporal Fusion): GRU(Gated Recurrent Unit)가 시간 경과에 따라 RGB 잠재 특징과 BEV 잠재 특징을 융합합니다. 이 시간적 윈도우는 보행으로 인한 카메라 지터(jitter)를 완화하도록 경험적으로 튜닝되었으며, 기계적 안정화 장치 없이도 BEV 투영을 안정화합니다.

2. 플래닝 및 제어:

   • 헤딩 추정: IMU 드리프트를 제거하기 위해, 시스템은 지자기 센서를 배제하고 오직 차분 GNSS 좌표로부터 측지 공식(geodesic formula)만을 사용하여 전역 헤딩을 도출합니다.
   • 제어 정책: 융합된 잠재 상태는 변환된 경로 점(route points) 및 속도와 결합되어 두 개의 병렬 제어 경로를 구동합니다:
     • PID 기반 경로: 미래의 웨이포인트를 예측하여 횡방향 및 종방향 제어 신호를 생성합니다.
     • 명령 특화 MLP 경로: 이산 명령(직진, 좌회전, 우회전)에 기초하여 잠재 상태로부터 직접 제어 동작을 추론합니다.
   • 블렌딩(Blending): 신뢰도 게이팅 메커니즘이 PID와 MLP 컨트롤러의 출력을 혼합하여 최종 위치-방향 제어 동작 $(x, y, \theta)$을 생성합니다.

주요 기여
본 논문은 세 가지 주요 혁신성을 식별합니다:

1. 로코모션 인식 시간적 인지(Locomotion-Aware Temporal Perception): GRU를 통해 순차적 RGB-D 입력을 통합하여, 보행 로봇의 고주파 진동에 대응해 BEV 투영을 안정화하도록 특별히 튜닝된 프레임워크입니다.
2. 지자기 센서가 없는 전역 헤딩(Magnetometer-Free Global Heading): 차분 GNSS 고정값으로부터만 방위각을 도출하여, 도시 환경에서 흔히 발생하는 자기 드리프트를 효과적으로 제거하는 방법입니다.
3. 포괄적인 보행 로봇 평가: 대학 캠퍼스에서 수집된 새로운 데이터셋을 통해 Unitree Go2 보행 로봇에서 시스템을 검증하였으며, 혼합 지형(아스팔트, 잔디, 계단)에서 순차적 융합이 단일 프레임 베이스라인보다 카오스적인 카메라 움직임을 처리하는 데 훨씬 우수함을 입증했습니다.

결과
저자들은 대학 캠퍼스에서 수집된 새로운 데이터셋을 사용하여 Seq-DeepIPC를 세 가지 베이스라인(Huang et al., AIM-MT, 그리고 이전의 DeepIPC 모델)과 비교 평가했습니다.

• 정량적 성능: 오프라인 테스트에서 Seq-DeepIPC는 세그멘테이션 IoU, 깊이 MAE, 웨이포인트 MAE, 제어 MAE 측면에서 베이스라인 대비 경쟁력 있거나 우수한 결과를 달성했습니다. 특히, 시퀀스 길이($K$)를 1에서 3으로 늘렸을 때 Seq-DeepIPC와 DeepIPC 베이스라인 모두에서 단조로운 개선이 나타난 반-면, 비순환 모델(Huang, AIM-MT)은 순차적 입력으로부터 이득을 얻지 못하거나 오히려 성능이 저하되었습니다.
• 모델 효율성: Seq-DeepIPC는 베이스라인(ResNet-50, EfficientNet-B3)에 비해 훨씬 가벼운 인코더(EfficientNet-B0)를 사용하며, 높은 정확도를 유지하면서도 작은 모델 크기(47.5 MB)를 구현했습니다.
• 정성적 배포: 보행 로봇에 대한 온라인 테스트 결과, 도로, 잔디, 계단을 성공적으로 통과했습니다. 시간적 융합은 웨이포인트 전환과 제어 명령을 성공적으로 부드럽게 만들었습니다.
• 한계점: 높은 건물 근처에서 GNSS 신호 차단 및 다중 경로 간섭으로 인해 내비게이션 드리프트가 발생했습니다. 그러나 시각적 인지는 견고하게 유지되었으며, 이는 오류의 원인이 신경망이 아닌 위치 추정(localization)에 있음을 분리하여 보여주었습니다.

의의
본 논문은 Seq-DeepIPC가 엔드 투 엔드 내비게이션의 범위를 바퀴형 로봇을 넘어 다재다능하고 시간적 인지가 가능한 보행 시스템으로 확장한다고 주장합니다. 다중 모달 인지(RGB-D + GNSS)를 시간적 융합 및 멀티태스크 학습과 긴밀하게 통합함으로써, 이 프레임워크는 비정형 환경에서의 보행 로봇이 직면하는 특정 과제들을 해결합니다. 저자들은 이 접근 방식이 지능형 센싱과 자율적 의사결정 사이의 간극을 메우며, 실제 배포를 위한 견고하고 경량화된 솔루션을 제공한다고 강조합니다. 본 연구는 GNSS 전용 헤딩 방식이 밀집된 도심 협곡에서는 한계가 있을 수 있지만, 개방된 지역과 혼합 지형에서는 매우 효과적이며, 보행 로봇 자율 주행을 위한 실질적인 경로를 제시함을 시사합니다.