기술 요약: 최소한의 외부 관측 감독을 통한 강건한 다리 로봇 오도메트리의 온라인 학습

문제 정의

다리 로봇(legged robots)의 강건한 내비게이션은 정확한 오도메트리에 의존하며, 이는 통상적으로 다중 센서 융합을 통해 달성됩니다. 그러나 전통적인 방식은 다음과 같은 심각한 배포 장벽에 직면해 있습니다:

1. 교정 및 모델링 복잡성: 고유 수용 감각(proprioceptive, 관절 센서, IMU)과 외부 관측(exteroceptive, 카메라, LiDAR) 데이터를 융합하려면 세밀한 센서 간 교정(calibration)과 플랫폼 특화적 운동학 모델링이 필요합니다. 이러한 파라미터들은 로봇의 구성 변화나 센서 장착 상태에 민령합니다.
2. 환경 저하에 대한 취약성: 산업용으로 패키징된 외부 관측 센서들은 정확한 추적을 제공하지만, 적대적인 조건(예: 카메라의 저조도 환경, LiDAR의 특징점이 없는 환경)에서는 제대로 작동하지 못합니다.
3. 고유 수용 감각의 한계: 순수 고유 수용 감각 방식은 설계된 운동학 및 접촉 모델에 의존하며, 이는 미끄러짐, 충격, 지형의 탄성 또는 페이로드 변화 시 성능이 저하됩니다.
4. 오프라인 학습 제약: 기존의 학습 기반 방법들은 종종 대표적인 데이터셋에 대한 오프라인 학습을 요구하며, 이는 사전 학습 없이 새로운 하드웨어나 동적인 환경에 적응하는 데 한계를 가집니다.

본 논문은 플러그 앤 플레이(plug-and-play) 방식의 플랫폼 불가지론적(platform-agnostic) 오도메트리 시스템의 필요성을 다룹니다. 이 시스템은 최소한의 감독 하에 고유 수용 감각-속도 매핑을 온라인으로 학습하며, 명시적인 교정이나 사전 학습을 제거하고, 외부 관측 센서가 실패할 때 원활하게 학습된 고유 수용 감각으로 전환(fallback)할 수 있습니다.

방법론

제안된 시스템은 온라인 학습된 고유 수용 감각 모듈과 강건한 불변 확장 칼만 필터(Robust Invariant Extended Kalman Filter, InEKF) 프레임워크라는 두 가지 주요 구성 요소로 이루어집니다.

1. 저계수 EKF를 통한 효율적인 ESN 기반 고유 수용 감각

핵-혁신 사항은 정교하게 설계된 모델 없이 노이즈가 섞인 관절 수준의 센싱 데이터(위치, 속도, 토크)로부터 베이스 속도를 직접 학습하는 고유 수용 감각 모듈입니다.

• 에코 상태 네트워크(Echo State Network, ESN) 백본: 재귀적 가중치를 온라인으로 학습시키는 계산 비용을 피하기 위해 ESN을 사용합니다. 관절 신호의 이력은 고정되고 무작위로 초기화된 재귀 역학을 통해 reservoir 상태($x_t$)로 압축됩니다. 이는 고유 수용 감각 이력의 지연 임베딩(delay-embedding) 역할을 합니다.
• MLP 리드아웃(Readout): 다층 퍼셉트론(MLP)은 가중치 $\hat{\theta}_t$를 사용하여 reservoir 상태를 베이스 속도($v^{esn}_t$)로 매핑합니다.
• 저계수 EKF(Low-Rank EKF, LOFI)를 이용한 온라인 학습: 스트리밍 데이터에서 불확실성 정량화 및 샘플 가중치 지정에 어려움을 겪는 확률적 경사 하강법(SGD) 대신, 저자들은 필터링 접근 방식을 채택했습니다.
  • 최적의 리드아웃 파라미터 $\theta^*_t$는 랜덤 워크를 통해 진화하는 잠재 상태로 취급됩니다.
  • 저계수 EKF는 사용 가능한 경우 희소한 외부 관측 속도 감독 신호($v^{sup}_t$)를 사용하여 실시간으로 MLP 가중치를 업데이트합니다.
  • 이 방법은 고유 수용 입력(reservoir 공분산)과 감독 신호 모두의 불확실성을 고려합니다.
  • 저계수 근사(LOFI)를 사용함으로써 시스템은 고차원의 MLP 가중치($D \approx 8000+$)를 실시간으로 처리할 수 있으며, $O(D(L+C))$ 메모리와 $O(D(L+C)^2)$ 계산 복잡도를 유지합니다.

2. 강건한 InEKF 기반 다리 로봇 오도메트리

학습된 고유 수용 감각 속도는 IMU 데이터 및 선택적인 외부 관측 속도와 함께 InEKF 프레임워크 내에서 융합됩니다.

• 상태 표현: 내비게이션 상태에는 방향, 속도, 위치 및 IMU 바이어스가 포함되며, 이는 strapdown IMU 모델을 통해 전파됩니다.
• 적응형 측정 선택: **스위칭 매니저(Switching Manager)**가 속도 측정 소스를 동적으로 선택합니다:
  • 외부 관측 (VINS): 시각-관성 시스템(VINS)이 신뢰할 수 있을 때 사용됩니다. 또한 이는 고유 수용 MLP를 업데이트하기 위한 감독 신호 역할도 수행합니다.
  • 고유 수용 감각 (ESN): VINS 성능이 저하될 때(예: 질감이 없는 장면, 조명 변화) 사용됩니다. 시스템은 신뢰할 수 있는 감독 기간 동안 업데이트된 학습된 모델에 의존합니다.
• 불확실성 처리: 스위칭 로직은 VINS의 상태(특징점 추적 품질 및 공분산)와 ESN 공분산을 모니터링합니다. VINS가 "사용 불가"로 표시되고 ESN 공분산이 낮은 경우, 시스템은 학습된 고유 수용 감각 속도로 전환하여 상태 추정과 MLP 업데이트를 모두 수행하며, 잘못된 감독으로부터 모델이 손상되는 것을 방지합니다.

주요 기여

1. 온라인 고유 수용 감각 학습: 본 논문은 고유 수용 감각을 MLP 리드아웃으로 모델링하고 이를 배포 중에 온라인으로 학습하는 최초의 방법을 제시합니다. 이는 사전 학습이나 설계된 운동학/접촉 모델을 필요로 하지 않으며, 고유 수용 센서를 갖춘 모든 다리 로봇으로 전이 가능합니다.
2. 신경망 학습을 위한 저계수 EKF: 저자들은 저계수 EKF를 활용하여 MLP 리드아웃 가중치를 온라인으로 학습시킵니다. 이 접근 방식은 가중치와 입력의 불확실성을 독특하게 정량화하여, 스트리밍 환경에서 표준 SGD의 한계를 극복하고 감독 신호의 품질에 따라 적응형 학습률을 적용할 수 있게 합니다.
3. 강건한 InEKF 프레임워크: IMU 데이터와 학습된 고유 수용 감각 또는 외부 관측 속도를 최적으로 융합하는 통합 오도메트리 프레임워크를 제공합니다. 이는 외부 관측 센서가 저하될 때 학습된 고유 수용 감각 모델로 원활하게 전환되어 회복력을 보장하는 적응형 스위칭 전략을 특징으로 합니다.

실험 결과

본 방법은 Boston Dynamics Spot과 Ghost Robotics Vision 60 두 가지 사족 보행 플랫폼에서 검증되었습니다.

• Spot 데이터셋 평가:

  • 시스템은 다양한 시퀀스(예: ATRIUM, BICORRIDOR, DOWNSTAIR)와 10초, 30초, 60초의 감독 윈도우를 통해 테스트되었습니다.
  • 성능: 단 30초의 감독만으로도 이 방법은 신뢰할 수 있는 속도 맵을 학습했습니다. 많은 시퀀스에서 이 방법은 외부 관측-고유 수용 결합 베이스라인인 GaRLILEO 및 오프라인 교정 베이스라인인 Leg-InEKF와 대등하거나 이를 능가하는 성능을 보였습니다. 이는 별도의 오프라인 교정 없이도 달성되었습니다.
  • 관찰: 정확도는 감독 윈도우가 길어질수록 향상되었습니다. 예외적으로 OVERPASS 시퀀스의 경우, 비감독 동작 분포(계단 내려가기)가 감독 분포(평지/계단 올라가기)와 크게 달라 드리프트가 발생했습니다. 이는 모델이 감독된 분포를 벗어나면 일반화되지 못한다는 한계를 보여줍니다.

• Vision 60 실제 환경 배포:

  • Intel RealSense D435i를 탑품한 건물 내에서 외부 교정 없이 테스트되었습니다.
  • 시나리오: 로봇은 조명이 꺼진 복도나 로봇이 회전하는 도중 조명이 꺼진 화장실과 같이 시각적으로 저하된 구역을 통과했습니다.
  • 결과: 특징점 부족이나 조명 변화로 인해 VINS가 실패했을 때, 스위칭 매니저가 성공적으로 저하를 감지하고 학습된 고의 수용 감각 모듈로 전환했습니다. 시스템은 정확한 궤적을 유지한 반 반면, VINS 전용 베이스라인은 심각한 드리프트와 오버슈트를 겪었습니다.

의의 및 주장

본 논문은 다음과 같은 회복력 있는 플랫폼 불가지론적 오도메트리 시스템을 입증한다고 주장합니다:

• 교정 제거: 외부 관측-고유 수용 간의 명시적인 교정이나 시스템 운동학 모델링의 필요성을 제거하여, 다른 하드웨어에 대한 "플러그 앤 플레이" 배포를 가능하게 합니다.
• 적대적 조건에 대한 적응: 외부 관측 센서가 저하될 때 학습된 고유 수용 감각 모델로 원활하게 전환함으로써 강건한 움직임 추정을 유지합니다.
• 효율적인 온라인 학습: 저계수 EKF를 사용하여 복잡한 신경망 리드아웃을 실시간으로 온라인 학습할 수 있으며, 센서 입력과 감독 신호 모두의 불확실성을 고려할 수 있음을 증명했습니다.

인정된 한계점:
저자들은 이 프레임워크가 외부 관측과 고유 수용 감각이 동시에 저하되지 않는다는 가정을 전제로 한다고 솔직하게 언급했습니다. 또한, 학습된 리드아웃 MLP는 속도 감독 범위와 크게 다른 동작 분포에 대해서는 일반화되지 않으며, 보지 못한 동작 유형에 대한 속도 예측은 부정확할 수 있습니다.