Situationally-Aware Dynamics Learning

논문 개요

이 논문은 복잡하고 비구조화된 (unstructured) 환경에서 작동하는 자율 로봇이 직면한 핵심적인 문제, 즉 관측되지 않는 잠재적 요인 (latent factors) 으로 인한 상태 불확실성을 해결하기 위한 새로운 프레임워크를 제안합니다. 로봇이 내부 상태와 외부 세계에 대한 완전한 정보를 갖지 못할 때 발생하는 모호성을 해소하고, 실시간으로 적응할 수 있는 '상황 인식 (Situationally-Aware)' 동역학 학습 방법을 개발했습니다.

1. 문제 정의 (Problem)

• 비구조화된 환경의 불확실성: 로봇이 미끄러운 진흙, 경사진 지형, 갑작스러운 바람 등 예측 불가능한 환경 요인에 직면할 때, 기존의 상태 전이 모델은 정확한 예측을 할 수 없습니다.
• 불완전한 상태 관측: 로봇은 모든 환경 변수 (지형 마찰력, 하중 변화, 센서 편차 등) 를 측정할 수 있는 센서를 탑재할 수 없습니다. 따라서 관측 가능한 상태 (proprioception 등) 만으로는 동일한 제어 명령이 서로 다른 결과를 초래하는 '모호한 시나리오'가 발생합니다.
• 기존 방법의 한계: 많은 기존 방법들은privileged information (지형 정보 등 시뮬레이션에서만 가능한 정보) 에 의존하거나, 다단계 학습 과정을 필요로 하며, 실시간으로 변화하는 동역학을 효과적으로 추론하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 일반화된 숨겨진 파라미터 마르코프 결정 과정 (Generalized Hidden Parameter MDP, GHP-MDP) 프레임워크를 기반으로 한 온라인 학습 방식을 제안합니다.

가. 핵심 아이디어: 상황 (Situation) 의 정의

• 로봇의 현재 '상황'을 **상태 전이의 결합 확률 분포 (Joint Transition Distribution)**로 정의합니다.
• 즉, 로봇이 경험하는 (상태 $s$, 행동 $a$, 다음 상태 $s'$) 튜플들의 분포를 모델링하여, 관측되지 않은 잠재 요인 (지형, 바람 등) 이 동역학에 미치는 영향을 포착합니다.
• 이 분포는 **Underlying Data Generating Process (UDGP)**를 나타내며, 로봇의 현재 상황을 상징하는 심볼 (Symbol) 로 매핑됩니다.

나. 다변량 베이지안 온라인 변경점 탐지 (Multivariate BOCD)

• 변경점 탐지: 로봇이 경험하는 데이터 스트림에서 분포가 변하는 시점 (Change Point) 을 실시간으로 탐지하기 위해 **베이지안 온라인 변경점 탐지 (BOCD)**를 다변량 (Multivariate) 으로 확장했습니다.
• Normal-Wishart Prior: 평균 ($\mu$) 과 정밀도 행렬 ($\Lambda$) 에 대한 공역 사전 분포로 Normal-Wishart 분포를 사용하여, 새로운 데이터가 들어올 때마다 파라미터를 폐쇄형 (closed-form) 으로 업데이트합니다.
• 상황 식별: 탐지된 분포 파라미터를 **모멘트 생성 함수 (Moment Generating Function, MGF)**를 통해 심볼 ($\theta$) 로 변환합니다. 이를 통해 로봇은 현재 겪고 있는 상황을 식별하고, 해당 상황에 맞는 동역학 모델을 선택하거나 적응합니다.

다. 모델 기반 강화학습 (MBRL) 통합

• 학습된 상황 심볼 ($\theta$) 은 동역학 모델 (Ensemble of Neural Networks) 의 입력에 추가됩니다.
• 모델 예측 경로 적분 (MPPI) 제어기를 사용하여, 현재 상황에 맞는 동역학 모델을 기반으로 최적의 제어 명령을 생성합니다.
• 학습 방식: 시뮬레이션과 실제 환경 모두에서 온라인 및 비지도 학습이 가능합니다. 사전 지식이나 다단계 훈련 없이, 로봇의 자체 관측 데이터 (Proprioception) 만으로 상황을 학습하고 적응합니다.

3. 주요 기여 (Key Contributions)

1. 온라인 잠재 요인 표현 학습: 로봇이 실시간으로 동역학에 영향을 미치는 잠재 요인을 식별하고, 이를 효율적인 심볼로 표현하는 새로운 방법을 제시했습니다.
2. 다변량 BOCD 확장: 상태 전이 분포의 변화를 탐지하고 모델링하기 위해 BOCD 를 다변량 설정으로 확장하여, 복잡한 로봇 동역학의 비정상성 (non-stationarity) 을 처리했습니다.
3. 심볼적 표현과 의사결정: 학습된 확률 분포를 심볼 (MGF 기반) 로 매핑하여, 동역학 모델이 명시적으로 현재 상황을 인식하고 적응할 수 있도록 했습니다.
4. 광범위한 검증: 무인 지상 차량 (UGV) 과 무인 항공기 (Quadrotor) 를 대상으로 시뮬레이션 및 실제 실험을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

가. 무인 지상 차량 (UGV) 실험

• 환경: 다양한 지형 (잔디, 진흙, 콘크리트, 나무 부스러기 등) 이 섞인 비구조화된 지형 및 실제 야외 환경.
• 성과:
  • 학습 효율성: 기존 MBRL 기법 (PETS, TD-MPC2 등) 및 모델 프리 기법 (PPO, SAC 등) 보다 훨씬 적은 데이터로 더 높은 보상과 빠른 학습 수렴을 보였습니다.
  • 성공률: 복잡한 지형 (가파른 경사, 미끄러운 진흙) 에서 다른 모든 베이스라인이 실패하거나 뒤집히는 반면, 제안된 방법은 100% 성공률을 기록했습니다.
  • 안전한 행동 발현: 로봇은 상황에 따라 자동으로 속도를 줄이거나, 미끄러질 때 뒤로 물러나는 등 안전을 우선시하는 적응적 행동을 스스로 학습했습니다.

나. 무인 항공기 (Quadrotor) 실험

• 환경: PyFlyt 시뮬레이터 내에서 임의로 변화하는 바람 조건 (Wind Fields) 하에서 게이트 통과 과제.
• 성과:
  • 데이터 효율성: 10 만 개의 전이 데이터만으로도 기존 PETS 모델 대비 34.2% 성능 향상, 500 만 개 데이터 기준 43.6% 향상.
  • 강인성: 바람 패턴이 복잡해질수록 (잠재 요인 증가) 기존 모델은 성능이 급격히 떨어졌으나, 상황 인식 모델은 성능 저하를 억제하고 안정적인 제어를 유지했습니다.

5. 의의 및 결론 (Significance)

• 실시간 적응성: 로봇이 사전에 정의되지 않은 새로운 환경이나 동역학 변화에 대해 지도 학습이나 추가 훈련 없이도 실시간으로 적응할 수 있음을 입증했습니다.
• 해석 가능성 (Interpretability): 학습된 잠재 상태가 단순한 블랙박스 임베딩이 아니라, 물리적으로 의미 있는 전이 분포의 심볼로 표현되므로 로봇의 의사결정 과정을 해석하는 데 유리합니다.
• 안전성 향상: 불확실한 환경에서 로봇이 위험을 감지하고 (상황 변화 탐지), 이에 맞춰 보수적인 행동을 취함으로써 안전성을 크게 향상시켰습니다.
• 범용성: 지상, 항공, 수중 (보조 자료) 등 다양한 플랫폼과 환경에 적용 가능한 범용 프레임워크를 제시했습니다.

이 연구는 로봇이 불완전한 정보 하에서도 '상황'을 이해하고, 이를 통해 더 안전하고 효율적인 행동을 할 수 있는 새로운 패러다임을 제시한다는 점에서 중요한 의의를 가집니다.