How to Mitigate the Distribution Shift Problem in Robotics Control: A Robust and Adaptive Approach Based on Offline to Online Imitation Learning

기술 요약: 강건하고 적응적인 모방 학습 (RAIL)

문제 제기
로봇 공학에서의 모방 학습 (IL) 은 종종 분포 이동 (distribution shift) 문제로 고통받습니다. 이는 에이전트가 오프라인 학습 데이터셋에 존재하지 않았던 상태들을 온라인 추론 중에 마주쳤을 때 적절한 행동을 수행하지 못하게 되는 현상입니다. 이러한 문제는 전문가 시연이 환경의 상태 - 행동 공간의 좁은 부분집합만을 다루기 때문에 발생합니다. 기존 해결책들은 종종 오프라인 학습 단계 (데이터셋 증강을 통해) 나 온라인 추론 단계 (적응을 통해) 중 하나에만 집중하지만, 두 접근법 모두 한계를 보입니다. 인간의 교란에 의존하는 오프라인 방법은 비용이 많이 들며, 세계 모델을 사용하는 방법은 모델링 오류에 취약합니다. 온라인 방법들은 종종 분포 이동으로 인한 새로운 상태와 단순히 정상적인 추론 과정의 일부인 상태를 구별하는 데 어려움을 겪어, 불안정한 정책 업데이트나 적응 실패로 이어집니다.

방법론
저자들은 분포 이동을 완화하기 위해 두 가지 명확한 단계를 통해 설계된 평생, 다단계 프레임워크인 RAIL(강건한 오프라인에서 적응적인 온라인 모방 학습) 을 제안합니다:

1. 오프라인 학습 단계 (강건성):

   • 데이터 활용: 이 프레임워크는 전문가 시연 ($D_E$) 뿐만 아니라 보조 시연 ($D_S$) 도 활용합니다. $D_S$에는 초보자의 궤적, 비최적 전문가의 궤적, 또는 자동으로 생성된 시뮬레이션 데이터가 포함됩니다. 이들은 더 넓은 상태 - 행동 범위를 제공합니다.
   • 정규화가 적용된 판별기: $D_S$를 효과적으로 활용하기 위해 저자들은 전문가 데이터와 보조 데이터를 구별하는 판별기를 학습시킵니다. 표준 판별기들이 데이터셋이 불균형할 때 불안정성과 편향을 겪는다는 점을 인식하여, 저자들은 새로운 정규화 항 ($L_{reg}$) 을 도입합니다.
   • 메커니즘: 이 항은 판별기가 가우시안 혼합 모델 (GMM) 과 학습된 정책 가능도를 사용하여 두 데이터셋의 경험적 상태 - 행동 분포를 근사하도록 유도합니다. 이는 특히 초기 단계에서 판별기의 학습을 안정화시켜 학습 샘플의 최적성을 더 정확하게 추정할 수 있게 합니다.
   • 정책 학습: 최적화된 판별기 출력은 가중 행동 복제 (Weighted Behavior Cloning, BC) 를 위한 가중치를 계산하는 데 사용되어, 정책이 혼합 품질의 데이터에서 강건하게 학습할 수 있게 합니다.

2. 온라인 추론 단계 (적응):

   • 자기지도식 적응: 이 프레임워크는 온라인 경험을 보조 시연으로 간주합니다. 오프라인 단계에서 사용된 동일한 판별기 기반 학습 절차를 사용하여 자기지도식 학습 신호를 계산합니다.
   • 분포 이동 감지 (UTM): 무분별한 학습으로 인한 일반화 저하를 방지하기 위해, 시스템은 업데이트 시간 관리 (Update Time Management, UTM) 를 사용합니다. 현재 상태에 대한 가능도 지표 ($\kappa(s)$) 를 계산합니다. 온라인 학습은 $\kappa(s)$가 지속 기간 ($N_{ds}$) 동안 임계값 아래로 떨어질 때, 즉 지속적인 분포 이동이 발생했을 때만 트리거됩니다.
   • 적응적 업데이트: 이동이 감지되면, 판별기와 정책은 분포 이동의 정도 ($\kappa(s)$) 로 가중치를 둔 누적 온라인 경험을 사용하여 업데이트됩니다. 오프라인 분포와 멀리 떨어진 상태들은 더 보수적인 업데이트를 받습니다.

주요 기여

1. RAIL 프레임워크: 강건한 오프라인 학습과 적응적인 온라인 추론을 결합하여 분포 이동을 포괄적으로 해결하는 통합된 평생 계획.
2. 정규화된 판별기: 입력 데이터 샘플의 최적성 추정의 정확도를 높이고 학습을 안정화시키는 판별기를 위한 새로운 정규화 항으로, 특히 전문가 데이터와 보조 데이터가 불균형할 때 효과적입니다.
3. 적응적 온라인 학습: 판별기를 사용하여 자기지도식 신호를 계산하고 분포 이동이 명시적으로 감지된 경우에만 온라인 업데이트를 제한하여 안정적인 적응을 보장하는 방법.

실험 결과
저자들은 분포 이동을 유도하기 위해 다양한 수준의 가우시안 잡음 하에서 MuJoCo 환경 (Hopper, Halfcheetah, Walker2d, Ant) 에서 RAIL 을 평가했습니다.

• 오프라인 성능: 주입된 잡음이 있는 환경에서 RAIL 은 베이스라인 (표준 BC, Stable BC, 모델 기반 BC) 보다 일관되게 우수한 성능을 보였습니다. 결과는 정책 최적화 단독이나 모델 기반 가상 롤아웃보다 실제 보조 시연을 통한 상태 범위 확장이 강건성에 더 효과적임을 시사합니다.
• 온라인 성능: 온라인 추론 중 RAIL 은 BC, Beyond Imitation (BI), GAIL 에 비해 우수한 적응 능력을 보여주었습니다. BC 는 누적 오차로 인해 성능이 저하되었고 BI 는 자기지도 신호 처리에 어려움을 겪은 반면, RAIL 은 성공적으로 적응했습니다.
• 효율성: UTM 기술을 제거한 RAIL-UTM 에 대한 제거 실험 (ablation study) 은 성능 저하와 훨씬 높은 학습 시간을 초래하여 선택적 업데이트의 중요성을 강조했습니다. RAIL 은 더 높은 최종 성능을 유지하면서 RAIL-UTM 대비 학습 시간을 약 54% 단축했습니다.
• 안정성: RAIL 에서 사용된 가중 BC 는 GAIL 에서 사용된 TRPO 기반 업데이트에 비해 온라인 적응 중 더 안정적인 정책 학습을 제공했습니다.

의의 및 주장
이 논문은 RAIL 이 보조 데이터를 통한 상태 - 행동 범위 확장에 초점을 맞춤으로써 분포 이동 문제에 대한 실용적인 해결책을 제공한다고 주장합니다. 안정화된 판별기와 조건부 온라인 학습 메커니즘을 통합함으로써, 이 프레임워크는 로봇이 학습 중에는 보이지 않는 상태에 대해 강건하게 유지되고, 실제 세계에서 이러한 상태가 마주칠 때 효과적으로 적응할 수 있게 합니다. 저자들은 이 접근법이 기존 오프라인 전용 또는 온라인 전용 전략에 비해 더 안정적이고 효율적인 평생 모방 학습의 길을 제공한다고 단언합니다.