기술 요약: 동역학이 변화할 때, 견고한 작업 추론이 승리한다

문제 제기

행동 기반 모델 (BFM) 은 모방 학습 (IL) 을 위한 확장 가능한 솔루션으로 등장하여, 에이전트가 다양한 오프라인 데이터에서 작업과 무관한 표현을 사전 학습함으로써 새로운 작업에 빠르게 적응할 수 있게 했다. 그러나 표준 BFM 은 사전 학습 및 배포 동안 환경 동역학이 동일하다는 중요한 가정을 전제로 한다. 실제 세계 시나리오에서는 시뮬레이션 - 현실 간 차이, 기계적 마모, 센서 노이즈, 환경적 변동 (예: 마찰력, 구동 한계, 중력의 변화) 으로 인해 이러한 가정이 자주 위반된다.

이러한 취약성에 대한 기존 해결책들, 예를 들어 동역학 조건부 신념 인코더나 메모리 증강 아키텍처는 일반적으로 다양한 동역학 체제를 아우르는 사전 학습 데이터를 요구한다. 이러한 요구 사항은 비용이 많이 들고 시간이 소요되며, 단일 명목 환경의 오프라인 데이터만 존재하는 실제 설정에서는 실행 불가능한 경우가 많다. 본 연구가 다루는 핵심 질문은 다음과 같다: 단일 명목 환경의 오프라인 데이터만 존재할 때, BFM 을 환경 동역학 변화에 견고하게 만들 수 있는가?

방법론

저자들은 견고성의 부담을 사전 학습 단계에서 작업 추론 단계로 이동시키는 프레임워크를 제안한다. 사전 학습된 BFM 을 수정하거나 다중 동역학 사전 학습 데이터를 요구하는 대신, 작업 추론 문제를 환경 동역학의 불확실성 집합에 대한 견고한 최소최대 (minimax) 최적화로 공식화한다.

핵심 접근법은 적대자 (adversary) 에 대한 모방 손실을 최소화하는 잠재 작업 임베딩 $z$를 학습하는 것이다. 적대자는 반대로 명목 동역학 주변의 총변동 (total variation) 또는 $f$-발산 (f-divergence) 볼로 정의된 불확실성 집합 내에서 이 손실을 최대화하는 전이 모델을 선택한다. 이를 통해 사전 학습 절차를 변경하지 않고도 가능한 동역학 변화에 대비 (hedge) 할 수 있는 작업 임베딩이 도출된다.

계산 효율성과 견고성 사이의 균형을 맞추기 위해 두 가지 구체적인 알고리즘이 소개된다:

1. RBFM-Light: 이 변형은 동역학 교란을 상태 점유 불확실성 집합으로 완화한다. 할인된 상태 점유 측도가 전이 커널 교란에 대해 어떻게 민감하게 반응하는지 특성화함으로써, 저자들은 계산 가능한 오프라인 목적 함수를 유도한다. 이 접근법은 작업 임베딩 $z$와 함께 최적화되는 단일 견고성 매개변수를 도입하여, 최소한의 계산 오버헤드로 견고성을 달성한다.
2. RBFM-Heavy: 이 변형은 명시적인 벨만 흐름 (Bellman flow) 제약을 통해 견고성을 강제한다. 이는 교란된 점유 측도가 기본 MDP 구조 하의 전문가 정책에 의해 유도된 유효한 정상 분포에 해당하도록 보장한다. 실현 가능성 제약과 $f$-발산 (특히 부드러운 SoftTV 생성기) 을 통합함으로써, 제약 없는 점유 교란에서 발생할 수 있는 지나치게 보수적인 해를 피한다. 이 방법은 이중 변수 (라그랑주 승수) 와 작업 벡터 $z$의 추정을 포함하는 2 단계 최적화 문제를 해결한다.

두 방법 모두 사전 학습을 위해 명목 환경의 오프라인 데이터와 작업 추론을 위해 소수의 전문가 시연 데이터에만 의존한다. 어떤 단계에서도 교란된 환경의 전문가 데이터는 필요하지 않다.

주요 기여

1. 견고한 공식화: 본 논문은 환경 동역학의 불확실성 집합에 대한 최소최대 최적화를 통해 BFM 작업 추론의 견고한 공식화를 제안한다. 이는 BFM 사전 학습 과정을 수정하지 않고도 동역학 변화에 대한 견고성을 가능하게 한다.
2. 알고리즘 변형: 저자들은 BFM 고유의 빠른 작업 추론 특성을 유지하면서 계산 효율성과 견고성 사이의 절충안을 제공하는 RBFM-Light와 RBFM-Heavy 두 가지 알고리즘을 소개한다.
3. 데이터 효율성: 이 접근법은 사전 학습을 위해 명목 설정에서 수집된 단일 탐색 데이터셋과 추론을 위해 소수의 전문가 시연 데이터만 요구한다. 이는 견고한 표현을 학습하기 위해 다양한 환경의 데이터에 의존하는 기존 연구들과 대조된다.
4. 신규성: 저자들의 지식 범위 내에서, 이는 사전 학습이나 다중 동역학 체제의 전문가 데이터를 요구하지 않고 BFM 프레임워크 내에서 환경 동역학 변화에 대한 견고성을 달성한 최초의 연구이다.

실험 결과

저자들은 RND, APS, PROTO와 같은 비지도 탐색 전략으로 생성된 데이터셋을 사용하여 Walker, Quadruped, Cheetah라는 세 가지 형태학적으로 다양한 환경의 ExORL 벤치마크에서 방법론을 평가했다. 중력 변화, 체질량 스케일링, 관절 마찰, 기울어진 중력, 그리고 구동기 제어 범위 클리핑을 포함한 다양한 물리 교란을 도입했다.

• 견고성 대 표준 BFM: 모든 환경과 교란 유형에서 두 RBFM 변형 모두 표준 FB-IL 베이스라인보다 일관되게 우수한 성능을 보였다. 교란 심각도가 증가함에 따라 성능 격차는 커졌으며, FB-IL 은 가장 급격한 저하를 보였다. RBFM-Heavy 가 일반적으로 가장 높은 보상을 달성했으며, 그 다음으로 RBFM-Light 가 이어졌다.
• 단일 작업 견고 IL 과의 비교: 제안된 방법은 단일 작업 분포 견고 오프라인 IL 베이스라인 (DRBC 및 BE-DROIL) 과 비교되었다. 단일 작업 베이스라인은 고도 교란 수준에서 FB-IL 보다 우수한 성능을 보였으나, RBFM 프레임워크는 전체 교란 스윕에 걸쳐 FB-IL 과 단일 작업 베이스라인 모두에 대해 일관된 우위를 유지했다. 이는 다중 작업 사전 학습과 견고한 추론의 결합이 가진 이점을 강조한다.
• 계산 효율성: 중요한 발견은 이 접근법의 효율성이다. 단일 작업 견고 베이스라인은 작업당 최적화를 위해 수 시간 (56 시간) 이 소요되었다. 반면, RBFM 변형은 작업별 추론 시간을 분 단위 (510 분) 로 단축하여, 우수한 견고성을 달성하면서도 수 배 더 빠른 속도를 기록했다.
• 데이터 및 매개변수 민감도: 연구는 견고한 작업 추론이 학습된 FB 표현의 품질에 결정적으로 의존하며, 표현력을 갖추기 위해 충분한 사전 학습 데이터 (예: 100 만 개의 전이) 가 필요함을 보였다. 또한, 견고성 매개변수 $\epsilon$은 명목 성능과 견고성 사이의 절충을 조절하는 것으로 나타났으며, 중간 값 ($\epsilon=0.8$) 이 가장 좋은 전체적인 절충안을 제공했다.

중요성 및 주장

본 논문은 견고한 정책이 작업 추론 시점에 완전히 달성될 수 있음을 주장하며, 이는 동적 환경에서 BFM 의 실용성을 크게 향상시킨다. 견고성을 사전 학습과 분리함으로써, 제안된 프레임워크는 단일 명목 환경의 오프라인 데이터만을 사용하여 단일 사전 학습 모델을 새로운 작업에 견고하게 적응시킬 수 있게 한다.

저자들은 이 접근법이 다중 환경 사전 학습의 prohibitive 한 비용이나 작업별 견고 최적화의 계산 비효율성을 초래하지 않으면서, 현재 BFM 의 근본적인 한계인 동역학 불일치 하의 취약성을 해결한다고 강조한다. 결과는 견고성이 추론 단계에서 "내재화"될 수 있음을 보여주며, 동역학이 예측 불가능하게 변화하는 실제의 비구조화된 환경에서 기반 모델을 배포하기 위한 확장 가능한 경로를 제공한다.