OnDeFog: Online Decision Transformer under Frame Dropping

기술 요약: OnDeFog: 프레임 드롭 환경에서의 온라인 디시전 트랜스포머(OnDeFog: Online Decision Transformer under Frame Dropping)

문제 정의
자율 주행이나 드론 제어와 같은 실제 강화 학습(RL) 응용 분야에서, 에이전트는 통신 지연이나 센서 오류로 인해 불완전한 관측치를 빈번하게 마주하게 되는데, 이를 프레임 드롭(frame dropping) 현상이라고 합니다. 이로 인해 에이전트는 상태(state)와 그에 따른 보상(reward)을 놓치게 되며, 이는 심각한 성능 저하를 초래합니다. **무작위 프레임 드롭 환경에서의 디시전 트랜스포머(DeFog)**는 디시전 트랜스포머(DT)에 특정 메커니즘을 통합하여 이를 해결하고자 개발되었으나, 이는 오프라인 RL 방법론입니다. 결과적으로 DeFog는 사전에 수집된 학습 데이터셋에 충분히 표현되지 않은 새로운 상태에 대해 일반화하는 데 어려움을 겪으며, 고품질의 방대한 데이터셋에 의존해야 하므로 데이터 수집 비용이 높다는 단점이 있습니다. 반면, **온라인 디시전 트랜스포머(ODT)**는 환경과의 직접적인 상호작용을 통해 학습을 가능하게 하지만, 프레임 드롭을 처리하기 위한 내재된 메커니즘이 부족하여 관측치가 손실될 때 성능이 급격히 저하될 수 있습니다.

방법론: OnDeFog
저자들은 DeFog의 강건성 메커니즘을 ODT 프레임워크에 통합한 새로운 온라인 RL 방법론인 OnDeFog(Online DeFog)를 제안합니다. OnDeFog은 프레임 드롭이 발생하는 환경에서도 안정적인 학습을 달면서도, 새로운 상호작용으로부터 탐색하고 학습할 수 있는 능력을 유지하는 것을 목표로 합니다.

제안된 방법은 2단계 학습 접근 방식을 채택합니다:

1. 오프라인 사전 학습(Offline Pre-training): 사전에 수집된 데이터셋을 사용하여 정책을 우선 학습시킵니다.
2. 온라인 미세 조정(Online Fine-tuning): 환경과의 직접적인 상호작용을 통해 정책을 더욱 개선합니다.

학습 중 프레임 드롭을 처리하기 위해, OnDeFog은 DeFog의 두 가지 핵심 기술을 포함합니다:

• 학습 시 프레임 드롭(Train-time Frame Dropping): 학습 중에 특정 확률($p$)에 따라 특정 타임 스텝에서 입력(상태 및 리턴)을 의도적으로 누락시킵로 합니다. 드롭된 프레임의 경우, 이전 프레임의 상태와 리턴을 그대로 가져옵니다. 이는 드롭 환경을 시뮬레이션하여 모델이 누락된 데이터에 대한 강건성을 학습할 수 있도록 합니다.
• 드롭 스팬 임베딩(Drop Span Embedding): 각 타임 스텝에서 연속적으로 드롭된 프레임의 수($D$)를 계산합니다. 이 횟수는 **드롭 스팬 인코더(drop span encoder)**에 의해 벡터로 인코딩되어 상태 및 리턴 토큰에 더해집니다. 이를 통해 모델은 누락 패턴을 명시적으로 학습할 수 있습니다.

DeFog과 달리, OnDeFog은 실험 결과 온라인 설정에서 유의미한 결과를 내지 못했기 때문에 "프리즈 트렁크 미세 조정(freeze-trunk fine-tuning)"을 사용하지 않습니다. 대신, OnDeFog은 온라인 상호작용 중에 수집된 궤적(trajectories)을 저장하는 리플레이 버퍼(replay buffer)를 활용합니다. 온라인 학습 중에는 타겟 리턴(target return)을 (최적 리턴의 두 배로) 스케일링하여 공격적인 탐색을 유도하며, 타겟 리턴과 관측된 리턴 사이의 불일치를 교정하기 위해 실제 측정된 리턴을 사용하는 히indsight 리턴 리레이블링(hindsight return relabeling)을 수행합니다.

주요 기여

• 강건성과 온라인 학습의 통합: OnDeFog은 DeFog의 프레임 드롭 처리 메커니즘을 ODT 구조에 내장함으로써 오프라인 강건성과 온라인 적응성 사이의 간극을 성공적으로 메웠습니다.
• 데이터셋 의존성 완화: 온라인 상호작용을 활용함으로써, OnDeFog은 DeFog의 주요 한계점인 고품질의 방대한 오프라인 데이터셋에 대한 의존도를 낮춥니다.
• 2단계 학습 프레임워크: 학습 시 시뮬레이션과 드롭 스팬 임베딩을 통해 프레임 드롭을 처리하도록 설계된, 오프라인 데이터 기반 사전 학습 및 온라인 미세 조정의 프로토콜을 확립했습니다.

실험 결과
저자들은 다양한 프레임 드롭 비율(0 ~ 0.9)에 걸쳐 D4RL 벤치마크(Gym-MuJoCo 태스크: Hopper, Walker2d, HalfCheetah)에서 OnDeFog을 평가했습니다.

• Vs. ODT: 높은 프레임 드롭 비율을 가진 환경에서, OnDeFog은 급격한 성능 저하를 겪는 ODT에 비해 우수한 성능과 더 완만한 성능 저하 곡선을 보여주었습니다. 낮은 드롭 비율 환경에서는 OnDeFog이 ODT와 비슷하거나 약간 낮은 성능을 보였는데, 저자들은 이를 학습 시 사용된 높은 드롭 비율이 낮은 드롭 시나리오에 대한 적응을 방해했을 가능성 때문이라고 설명합니다.
• Vs. DeFog: (저보상이 많은 데이터가 다수를 차지하는) 미디엄 리플레이(medium-replay) 데이터셋에서 OnDeFog은 종종 DeFog보다 뛰어난 성능을 보였습니다. 이는 On-line 탐색을 통해 고보상 궤적을 획득할 수 있는 OnDeFog의 능력 덕분이며, 반면 DeFog은 오프라인 데이터셋의 저품질 데이터에 국한됩니다.
• 한계점: HalfCheetah 미디엄 리플레이 데이터셋과 (Hopper를 제외한) 표준 미디엄 데이터셋에서 OnDeFog은 DeFog보다 약간 낮은 성능을 보였습니다. 저자들은 이를 큰 액션 공간(HalfCheetah)에서의 불충분한 탐색, 그리고 온라인 탐색이 이미 미디엄 데이터셋에 존재하는 것보다 더 높은 보상을 가진 궤적을 발견하지 못해 리플레이 버퍼의 품질을 저하시킬 수 있다는 점 때문으로 분석했습니다.

의의 및 주장
본 논문은 OnDeFog이 통신 지연 및 센서 오류가 발생하기 쉬운 실제 환경에서 작동하는 RL 에이전트를 위한 강력한 솔루션을 제공한다고 주장합니다. 프레임 드롭 메커니즘을 온라인 학습 프레임워크에 통합함으로써, 기존 온라인 방법(ODT)이 실패하는 지점과 오프라인 방법(DeFog)이 데이터 품질에 의해 제약받는 지점에서 에이전트가 성능을 유지할 수 있음을 입증했습니다.

저자들은 OnDeFog이 높은 드롭 비율 환경과 저보상 데이터셋에서 성능 저하를 효과적으로 완화하지만, 탐색이 어려운 매우 낮은 보상의 궤적이나 큰 액션 공간을 가진 시나리오에서는 어려움에 직면한다는 점을 겸허히 언급했습니다. 향-후 연구 과제로 데이터셋의 품질과 정책 성능에 따라 오프라인 학습에서 온라인 학습으로 전환하는 타이밍을 자동으로 조절하는 방법을 개발하는 것이 제시되었습니다.