기술 요약: 다중 목표 오프라인 강화학습을 위한 목표 조건부 의사결정 트랜스포머

문제 제기

로봇공학에서의 강화학습 (RL) 은 샘플 효율성과 다양한 목표에 대한 일반화 능력과 관련하여 중요한 과제에 직면해 있습니다. 표준 온라인 알고리즘은 지속적인 환경 상호작용을 요구하는데, 이는 안전 위험, 하드웨어 마모, 시간 제약으로 인해 실제 하드웨어에서는 종종 비현실적입니다. 시뮬레이션은 부분적인 해결책을 제공하지만, 자주 "시뮬레이션 - 현실 (sim-to-real)" 격차로 고통받습니다.

오프라인 RL 은 사전 수집된 데이터셋에서 완전히 최적의 정책을 학습할 수 있게 함으로써 이러한 제한 사항을 해결하며, 위험한 온라인 탐색의 필요성을 제거합니다. 그러나 기존 오프라인 방법은 종종 단일 고정 작업에 초점을 맞추는데, 이는 범용 로봇공학에는 불충분합니다. 또한, 의사결정 트랜스포머 (DT) 가 RL 을 조건부 시퀀스 모델링 문제로 성공적으로 재정의했음에도 불구하고, 희소 보상과 로봇 조작이 포함된 다중 목표 오프라인 시나리오에 대한 적용은 아직 충분히 탐구되지 않았습니다.

방법론

저자들은 오프라인 다중 목표 로봇공학을 위해 적응된 **목표 조건부 의사결정 트랜스포머 (GC-DT)**를 제안합니다. 핵심 방법론은 시퀀스 모델링 프레임워크 내에서 목표 정보를 명시적으로 처리하도록 표준 DT 아키텍처를 수정하는 것을 포함합니다.

1. 아키텍처 적응

스칼라 반환에 조건을 두는 표준 DT 와 달리, GC-DT 는 구조화된 목표 데이터를 입력 시퀀스에 직접 통합합니다. 다중 목표 환경에서 관찰 공간은 다음을 포함하는 사전입니다:

• $o_t$: 현재 관찰.
• $g_d$: 원하는 목표.
• $g_a$: 달성된 목표.

시간 단계 $t$에서의 상태는 튜플 $s_t = (o_t, g_d, g_a)$로 정의됩니다. 트랜스포머를 적응시키기 위해, 이러한 벡터는 평탄화되어 단일 입력 벡터로 연결됩니다:
$$s_t = [o_t^{(0)}, \dots, o_t^{(n)}, g_d^{(0)}, \dots, g_d^{(m)}, g_a^{(0)}, \dots, g_a^{(m)}]$$

달성된 목표 ($g_a$) 를 원하는 목표 ($g_d$) 와 함께 포함함으로써, 모델은 명시적인 거리 척도나 보상 설계 없이도 목표 달성을 향한 진행 상황을 암시적으로 추론할 수 있습니다. 이는 자기회귀 모델이 전체 궤적에 걸쳐 목표 달성과 관련된 시간적으로 확장된 신용 할당을 수행할 수 있게 합니다.

2. 데이터셋 및 훈련

모델은 Panda-Gym 수트를 통해 Franka Emika Panda 환경에서 생성된 데이터를 사용하여 완전히 오프라인으로 훈련됩니다. 데이터셋에는 다음이 포함됩니다:

• 전문가 데이터: 100 만 시간 단계에 걸쳐 평가된 수렴된 Truncated Quantile Critics (TQC) 에이전트들의 궤적.
• 무작위 데이터: 에이전트가 균일하게 행동을 샘플링하여 생성된 궤적.
• 혼합물: 데이터 효율성과 잡음 내성을 테스트하기 위한 전문가 및 무작위 데이터의 다양한 조합.

저자들은 재현성을 지원하기 위해 이 특수한 오프라인 데이터셋도 공개합니다.

3. 작업 및 보상 구조

이 접근 방식은 세 가지 로봇 조작 작업인 Reach(엔드 이펙터 위치 조정), Push(큐브 이동), PickAndPlace(물체 들어 올리고 이동) 에서 평가됩니다. 성능은 두 가지 보상 구조 하에서 테스트됩니다:

• 희소 보상: 이진 피드백 (성공 시 0, 그렇지 않으면 -1).
• 밀집 보상: 달성된 목표와 원하는 목표 사이의 음의 유클리드 거리.

주요 기여

이 논문은 세 가지 주요 기여를 요약합니다:

1. 아키텍처 확장: 명시적인 목표 조건부 (원하는 목표 및 달성된 목표) 를 입력 시퀀스에 통합하여 의사결정 트랜스포머를 다중 목표 설정으로 확장.
2. 데이터셋 공개: Franka Emika Panda 플랫폼의 다중 목표 로봇 조작을 위한 특수 오프라인 RL 데이터셋 공개.
3. 실증적 검증: 오프라인 설정, 특히 희소 보상 신호 하에서 GC-DT 접근 방식이 최첨단 온라인 베이스라인 (TQC+HER) 과 행동 클로닝 (BC) 을 능가함을 입증.

실험 결과

실험은 세 가지 무작위 시드를 사용하여 GC-DT 를 행동 클로닝 (BC) 과 Hindsight Experience Replay 를 사용한 TQC(TQC+HER) 와 비교하여 수행되었습니다.

비교 성능

• 복잡한 작업: 밀집 보상이 있는 더 복잡한 Push 및 PickAndPlace 환경에서 GC-DT 는 평균 반환 및 성공률 측면에서 TQC+HER 와 BC 를 일관되게 능가했습니다.
• 효율성: GC-DT 는 온라인 TQC+HER 베이스라인 (240 분) 에 비해 훨씬 짧은 훈련 시간 (80 분) 으로 이러한 결과를 달성했습니다.
• 희소 보상: GC-DT 는 희소 보상 설정에서 우수한 견고성을 보여주었습니다. PickAndPlace 작업에서 GC-DT 는 TQC+HER(-16.96) 에 비해 훨씬 높은 반환 (-7.63) 을 달성했으며 97.8% 의 성공률을 유지한 반면, TQC+HER 의 성공률은 77.0% 로 떨어졌습니다.

데이터 효율성 및 견고성

• 데이터셋 크기: Reach 작업의 경우 성능은 데이터셋 크기에 불변으로 유지되었습니다. 복잡한 작업의 경우, 데이터가 25 만 개 미만으로 떨어질 때만 성능이 감소했습니다. 10 만 개 샘플에서도 모델은 밀집 설정에서 96% 이상의 성공을 유지했습니다.
• 전문가 데이터 비율: 모델은 잡음에 놀라울 정도로 견고했습니다. 데이터셋이 25% 전문가 데이터(75% 무작위 궤적과 혼합) 로만 구성되었음에도 불구하고, GC-DT 는 복잡한 작업에서 80% 이상의 성공을 유지했습니다. 성능은 이 임계값 미만으로 떨어질 때만 급격히 감소했습니다.

중요성 및 주장

저자들은 제안된 목표 조건부 의사결정 트랜스포머가 오프라인 RL 과 다중 목표 로봇 제어 사이의 격차를 효과적으로 메운다고 주장합니다. 그들은 특히 희소 보상 설정에서 모델의 견고성이 자기 어텐션을 통한 장거리 신용 할당을 수행하는 트랜스포머의 능력에서 비롯된다고 가정합니다.

이 논문은 PickAndPlace와 같은 복잡한 작업에서 이 접근 방식이 훈련 데이터를 생성하는 데 사용된 전문가 정책 자체를 능가할 수 있다고 주장합니다. 또한, 목표 조건부 시퀀스 모델링이 온라인 상호작용 없이 하위 최적의 시연과 희소 피드백을 처리할 수 있는 오프라인 다중 목표 로봇공학을 위한 전통적인 온라인 액터-크리틱 방법의 실현 가능하고 견고한 대안임을 확립합니다.

향후 작업은 이 프레임워크를 지속 학습 설정으로 확장하고 이질적인 전문가 궤적과 함께 훈련하는 것으로 식별됩니다.