기술 요약: OGPO – 오프-폴리시 생성적 정책 최적화

문제 정의

자율 로봇 조작은 환경 변화에 강인하면서도 학습에 필요한 샘플 효율성이 높은 정책을 요구합니다. 확산 모델 및 흐름 기반 모델과 같은 생성적 제어 정책 (GCPs) 은 로봇 학습을 위한 강력한 매개변수화 방법으로 등장했지만, 이를 강화 학습 (RL) 을 통해 미세 조정하는 것은 상당한 도전을 안고 있습니다. 기존 방법들은 샘플 효율성과 정책 개선의 범위 사이에서 트레이드오프에 직면해 있습니다:

• 부분 미세 조정: 초기 노이즈만 조정하거나 잔차 보정만 학습하는 방법은 샘플 효율성이 높지만, 새로운 행동을 탐색하거나 초기화가 부실한 정책을 개선하는 데 어려움을 겪습니다.
• 전체 미세 조정: 전체 생성 과정을 업데이트하는 방법 (예: DPPO) 은 높은 성능을 달성할 수 있지만, 종종 온-폴리시 방식이라 샘플 효율성이 낮고 데이터 비용이 높습니다.
• 경량 불안정성: GCP 의 반복적 탈노이즈 단계를 통해 Q-값을 최대화하기 위해 직접 역전파를 수행하면, 특히 접촉이 많은 작업에서 기울기 폭발이나 부정확한 행동 기울기가 발생하기 쉽습니다.

본 논문이 다루는 핵심 문제는 새로운 행동 탐색 능력을 희생하거나 방대한 양의 전문가 데이터를 요구하지 않으면서, 표현력이 풍부한 GCP 의 샘플 효율적인 전체 정책 미세 조정을 달성하는 방법입니다.

방법론: OGPO 및 OGPO+

본 논문은 비용이 많이 드는 환경 상호작용과 저렴한 계산적 행동 궤적 생성을 분리하는 오프-폴리시 생성적 정책 최적화 (OGPO) 알고리즘을 제안합니다.

1. 이계 MDP 공식화

OGPO 는 이계 마르코프 결정 과정 (MDP) 프레임워크를 채택합니다:

• 외부 MDP ($M_{ENV}$): 행동이 실행되고 보상이 수신되는 환경 역학을 나타냅니다.
• 내부 MDP (탈노이즈 MDP): 초기 노이즈 $a_{t,K}$로부터 행동 $a_{t,0}$을 생성하는 GCP 내부의 계산 단계 (예: 흐름 또는 확산 단계) 를 나타냅니다.

2. 분리된 최적화 전략

전체 이계 MDP 를 공동으로 최적화하는 기존 온-폴리시 방법 (예: DPPO) 과 달리, OGPO 는 두 수준 간의 연결을 끊습니다:

• 오프-폴리시 크리틱 학습: 알고리즘은 환경 전이 (transitions) 의 재생 버퍼에서 표준 오프-폴리시 시간차 (TD) 학습을 사용하여 외부 환경 MDP 에 대한 Q-함수 ($Q_{\phi}$) 를 학습합니다. 이는 환경 데이터를 재사용함으로써 높은 샘플 효율성을 보장합니다.
• 온-폴리시 정책 추출: Q-함수를 사용하여 GCP 체인을 통해 기울기를 역전파하는 것 (불안정함) 대신, OGPO 는 탈노이즈 궤적을 상태 "컨텍스트"에 대한 "응답"으로 간주합니다. 그리고 최종 실행된 행동에 대한 학습된 Q-값을 내부 탈노이즈 MDP 에 대한 종단 보상으로 사용합니다.
• PPO 스타일 최적화: 알고리즘은 탈노이즈 궤적에 대해 근접 정책 최적화 (PPO) 목적 함수를 적용합니다. 이는 탈노이즈 체인에 대한 어닐링 중요도 샘플링 (AIS) 비율을 계산하고, 목표 정책 대비 이점을 최대화하도록 정책을 최적화합니다. 이를 통해 Q-함수와 전체 GCP 체인을 동시에 미분하는 것을 방지합니다.

3. 주요 기술 구성 요소

• 다중 궤적 샘플링: LLM 의 GRPO 에서 영감을 받아, OGPO 는 재생 버퍼의 각 상태에 대해 병렬로 여러 개의 탈노이즈 궤적을 샘플링합니다. 이는 이점 추정의 분산을 줄이고 별도의 가치 네트워크가 필요 없게 합니다.
• 편향 제거 노이즈 주입: 흐름 기반 정책의 경우, OGPO 는 확률 미분 방정식 (SDE) 추론 과정에 보정을 도입합니다. 이는 탐색을 위해 노이즈를 추가할 때 (가능성을 비특이적으로 만들기 위해) 행동의 주변 분포가 이동하지 않도록 하여, 정책이 원래 흐름 모델과 정렬되도록 유지합니다.
• OGPO+ 변형: 크리틱의 과도한 착취와 오프라인에서 온라인으로 전환하는 동안 발생하는 성능 저하를 해결하기 위해, 저자들은 **OGPO+**를 도입합니다:
  • 성공 버퍼 정규화: 성공적인 궤적만을 사용하여 행동 복제 (BC) 손실 항을 추가함으로써 정책을 알려진 좋은 행동에 고정합니다.
  • 보수적 이점 (OGPO+CA): 크리틱 앙상블이 이점의 부호에 동의할 때만 정책을 업데이트하는 보수적 이점 추정기를 사용하여, 이상치 Q-값 추정의 영향을 완화합니다.
  • $\chi^2$ 정규화 (OGPO+$\chi^2$): 현재 정책과 점진적으로 업데이트되는 참조 정책 사이의 $\chi^2$ 발산에 기반한 정규화 항을 추가하여, 특히 픽셀 기반 도메인에서 불완전한 크리틱의 과도한 최적화를 방지합니다.

주요 기여

1. 알고리즘적 혁신: 오프-폴리시 크리틱 학습과 탈노이즈 궤적에 대한 온-폴리시 PPO 스타일 추출을 결합함으로써 GCP 의 샘플 효율적인 전체 정책 미세 조정을 가능하게 하는 최초의 방법인 OGPO 의 도입.
2. 분리된 최적화: 샘플 비용의 비대칭성 (비싼 환경 단계 대 저렴한 계산적 탈노이즈 단계) 을 활용하여 분리된 최적화를 수행하는 새로운 접근법으로, GCP 에서의 시간 역전파 (BPTT) 불안정성을 회피합니다.
3. 강건한 변형 (OGPO+): 훈련을 안정화하고 크리틱의 과도한 착취를 완화하며, 재생 버퍼에 전문가 데이터가 전혀 없는 정책에서도 미세 조정을 가능하게 하는 모듈형 개선 사항 (성공 버퍼, 보수적 이점, $\chi^2$ 정규화) 의 개발.
4. 종합적인 실증적 검증: 고정밀 삽입, 장거리 조작, 그리고 교묘한 제어 등 다양한 작업을 포함하는 작업에서 DPPO, DSRL, EXPO, QC 등 최첨단 베이스라인을 능가하는 OGPO 의 성능을 입증한 광범위한 실험.

결과

본 논문은 Robomimic(SQUARE, TOOLHANG, TRANSPORT), Franka Kitchen, Adroit Hand, LIBERO를 포함한 여러 벤치마크에서 OGPO 를 평가합니다.

• 샘플 효율성: OGPO+ 는 DPPO 와 같은 온-폴리시 베이스라인에 비해 환경 상호작용을 훨씬 적게 수행하면서도 최첨단 성능을 달성합니다. Robomimic 작업에서 OGPO+ 는 DPPO 보다 약 10 배 빠른 속도로 최종 성공률에 도달합니다.
• 작업 성능: OGPO+ 는 고정밀 삽입 (TOOLHANG) 및 장거리 양손 이동 (TRANSPORT) 과 같은 까다로운 작업에서 높은 성공률을 달성하며, 부분 미세 조정 방법 (DSRL, EXPO) 은 종종 실패하거나 불안정합니다.
• 전문가 데이터 제로 능력: 독특하게도 OGPO+ 는 온라인 재생 버퍼에 전문가 데이터가 전혀 없는 상태에서 초기화된 행동 복제 정책을 거의 완전한 작업 성공률까지 미세 조정할 수 있으며, 이는 오직 자체 수집 경험에만 의존합니다.
• 탐색: 시각화 (UMAP) 는 OGPO 가 **다양체 확장 (manifold expansion)**을 장려하여 정책이 초기 시연 데이터의 지지 영역을 넘어 고가치 영역을 탐색할 수 있게 함을 보여줍니다. 반면 QC 및 DSRL 과 같은 베이스라인은 초기 분포에 머무는 경향이 있습니다.

의미 및 주장

본 논문은 OGPO 가 로봇 공학을 위한 생성적 정책 최적화 방식에 근본적인 변화를 가져왔다고 주장합니다. 비용이 많이 드는 환경 상호작용을 정책 생성 과정으로부터 분리함으로써, OGPO 는 온-폴리시 방법의 샘플 비효율성을 극복하면서도 전체 정책 업데이트의 표현력을 유지합니다.

저자들은 그들의 방법이 대규모 오프라인 전문가 시연 데이터셋 없이 자체 수집 데이터만을 사용하여 GCP 를 처음부터 (또는 부실한 초기화에서) 높은 성공률까지 미세 조정할 수 있는 유일한 알려진 접근법임을 강조합니다. 이 능력은 최소한의 인간 개입으로 배포 중에 로봇 정책이 자율적으로 개선될 수 있는 미래를 지향합니다. 이 연구는 성공의 열쇠가 생성적 모델 아키텍처뿐만 아니라 추출 메커니즘(탈노이즈 체인에 대한 PPO 대 BPTT 또는 조정) 에 있으며, 이는 복잡하고 접촉이 많은 환경에서 안정적이고 표현력 있으며 샘플 효율적인 학습을 가능하게 한다고 시사합니다.