COOPO: Cyclic Offline-Online Policy Optimization Algorithm

COOPO: 순환형 오프라인 - 온라인 정책 최적화의 기술적 요약

문제 제기
강화 학습 (RL) 은 데이터 효율성과 성능 사이에 근본적인 트레이드오프에 직면해 있습니다. 순수 온라인 RL 방법 (예: PPO, SAC) 은 최적 정책을 학습하기 위해 환경 상호작용을 prohibitive 한 수준으로 요구하므로, 탐사가 비용이 많이 들거나 위험한 안전 필수 사이버 - 물리 시스템 (CPS) 에는 적합하지 않습니다. 반면, 오프라인 RL 은 정적 데이터셋에서만 학습하여 온라인 상호작용을 피하지만, 보이지 않는 상태를 탐색할 수 없기 때문에 분포 이동과 정책의 비최적화로 고통받습니다.

최근의 하이브리드 "오프라인 - 투 - 온라인" 접근법은 오프라인 데이터로 사전 학습한 후 온라인으로 미세 조정함으로써 이러한 격차를 해소하려 시도합니다. 그러나 해당 논문은 기존 하이브리드 방법에서 두 가지 치명적인 실패 모드를 식별합니다:

1. 치명적 망각: 온라인 미세 조정 중 정책이 오프라인 데이터셋에서 학습한 지식을 종종 덮어쓰게 되어 성능이 크게 저하됩니다.
2. 분포 이동: 정적 오프라인 분포에서 동적 온라인 분포로의 전환으로 인해 정책이 데이터로 지원되지 않는 상태 공간 영역으로 이동하게 되어, 부정확한 가치 추정과 불안정한 학습을 초래합니다.

워밍업 단계나 리플레이 버퍼에서 데이터를 혼합하는 것과 같은 기존 해결책들은 종종 장기적 안정성을 유지하지 못하거나 온라인 단계의 샘플 복잡성을 충분히 감소시키지 못합니다.

방법론: COOPO 프레임워크
저자들은 제약을 둔 오프라인 학습과 온라인 미세 조정을 반복적으로 순환시킴으로써 이러한 문제를 해결하는 통합 프레임워크인 COOPO(순환형 오프라인 - 온라인 정책 최적화) 를 제안합니다. 단일 오프라인 사전 학습 후 온라인 적응을 수행하는 전통적인 방법과 달리, COOPO 는 이러한 단계를 루프 내에서 교차시킵니다.

핵심 메커니즘은 다음과 같이 작동합니다:

1. 순환 구조: 알고리즘은 $K$개의 사이클에 걸쳐 오프라인 단계와 온라인 단계를 교차합니다.
2. 오프라인 단계 (안정성 및 앵커링):
   • 정책은 KL 정규화 우대 가중치 액터 - 크리틱 (AWAC) 알고리즘을 사용하여 업데이트됩니다.
   • 이 단계는 명시적인 Kullback-Leibler (KL) 발산 패널티를 사용하여 새로운 정책 ($\pi_{new}$) 이 이전 정책 ($\pi_{old}$) 과 데이터셋의 행동 정책 ($\pi_\beta$) 에 가깝게 유지되도록 제약합니다.
   • 가치 함수는 오프라인 단계에서 명시적으로 학습되어 후속 온라인 전환을 지원하고 견고한 우대 추정을 제공하며, 분포 외 (OOD) 오차를 완화합니다.
   • 결정적으로, 오프라인 단계는 정책이 이동하거나 망각하는 것을 방지하기 위해 고품질 정적 데이터셋으로 정책을 재앵커링하는 "교정 안정화 항"으로 작용합니다.
3. 온라인 단계 (적응 및 탐사):
   • 정책은 트러스트 영역 온정책 알고리즘 (실험에서는 구체적으로 PPO) 을 사용하여 미세 조정됩니다.
   • 크리틱의 안정성을 유지하기 위해 오프라인 단계에서 학습된 Q 함수는 온라인 PPO 업데이트 동안 동결됩니다. 이는 오프라인과 온라인 상태 간의 분포 불일치로 인한 가치 이동을 방지합니다.
   • 온라인 단계는 필요한 탐사를 허용하면서 환경 상호작용을 최소화하기 위해 짧게 (몇 에피소드) 유지됩니다.
4. 상호작용: 순환적 행동은 오프라인 단계가 정책을 안정화하고 오류를 수정하는 반면, 온라인 단계가 실제 세계 신호를 사용하여 정책을 정제하는 피드백 루프를 생성합니다. 이를 통해 오프라인 데이터 비용을 여러 사이클에 걸쳐 상각할 수 있습니다.

주요 기여

1. 일반화된 순환 프레임워크: 저자들은 KL 정규화된 오프라인 학습과 적응형 온라인 미세 조정을 교차시키는 새로운 프레임워크를 도입합니다. 이 설계는 정책을 주기적으로 오프라인 데이터셋으로 되돌림으로써 치명적 망각과 분포 이동을 명시적으로 방지합니다.
2. 이론적 보장:
   • 성능 상한: 이 논문은 표준 데이터 커버리지 가정 하에 사이클당 반환 증가가 보장됨을 보여주는 성능 차이 상한 (정리 1) 을 유도합니다.
   • 샘플 복잡성: 저자들은 COOPO 가 총 샘플 복잡도 $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$를 달성함을 증명합니다. 주목할 점은 데이터 재사용으로 인해 오프라인 샘플 복잡성이 데이터셋 크기 $|D|$와 무관하며, 온라인 샘플 복잡성은 $H^3$(여기서 $H$는 시간 범위) 에 비례하여 증가한다는 것입니다. 이는 순수 온라인 PPO 의 $H^4$ 스케일링보다 개선된 것입니다.
   • 수렴: 정리 2 는 최적 정책의 근방으로의 선형 수렴을 확립합니다.
3. 경험적 우월성: D4RL 벤치마크 (HalfCheetah, Hopper, Walker2D) 에 대한 광범위한 실험은 COOPO 가 최종 반환과 샘플 효율성 측면에서 최첨단 오프라인 RL(예: IQL, CQL) 과 오프라인 - 투 - 온라인 베이스라인 (예: Cal-QL, Uni-O4) 을 능가함을 보여줍니다.

결과

• 성능: COOPO 는 9 개 D4RL 작업 중 7 개에서 최상위 성능을 달성하여 순수 오프라인 방법과 1 단계 하이브리드 접근법을 능가했습니다. 예를 들어, halfcheetah-medium-expert 작업에서 COOPO 는 9242.2 의 반환을 달성하여 다음으로 가장 좋은 베이스라인 (8859.3 의 Uni-O4) 을 능가했습니다.
• 샘플 효율성: COOPO 는 순수 온라인 PPO 에 비해 높은 성능에 도달하는 데 필요한 온라인 환경 상호작용 수를 크게 줄였습니다. 이론적 분석과 경험적 결과 (그림 7) 는 COOPO 가 온라인 상호작용을 상수 배율로 감소시킨다는 것을 확인해 줍니다.
• 안정성: 순환적 아키텍처는 AWAC 및 IQL 과 같은 방법에서 보이는 초기 평탄화를 피하면서 견고한 점근적 성능을 보여주었습니다. 제거 연구는 오프라인 에포크 ($E$) 와 온라인 에피소드 ($T$) 의 균형이 중요함을 보여주었으며, 특히 초기 단계에서는 오프라인 학습을 강조하고 후기 단계에서는 온라인 미세 조정을 강조하는 것이 최적의 결과를 낳습니다.
• 하이퍼파라미터 민감도: KL 계수 ($\lambda$) 는 수렴 속도와 업데이트 보수성 사이의 트레이드오프를 제어하는 것으로 나타났습니다. 적절한 $\lambda$(예: 3) 는 수렴 속도와 낮은 분산 사이의 최상의 균형을 제공했습니다.

의의 및 주장
이 논문은 COOPO 가 특히 안전 필수 사이버 - 물리 시스템을 위한 샘플 효율적이고 안정적인 적응 학습의 새로운 패러다임을 설정한다고 주장합니다. "순환적 상호작용"을 형식화함으로써, 이 방법은 오프라인 RL 의 한계 (커버리지 제약) 와 온라인 RL 의 한계 (샘플 비효율성) 를 상호 보완적인 강점으로 변환합니다.

저자들은 대규모 탐사가 불가능한 실제 응용 분야에서 신뢰할 수 있는 배포를 위한 원칙적 기반을 COOPO 가 제공한다고 강조합니다. 이 프레임워크는 성능 개선과 제한된 온라인 상호작용에 대한 이론적 보장을 제공하여, 분포 이동과 적대적 교란 하에서도 안정적으로 유지되는 알고리즘에 대한 중요한 필요성을 해결합니다. 이 연구는 이러한 루프형 상호작용이 치명적 망각과 분포 이동을 효과적으로 완화하여 데이터가 제한적이고 동역학이 불확실한 환경에서의 적응형 제어에 대한 견고한 해결책을 제공함을 시사합니다.