Convergence Guarantees of Model-free Policy Gradient Methods for LQR with Stochastic Data

이 논문은 **확률적 잡음 (Stochastic Noise)**이 존재하는 환경에서 모델 프리 (Model-free) 정책 경사 (Policy Gradient, PG) 방법을 선형 2 차 조절기 (LQR) 문제에 적용할 때의 **수렴 보장 (Convergence Guarantees)**과 **샘플 복잡도 (Sample Complexity)**를 분석한 연구입니다.

주요 내용은 다음과 같습니다.

1. 문제 설정 (Problem Setting)

• 배경: 강화학습의 핵심인 정책 경사 (PG) 방법은 시스템 동역학 (A, B 행렬) 을 알지 못하는 경우, 트래젝토리 데이터를 사용하여 1 차 정보 (기울기) 를 근사합니다.
• 도전 과제: 기존 연구들은 대부분 잡음이 없거나 (noise-free) 유계 (bounded) 잡음을 가정했습니다. 그러나 실제 시스템은 무계 (unbounded) 인 가우시안 잡음을 포함하는 경우가 많으며, 이 경우 기울기 추정 오차가 커져 알고리즘의 수렴성이 보장되지 않거나 최적 해에 도달하지 못할 수 있습니다.
• 목표: 무한 시간 구간 (Infinite-horizon) 의 평균 비용 함수를 최소화하는 LQR 문제에서, 가산 확률적 잡음 (Additive Stochastic Noise) 하에서 모델 프리 PG 방법의 이론적 수렴성과 샘플 복잡도를 분석하고, 이를 개선하는 방법을 제시하는 것입니다.

2. 방법론 (Methodology)

저자는 다음과 같은 단계로 연구를 진행했습니다.

가. 모델 기반 (Model-based) PG 분석

• 시스템 모델 (A, B) 을 정확히 아는 경우를 먼저 분석하여 **적응형 스텝 사이즈 (Adaptive Step Size)**를 도입한 PG 하강법 (PGD), 자연 정책 경사 (NPG), 가우스 - 뉴턴 (Gauss-Newton) 방법의 전역 수렴성을 증명했습니다.
• 적응형 스텝 사이즈를 사용하면 고정된 스텝 사이즈보다 더 빠른 수렴 속도를 보장함을 보였습니다.

나. 모델 프리 (Model-free) PG 분석 (핵심)

시스템 모델이 알려져 있지 않고 잡음이 있는 데이터만 주어지는 상황을 가정했습니다.

1. 0 차 최적화 (Zeroth-order Optimization) 활용: 시스템 모델을 사용하지 않고, 정책 파라미터에 작은 무작위 섭동 (Exploration radius $r$) 을 주어 비용 함수를 평가함으로써 기울기와 공분산 행렬을 추정합니다.
2. 오차 분석: 잡음으로 인한 기울기 추정 오차 ($\epsilon$) 와 실패 확률 ($\delta$) 을 정량화했습니다. 오차의 원인을 다음과 같이 세분화했습니다:
   • $\epsilon_d$: 잡음 데이터로 인한 오차
   • $\epsilon_l$: 유한한 롤아웃 길이 (Rollout length) 로 인한 오차
   • $\epsilon_n$: 유한한 샘플 수 (Rollouts) 로 인한 오차
   • $\epsilon_r$: 평활화 함수 (Smoothing function) 와 원래 함수 간의 차이
3. 이벤트 기반 분석 (Event-based Analysis): 무계 잡음으로 인해 상태가 항상 유계 (bounded) 가 아니라는 점을 고려하여, 상태가 유계일 확률을 기반으로 행렬 집중 부등식 (Matrix Concentration Inequality) 을 적용했습니다.

다. 분산 감소 기법 (Variance Reduction)

• 기저 함수 (Baseline) 도입: 기울기 추정의 분산을 줄이기 위해 상태 의존적 기저 함수를 도입했습니다.
• 최적 기저 함수: 이론적으로 최적의 기저 함수는 계산이 어렵기 때문에, 초기 상태를 0 으로 둔 유한 시간 비용 함수를 근사 기저 함수로 사용하여 계산 효율성을 높였습니다.
• 샘플 복잡도 개선: 이 기법을 적용하면 동일한 정확도를 달성하는 데 필요한 샘플 수 (Rollouts) 가 감소함을 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 무계 잡음 하의 수렴 보장: 기존 연구들이 간과했던 무계 가우시안 잡음 환경에서 모델 프리 PG 방법의 **확률적 수렴 보장 (Probabilistic Convergence Guarantees)**을 최초로 제공했습니다.
2. 샘플 복잡도 경계 (Sample Complexity Bounds): 기울기 및 공분산 추정 오차가 알고리즘의 수렴에 미치는 영향을 정량화하고, 원하는 정확도 ($\epsilon$) 와 신뢰도 ($1-\delta$) 를 달성하기 위해 필요한 롤아웃 수, 탐색 반지름, 시뮬레이션 길이에 대한 명시적 식을 유도했습니다.
3. 적응형 스텝 사이즈 및 분산 감소의 효과 증명:
   • 잡음 수준이 높을수록 스텝 사이즈를 줄여야 함을 이론적으로 보였습니다.
   • 분산 감소 기법을 적용하면 샘플 복잡도가 개선됨을 증명하여, 실제 적용 시 데이터 효율성을 높일 수 있음을 보였습니다.
4. 모델 기반 vs 모델 프리 비교: 잡음이 없는 경우와 잡음이 있는 경우를 비교하여, 잡음으로 인해 수렴 속도가 느려지고 추가적인 샘플이 필요하며 스텝 사이즈 범위가 축소됨을 정성적으로 분석했습니다.

4. 실험 결과 (Results)

• 시뮬레이션: 다양한 잡음 수준 ($\Sigma_w$) 에서 알고리즘의 성능을 검증했습니다.
  • 스텝 사이즈: 잡음이 증가하면 고정된 큰 스텝 사이즈는 발산을 일으키지만, 적응형으로 스텝 사이즈를 줄이면 수렴이 보장됨을 확인했습니다.
  • 분산 감소: 고잡음 환경에서 분산 감소 기법을 적용한 PGD 는 적용하지 않은 경우보다 훨씬 빠른 수렴 속도와 더 작은 최적 해 오차를 보였습니다.
  • NPG: 자연 정책 경사 (NPG) 는 기울기와 공분산 추정 오차가 서로 상쇄되는 효과가 있어, 잡음 환경에서도 비교적 견고한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 모델 프리 강화학습이 실제 물리 시스템 (잡음이 존재하는 환경) 에 적용될 때의 이론적 한계와 가능성을 명확히 했습니다.

• 이론적 기여: 무계 잡음 하에서의 PG 방법 수렴성을 rigorously 분석하여, 기존 문헌의 공백을 메웠습니다.
• 실용적 기여: 실제 제어 시스템에 PG 알고리즘을 적용할 때, 잡음 수준에 따른 파라미터 튜닝 (스텝 사이즈, 샘플 수 등) 가이드라인을 제공하며, 분산 감소 기법을 통해 데이터 효율성을 높일 수 있음을 입증했습니다.
• 향후 연구: 모델 프리 가우스 - 뉴턴 방법의 구현, 간접 데이터 기반 (Indirect data-driven) 방법과의 비교 등 추가 연구의 방향을 제시했습니다.

요약하자면, 이 논문은 잡음이 있는 환경에서도 모델 프리 PG 방법이 이론적으로 수렴함을 보장하고, 이를 위해 적응형 스텝 사이즈와 분산 감소 기법이 필수적임을 증명하는 중요한 연구입니다.