🤖 machine learning

Bayesian policy gradient and actor-critic algorithms

본 논문은 샘플 복잡도를 줄이고 불확실성 추정을 제공하며 폐형식 사후 업데이트를 달성하여 다양한 강화학습 작업에서 기존 몬테카를로 방법보다 우수한 성능을 보이기 위해 기울기와 행동가치 함수를 가우스 과정을 사용하여 모델링하는 정책 경사와 액터-크리틱 알고리즘을 위한 베이지안 프레임워크를 제안한다.

원저자: Mohammad Ghavamzadeh, Yaakov Engel, Michal Valko

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammad Ghavamzadeh, Yaakov Engel, Michal Valko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 걷는 법을 가르치거나 비디오 게임 캐릭터가 미로를 탐색하도록 하려고 상상해 보세요. 로봇은 세상의 규칙을 알지 못합니다. 오직 '한 걸음 앞으로 나아가기'나 '왼쪽으로 돌기'와 같은 행동을 취했을 때 어떤 일이 발생하는지만 알 뿐입니다. 이를 강화 학습이라고 합니다.

목표는 로봇이 가능한 한 효율적으로 목표 지점에 도달하도록 하는 최상의 지시 사항 집합 (즉, '정책') 을 찾는 것입니다. 이를 위해 로봇은 더 나아지기 위해 지시 사항을 어느 방향으로 조정해야 하는지 알아야 합니다. 이 방향을 **기울기 (gradient)**라고 합니다.

옛날 방식: 어둠 속에서 추측하기

전통적으로 로봇은 **몬테카를로 (Monte-Carlo)**라는 방법을 사용하여 이 방향을 파악합니다. 안개가 자욱한 숲에서 최상의 경로를 찾으려 한다고 상상해 보세요. 옛날 방식은 1,000 명의 탐험가를 보내 모두 무작위 경로를 걷게 한 다음, "누가 가장 멀리 갔나요?"라고 묻는 것입니다. 그 결과를 평균내어 어느 방향이 '오르막'인지 추측합니다.

문제점은 무엇일까요? 그것은 극도로 노이즈가 많습니다. 한 탐험가는 운이 좋아 지름길을 발견할 수도 있고, 다른 한 탐험가는 뿌리에 걸려 넘어질 수도 있습니다. 신뢰할 수 있는 답을 얻으려면 수천 명의 탐험가가 필요하며, 이는 시간이 많이 걸리고 데이터라는 에너지를 많이 낭비합니다.

새로운 아이디어: 베이지안 '스마트 지도'

이 논문은 **베이지안 정책 기울기 (Bayesian Policy Gradient)**라는 더 지적인 방법을 제안합니다. 단순히 원시 데이터에 기반해 추측하는 대신, 로봇은 자신의 지시 사항이 성공에 어떻게 영향을 미치는지에 대한 스마트 지도 (가우시안 프로세스라는 것을 사용함) 를 구축합니다.

이렇게 생각해 보세요:

옛날 방식: 1,000 명에게 길을 물어보고 그 평균을 취합니다.
새로운 방식: 10 명에게 물어보되, 지형에 대한 사전 지식 (지도) 을 활용하여 빈틈을 메웁니다. 어떤 경로가 잠시 오르막이라면 계속 오르막일 가능성이 높다는 것을 알고 있습니다. 1,000 명에게 그 사실을 알려줄 필요는 없습니다. 10 명과 지도만 있으면 충분합니다.

이 '스마트 지도'는 로봇이 훨씬 더 적은 샘플로 올바른 방향을 학습할 수 있게 합니다. 또한 로봇에게 그 방향에 대해 얼마나 확신하는지 (불확실성) 를 알려줍니다. 지도가 흐릿하면 로봇은 신중하게 행동해야 한다는 것을 알며, 지도가 선명하면 빠르게 이동할 수 있습니다.

문제에 대한 두 가지 접근법

이 논문은 이 스마트 지도를 구축하는 두 가지 구체적인 방법을 소개합니다.

1. '전체 여정' 접근법 (베이지안 정책 기울기)

여행 에이전트라고 상상해 보세요. 이 접근법에서는 여행자가 시작부터 끝까지 취한 전체 여정을 살펴봅니다. "이 전체 여정이 잘 작동했나요?"라고 묻습니다.

좋은 소식: 세상이 혼란스럽거나 여행자가 모든 것을 볼 수 없는 경우 (예: 짙은 안개 속에서 운전) 에도 작동합니다. 도로의 정확한 규칙을 알 필요 없이 여정의 최종 결과만 보면 됩니다.
나쁜 소식: 전체 여정을 하나의 큰 블록으로 보기 때문에 단계별로 발생하는 작은 세부 사항을 놓칩니다. 세상이 명확하고 예측 가능한 규칙을 따르는 경우 (예: 표준 비디오 게임 레벨) 에는 덜 효율적입니다.

2. '단계별' 접근법 (베이지안 액터 - 크리틱)

이것은 더 진보된 방법입니다. **코치 (Actor)**와 **심판 (Critic)**이 있다고 상상해 보세요.

코치는 어떤 행동을 할지 결정합니다.
심판은 코치가 취하는 모든 단계를 지켜보며 즉각적인 피드백을 제공합니다. "그건 좋은 단계였어" 또는 "그건 나쁜 단계였어"라고 말입니다.
심판은 최종 결과뿐만 아니라 모든 개별 행동의 가치를 예측하기 위해 '스마트 지도'를 사용합니다.

심판이 모든 개별 단계 (상태 - 행동 - 보상) 를 살펴보기 때문에, 이 방법은 세상이 예측 가능한 규칙을 따를 때 훨씬 더 효율적입니다. '전체 여정' 접근법보다 더 적은 데이터로 더 빠르게 학습합니다.

그들이 증명한 것은 무엇인가?

저자들은 그들의 '스마트 지도' 방식이 실제로 '어둠 속에서 추측하기' 방식보다 더 잘 작동하는지 확인하기 위해 실험을 수행했습니다. 그들은 다음에서 이를 테스트했습니다:

단순 게임: 슬롯 머신 (밴딧 문제) 과 같은 것.
제어 작업: 막대를 균형 잡거나 배를 조종하는 것과 같은 것.

결과:

새로운 방식들은 기존 방식보다 훨씬 더 빠르게 그리고 더 적은 데이터로 학습했습니다.
'단계별' (액터 - 크리틱) 방식이 가장 효율적이었으며, 특히 예측 가능한 환경에서 그랬습니다.
이 방법들은 로봇이 전체 그림을 볼 수 없는 상황 (부분 관측 가능 문제) 을 처리할 수도 있었는데, 이는 일반적인 현실 세계의 문제입니다.

요약

이 논문은 로봇이 더 효율적으로 학습하도록 가르치는 것에 관한 것입니다. 무엇이 작동하는지 파악하기 위해 수천 개의 무작위 행동을 맹목적으로 시도하는 대신, 저자들은 로봇에게 더 적은 시도로 세상을 이해하도록 돕는 '스마트 지도' (베이지안 추론) 를 제공했습니다. 그들은 이 지도를 '코치와 심판' 시스템과 결합함으로써 로봇이 이전보다 훨씬 더 빠르고 신뢰할 수 있게 복잡한 작업을 학습할 수 있음을 보여주었습니다.

기술적 요약: 베이지안 정책 경사 및 액터-크리틱 알고리즘

1. 문제 제기

정책 경사 (Policy Gradient, PG) 방법은 강화 학습 (RL) 의 핵심 기법으로, 성능 경사의 추정을 따라 매개변수화된 정책을 최적화합니다. 그러나 기존 PG 방법은 이러한 경사를 추정하기 위해 몬테카를로 (Monte-Carlo, MC) 기법에 크게 의존합니다.

높은 분산: MC 추정량은 편향이 없으나 높은 분산을 겪어 정확한 추정을 얻기 위해 많은 수의 샘플이 필요하며, 이로 인해 수렴이 느려집니다.
샘플 비효율성: 빈도주의적 점 추정 (point estimates) 에 의존하는 것은 데이터에 내재된 불확실성을 무시하여, 사전 지식이나 데이터 분포의 구조를 효과적으로 활용하지 못합니다.
기존 해결책의 한계: 베이스라인과 자연 경사 (피셔 정보 행렬 사용) 는 도움이 되지만, 경사 추정 자체의 분산 문제나 불확실성 정량화 부재를 근본적으로 해결하지는 못합니다.

본 논문은 정책 경사 추정 및 액터-크리틱 학습을 위한 더 효율적이고, 견고하며, 불확실성을 인지하는 프레임워크의 필요성을 다룹니다.

2. 방법론

저자들은 빈도주의적 MC 추정을 베이지안 사분법 (Bayesian Quadrature, BQ) 으로 대체하는 베이지안 프레임워크를 제안합니다. 핵심 아이디어는 기대 보상 (expected return) 의 경사를 가우시안 프로세스 (Gaussian Process, GP) 로 모델링하는 것입니다.

A. 베이지안 정책 경사 (BPG)

BPG 접근법은 경사 적분 $\nabla \eta(\theta) = \int \bar{R}(\xi) \nabla \log P(\xi; \theta) d\xi$ 를 무작위 함수의 적분으로 취급합니다.

모델링: 피적분 함수는 정책 확률과 관련된 결정론적 부분과 보상 (return) 인 확률론적 부분으로 나뉩니다. 확률론적 부분은 GP 로 모델링됩니다.
두 가지 모델:
1. 모델 1 (벡터 값 GP): 경사 성분을 직접 벡터 값 GP 로 모델링합니다. 2 차 피셔 커널 (quadratic Fisher kernel) 을 사용합니다.
2. 모델 2 (스칼라 값 GP): 보상을 스칼라 GP 로 모델링하고 이를 정책 확률의 경사에 대해 적분합니다. 표준 피셔 커널을 사용합니다.
핵심 메커니즘: 궤적 (trajectories) 을 관측함으로써 알고리즘은 경사의 사후 분포 (posterior distribution) 를 계산합니다. 이는 점 추정 (평균) 뿐만 아니라 경사 추정의 불확실성을 나타내는 공분산 행렬도 제공합니다.
커널 선택: 피셔 커널 (Fisher Kernels) (피셔 정보 행렬 기반) 의 사용이 중요합니다. 이를 통해 경사의 사후 모멘트에 대한 폐형식 (closed-form expressions) 을 유도할 수 있어 계산을 실용적으로 만듭니다.
적용성: BPG 는 전체 시스템 궤적을 기본 단위로 취급하므로 마르코프 속성이 필요하지 않아, 부분 관측 마르코프 결정 과정 (POMDP) 으로 자연스럽게 확장 가능합니다.

B. 베이지안 액터 - 크리틱 (BAC)

BPG 가 마르코프 속성을 활용할 수 없어 (마르코프 시스템에서 더 높은 분산 초래) 라는 한계를 해결하기 위해, 저자들은 베이지안 액터 - 크리틱 알고리즘을 도입합니다.

크리틱: 가우시안 프로세스 시간차 (Gaussian Process Temporal Difference, GPTD) 학습을 사용합니다. 행동 가치 함수 $Q(z)$ 를 GP 로 모델링합니다.
액터: 크리틱의 GP 에서 유도된 경사의 사후 모멘트를 사용하여 정책 매개변수를 업데이트합니다.
통합: GP 에 대해 특정 사전 공분산 커널 (상태 커널과 피셔 커널의 합) 을 선택함으로써, 저자들은 정책 경사의 사후 평균과 공분산에 대한 폐형식을 유도합니다.
장점: BAC 는 개별 상태 - 행동 - 보상 전이를 관측 단위로 사용합니다. 이를 통해 마르코프 속성을 활용할 수 있어, 특히 장기 문제에서 궤적 기반 BPG 에 비해 분산을 크게 줄일 수 있습니다.

C. 온라인 희소화 (Online Sparsification)

BPG 와 BAC 모두 샘플 수에 따라 커널 행렬이 커지는 ( $O(M^3)$ 복잡도) 문제를 포함합니다. 논문은 Engel 등 (2002) 의 연구에 기반한 온라인 희소화를 도입하여 대표 샘플의 "사전 (dictionary)"을 유지합니다. 이는 임계값 매개변수를 통해 근사 오차를 제어하면서도 알고리즘이 시간과 메모리 측면에서 계산적으로 효율적으로 유지되도록 보장합니다.

3. 주요 기여

베이지안 정책 경사 프레임워크: 베이지안 사분법과 가우시안 프로세스를 사용한 PG 방법의 새로운 공식화. 단일 점 추정이 아닌 경사에 대한 전체 사후 분포를 제공합니다.
폐형식 해법: 피셔 커널을 사용하여 경사의 사후 평균과 공분산에 대한 분석적 식을 유도하여, 경사 추정 자체를 위한 수치적 적분이나 샘플링의 필요성을 제거합니다.
불확실성 정량화: 거의 추가 비용 없이 경사 공분산을 계산할 수 있는 능력. 이는 위험 인지 학습 (예: 공분산을 사용하여 단계 크기 적응) 을 가능하게 합니다.
베이지안 액터 - 크리틱 (BAC): GPTD 크리틱과 베이지안 정책 업데이트를 결합한 새로운 AC 알고리즘. BPG 보다 낮은 분산을 위해 마르코프 속성을 활용합니다.
POMDP 로의 확장: 궤적 기반 BPG 접근법이 수정 없이 비마르코프 시스템을 자연스럽게 처리함을 입증합니다.
종합적 평가: 다양한 도메인에서 고전적인 MC 기반 PG 및 액터 - 크리틱 방법과의 광범위한 실험적 비교.

4. 실험 결과

저자들은 여러 벤치마크에서 방법을 평가했습니다.

밴딧 문제 및 선형 2 차 조절기 (LQR):
- BQ(베이지안 사분법) 에 의한 경사 추정은 특히 작은 샘플 크기에서 MC 추정에 비해 수십 배 낮은 분산과 더 높은 정확도를 보여주었습니다.
- BPG(자연 경사 사용) 는 LQR 에서 MCPG(몬테카를로 PG) 보다 더 빠르게 수렴하고 더 나은 최종 보상을 달성하여 우위를 보였습니다. 특히 중간 크기 샘플 ( $M=10, 20, 40$ ) 에서 두드러졌습니다.
- 경사 공분산을 사용하여 단계 크기를 조정하는 변형 (BPG-var) 이 가장 좋은 성능을 보였습니다.
랜덤 워크 (10 상태):
- BAC는 BPG 와 MCPG 모두를 크게 능가했습니다. BAC 는 더 빠르게 학습했고 학습률 변화에 더 견고했습니다.
- BPG 는 궤적 길이가 변할 때 어려움을 겪은 반면, BAC(상태 - 행동 전이 사용) 는 안정적으로 유지되었습니다.
마운틴 카 (연속 상태/이산 행동):
- BAC 는 MCPG 를 일관되게 능가하여 매우 적은 샘플 ( $M=5$ ) 로 좋은 정책을 찾았고 낮은 분산을 유지했습니다. MCPG 는 BAC 의 성능과 일치하기 위해 더 큰 샘플 크기가 필요했습니다.
선박 조종 (연속 상태/연속 행동):
- 이 복잡하고 고차원 도메인에서 BAC 는 더 낮은 성능 분산과 함께 MCPG 에 비해 우수한 수렴 속도와 성공률을 다시 한번 입증했습니다.

5. 의미 및 영향

샘플 효율성: 주요 의미는 효과적인 정책을 학습하는 데 필요한 샘플 수의 급격한 감소입니다. 경사를 GP 로 모델링함으로써 알고리즘은 경사 함수의 "형태"를 학습하여 MC 방법보다 적은 데이터 포인트에서 일반화할 수 있게 됩니다.
불확실성 인지 학습: 경사 공분산의 제공은 위험 민감적 정책 업데이트를 가능하게 합니다. 알고리즘은 불확실성이 낮을 때는 더 큰 단계를, 불확실성이 높을 때는 더 작고 안전한 단계를 취할 수 있으며, 이는 기존 PG 방법에는 없는 기능입니다.
이론적 엄밀성: 논문은 사후 모멘트에 대한 폐형식 해법에 대한 엄밀한 증명을 제공하여, 베이지안 비모수 방법과 RL 간의 간극을 메웁니다.
다용도성: 이 프레임워크는 BAC 를 통한 마르코프 문제와 BPG 를 통한 비마르코프/POMDP 문제를 단일 베이지안 우산 아래 통합하여 처리합니다.

결론적으로, 이 작업은 베이지안 강화 학습을 위한 강력한 이론적 및 실증적 기반을 확립하며, 정책 경사를 가우시안 프로세스로 모델링된 확률 변수로 취급하는 것이 기존 빈도주의 접근법보다 더 효율적이고, 안정적이며, 견고한 학습 알고리즘으로 이어짐을 입증합니다.