On Reward-Balancing Methods for Reinforcement Learning

이 논문은 강화 학습 (Reinforcement Learning, RL) 의 할인된 보상 (discounted-return) 문제를 해결하기 위한 새로운 알고리즘 클래스인 보상 균형화 (Reward-Balancing) 방법을 연구하고 있습니다. 저자들은 보상 함수를 반복적으로 조정하여 RL 문제를 최적 정책이 탐욕적 (greedy) 인 동등한 문제로 변환하는 '정규화 (normalization)' 과정에 대한 이론적 분석을 제공하며, 이를 제어 이론적 프레임워크로 재해석하고 모델 불확실성이 있는 상황으로 확장합니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 문제 정의 (Problem Statement)

기존의 강화 학습 알고리즘은 보상 함수를 고정된 상태로 두고 정책 (policy) 을 반복적으로 개선하는 방식에 의존합니다. 반면, 이 논문은 보상 함수를 변형하여 문제를 단순화하거나 성능을 향상시키는 관점을 취합니다.

• 핵심 아이디어: 주어진 보상 함수에 대해 탐욕적인 정책이 최적 정책이 되도록 보상 함수를 조정하는 과정 (정규화) 을 수행합니다.
• 목표: 최적 정책의 집합을 변경하지 않으면서 (즉, 문제를 본질적으로 바꾸지 않으면서), 보상 함수를 '정규형 (Normal Form)'으로 변환하는 것입니다. 정규형 MDP 는 모든 상태의 최적 가치 함수가 0 이 되도록 변환된 상태를 의미하며, 이때 최적 정책은 단순히 각 상태에서 보상이 0 인 행동을 선택하는 탐욕적 정책이 됩니다.
• 도전 과제:
  1. 보상 변환의 수학적 구조 (군 이론적 관점) 를 규명하고, 변환이 원래 문제를 보존하는지 분석.
  2. 이 정규화 과정을 제어 이론적 프레임워크 (최적 제어 문제) 로 재구성.
  3. 실제 환경에서 모델 (전이 확률) 이 불확실할 때, 확률적 샘플링을 통해 정규화를 보장하고 오차에 대한 확률적 경계를 도출.

2. 방법론 (Methodology)

2.1. 이득 보존 보상 변환 (Advantage-Preserving Reward Transformations)

논문은 보상 함수 공간에서 작용하는 특정 변환 군을 정의합니다.

• 변환 정의: 보상 $r$을 $r' = r + b(\delta)$로 변환하며, 여기서 $\delta$는 상태 공간의 함수입니다.
• 성질: 이러한 변환은 **이득 함수 (Advantage Function)**를 보존합니다. 즉, 변환 전후의 최적 정책은 동일하게 유지되지만, 가치 함수는 $\delta$만큼 이동합니다.
• 정규형 (Normal Form): 변환을 통해 모든 상태 $x$에 대해 $\max_{u \in U_x} r(u) = 0$이 되도록 만드는 것을 목표로 합니다. 이 조건을 만족하는 보상 함수 집합을 '정규 집합 (Normal Set, $\mathcal{N}$)'이라고 정의합니다.
• 기하학적 구조: 보상 함수 공간은 정규 집합을 베이스로 하는 주다발 (Principal Bundle) 구조를 가지며, 각 궤도 (orbit) 는 정규 집합과 정확히 한 점에서 만납니다.

2.2. 제어 이론적 재구성 (Control-Theoretic Reformulation)

정규화 과정을 선형 시간 불변 시스템의 출력 안정화 문제로 재해석합니다.

• 시스템 모델: 보상 벡터 $R_t$를 상태, 변환 파라미터 $\Delta_t$를 제어 입력으로 간주합니다.
  $$R_{t+1} = R_t + B\Delta_t$$
  여기서 $B = \gamma F - S$이며, $F$는 전이 행렬, $S$는 상태 - 행동 매핑 행렬입니다.
• 목표: 초기 보상 $R_0$을 정규 집합 $\mathcal{N}$으로 유도하는 제어 법칙을 설계합니다.
• 제어 입력의 제약: 보상 함수가 음수 (non-positive) 를 유지하도록 하는 '허용 가능한 변환 집합 (Admissible Set)'을 정의하고, 이를 선형 부등식으로 표현합니다.

2.3. 모델 불확실성 하의 정규화 (Robust Normalization with Model Uncertainty)

실제 환경에서는 전이 확률 모델 $F$를 정확히 알 수 없고, 샘플링된 근사 모델 $\hat{F}_t$만 존재하는 상황을 다룹니다.

• 확률적 시스템: 모델 오차가 곱셈적 잡음 (multiplicative noise) 으로 작용하는 확률적 시스템으로 모델링합니다.
• 모델 불변 집합 (Model-Invariant Set): 모든 가능한 모델 실현에 대해 보상이 음수를 유지하고 정규화될 수 있는 최대의 제어 입력 집합 $\mathcal{F}_I(R)$을 정의합니다.
• 시나리오 모델 예측 제어 (Scenario MPC):
  • 불확실한 모델을 다루기 위해, 미래의 여러 모델 시나리오 (샘플) 를 고려하여 평균 누적 보상을 최소화하는 최적 제어 문제를 풉니다.
  • 이를 통해 모델 오차에 강인한 제어 입력을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 분석: 보상 균형화 방법의 기반이 되는 변환 군의 대수적 구조와 기하학적 성질 (주다발 구조) 을 체계적으로 분석했습니다. 이는 정규화 과정이 왜 그리고 어떻게 작동하는지에 대한 엄밀한 수학적 근거를 제공합니다.
2. 제어 이론적 프레임워크 도입: 정규화 문제를 최적 제어 문제로 재구성하여, 제약 조건과 비용 함수를 통해 새로운 알고리즘을 체계적으로 설계할 수 있는 틀을 마련했습니다.
3. 불확실성 하의 확장 및 확률적 경계:
   • 모델 불확실성이 있는 환경에서도 정규화가 보장되도록 '모델 불변 허용 집합'을 정의했습니다.
   • 확률적 업데이트와 이상적인 업데이트 간의 편차에 대한 **지수적 확률 경계 (Exponential Probability Bound)**를 유도했습니다.
4. 성능 향상 알고리즘 제안: 제안된 최적 제어 프레임워크를 시나리오 MPC 로 구현하여, 기존 상태-of-the-art 방법 (Full-Output Feedback) 보다 모델 불확실성 하에서 더 우수한 정책 최적화 성능을 보임을 시뮬레이션을 통해 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 설정: 2 개의 상태와 5 개의 행동을 가진 MDP 에서 전이 확률에 최대 0.2 의 균일 분포 오차를 가진 모델을 사용하여 500 회 몬테카를로 시뮬레이션을 수행했습니다.
• 비교 대상: 기존 논문 [6] 에서 제안한 'Full-Output Feedback' 방법과 제안된 'Scenario MPC' 방법.
• 결과:
  • 두 방법 모두 정규화 (수렴) 를 달성했으나, Scenario MPC가 초기 단계에서 더 작은 입력을 사용하여 안정적으로 수렴했습니다.
  • 최적 정책 도달률: Scenario MPC 는 Full-Output Feedback 대비 최적 정책을 찾을 확률이 유의미하게 높았으며, 시나리오 수 (N) 가 증가할수록 성능이 개선되었습니다.
  • 정책 품질: 생성된 탐욕적 정책이 실제 최적 결정론적 정책에 더 가깝게 수렴하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 강화 학습의 보상 설계 문제를 단순한 휴리스틱을 넘어 제어 이론과 기하학, 확률론이 결합된 체계적인 프레임워크로 정립했다는 점에서 의의가 큽니다.

• 이론적 깊이: 보상 변환이 문제의 본질을 보존하면서도 최적화를 용이하게 만드는 메커니즘을 군 작용과 주다발 이론을 통해 설명했습니다.
• 실용적 확장: 모델 불확실성이 존재하는 실제 환경에서도 안정적으로 작동하는 알고리즘을 설계할 수 있는 도구 (Scenario MPC) 를 제공했습니다.
• 향후 방향: 계산 비용은 증가할 수 있으나, 모델 불확실성 하에서 더 높은 성능을 달성할 수 있는 새로운 정규화 법칙 설계의 가능성을 열었습니다. 이는 기존 Q-learning 등의 샘플 복잡도 한계를 극복하고 병렬 처리가 용이한 RL 알고리즘 개발에 기여할 것으로 기대됩니다.

요약하자면, 이 논문은 강화 학습의 핵심 요소인 '보상'을 고정된 것이 아닌 조정 가능한 제어 입력으로 간주하여, 이를 통해 문제를 정규화하고 최적 정책을 효율적으로 찾는 새로운 패러다임을 제시했습니다.