A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

기술 요약: SMDP 에서의 평균 보상 강화 학습을 위한 조화 평균 공식화

1. 문제 제기

본 논문은 무한 시간 범위 (infinite horizons) 를 가진 준 마코프 결정 과정 (Semi-Markov Decision Processes, SMDPs) 에서 **평균 할인되지 않은 보상 (average undiscounted reward)**을 최적화하는 과제를 다룹니다. 행동이 고정된 단위 시간을 소요하는 표준 마코프 결정 과정 (MDPs) 과 달리, SMDP 는 행동이 확률적으로 보상과 다양한 지속 시간 (소요 시간, sojourn times) 을 모두 생성합니다. 목표는 누적된 총 보상이 아닌 **보상률 (단위 시간당 보상)**을 최대화하는 것입니다.

이 설정에 대한 기존 모델 없는 (model-free) 알고리즘인 SMART와 Relaxed-SMART는 보상이나 지속 시간이 **비정상적 (non-stationary)**이거나 **의존적 (dependent)**일 때 치명적인 한계를 겪습니다:

• SMART는 장기 샘플 평균 (총 보상 / 총 시간) 에 의존합니다. 이 접근법은 취약하며, 정상성을 가정하고 있으므로 이상치에 지배받거나 비정상적 환경에서의 체제 변화 (regime shifts) 에 적응하지 못할 수 있습니다.
• Relaxed-SMART는 보수와 지속 시간에 대해 지수 이동 평균 (EMA) 을 사용한 후 그 비율을 취함으로써 비정상성을 처리하려 시도합니다. 그러나 이 방법은 평균 보상을 산술 평균의 비율로 근사합니다. 본 논문은 이 근사가 보수와 지속 시간이 독립적일 때만 수학적으로 정확함을 보여줍니다. 이 둘이 상관관계 (비선형적 관계) 를 가질 때, 평균의 비율은 실제 평균 보상에 대한 잘못된 추정을 초래합니다.

2. 방법론

저자들은 속도 (예: 속도 = 거리/시간) 를 평균내는 데 이론적으로 올바른 연산자인 **조화 평균 (Harmonic Mean)**에 기반한 새로운 접근법을 제안합니다.

조화 평균의 한계:
조화 평균은 보수를 평균내는 데 올바른 집계 방법이지만, 표준 정의는 일반적인 강화 학습 (RL) 에 적합하지 않습니다. 그 이유는 다음과 같습니다:

1. 영 (zero) 값에 대해 정의되지 않습니다 (0 으로 나누기).
2. 값이 혼합된 부호 (양수와 음수 보상) 를 가질 때 "내부성 (internality, 평균이 최솟값과 최댓값 사이에 위치함)" 속성을 상실합니다.

수정된 조화 평균 연산자 ($\mathcal{H}$):
이러한 한계를 극복하기 위해 저자들은 **수정된 조화 평균 연산자 (Modified Harmonic Mean Operator, $\mathcal{H}$)**를 도입합니다. 이 연산자는 다음과 같이 작동합니다:

• 데이터를 양수 보상 ($X_+$), 음수 보상 ($X_-$), 영 (zero) 보상 ($X_0$) 의 세 집합으로 분할합니다.
• 양수 및 음수 부분집합에 대해 표준 조화 평균을 각각 계산합니다.
• 영 값을 값이 0 으로 간주하여 이러한 결과들의 가중 산술 평균을 계산합니다.
• 이론적 속성: 저자들은 $\mathcal{H}$가 일반 평균 (general mean) (내부성, 멱등성, 대칭성, 단조성 만족) 이며, 정의되는 표준 조화 평균을 일반화함을 증명합니다. 그러나 이는 산술 평균, 기하 평균, 조화 평균을 포함하는 클래스와 구별되는 준 산술 평균 (quasi-arithmetic mean) 은 아님을 증명합니다.

조화 R-학습 알고리즘 (Harmonic R-Learning Algorithm):
저자들은 $\mathcal{H}$를 모델 없는 RL 알고리즘인 **조화 R-학습 (Harmonic R-Learning)**에 통합합니다.

• 이는 R-학습 및 SMART 의 구조적 업데이트 규칙 (평균 보상률에 대한 한계 보상을 기반으로 Q-값 업데이트) 을 따릅니다.
• 단순 산술 EMA 나 EMA 의 비율을 사용하여 평균 보상률 $\rho$를 업데이트하는 대신, **지수 이동 조화 평균 (Exponential Moving Harmonic Mean)**을 유지합니다.
• 이 알고리즘은 양수 및 음수 보상에 대해 보상률의 역수 ($r/\tau$) 를 별도로 추적하며, 이러한 역수와 관련 가중치의 지수 이동 평균을 유지한 후 이를 역변환하여 $\rho$의 현재 추정치를 계산합니다.

3. 주요 기여

1. 기존 알고리즘에 대한 이론적 분석: 본 논문은 (정리 1 을 통해) 산술 평균의 비율 (Relaxed-SMART 가 사용하는) 이 보수와 시간 - 대 - 보상 비율 간의 공분산이 0 일 때만 조화 평균과 같음을 공식적으로 증명합니다. 비정상적이거나 의존적인 설정에서는 이로 인해 잘못된 보상률 추정이 발생합니다.
2. 새로운 연산자: 0 과 혼합 부호 보상에 강건하면서도 보수를 평균내는 데 필요한 수학적 정확성을 유지하는 **수정된 조화 평균 연산자 ($\mathcal{H}$)**의 도입.
3. 알고리즘 일반화: SMART 와 Relaxed-SMART 의 정상성 또는 독립성 가정 없이 SMDP 에 기존 R-학습 변형을 일반화하는 모델 없는 알고리즘인 조화 R-학습의 개발.
4. 공리적 증명: $\mathcal{H}$가 일반 평균이지만 준 산술 평균은 아님을 입증하여 전통적인 평균들과의 수학적 지위를 명확히 하는 증명.

4. 실증 결과

저자들은 두 가지 도메인에서 SMART 와 Relaxed-SMART 에 대해 조화 R-학습을 평가했습니다:

• 합성 2 상태 SMDP:

  • 설정: 두 가지 행동을 가진 지속 작업. 행동 A 는 독립적인 보수와 지속 시간을 가졌습니다. 행동 B 는 드리프트하는 사인/코사인 함수와 로그 스케일링을 사용하여 의존적이고 비정상적인 보수와 지속 시간을 가졌습니다.
  • 결과: 보상과 지속 시간 간의 의존성이 학습 시간 범위 내에서 "진짜" 최적 행동 (행동 B) 을 탐지하기 어렵게 만든 설정에서, SMART 와 Relaxed-SMART 는 실패했습니다 (더 어려운 설정에서는 성공률이 0% 로 떨어짐). 조화 R-학습은 모든 매개변수 조합에서 높은 성공률을 유지하여 비정상성과 의존성에 대한 우수한 강건성을 입증했습니다.

• 비트코인 트레이딩 (실제 데이터):

  • 설정: 2012 년부터 2025 년까지의 분 단위 비트코인 가격 데이터를 사용한 고변동성, 비정상적 환경. 작업에는 확률적 행동 지속 시간 (5~45 초) 을 가진 매수/매도가 포함되었습니다. 두 가지 버전이 테스트되었습니다: 무작위 지속 시간 (독립적) 을 가진 버전과 지속 시간이 보상 크기에 의해 스케일링된 (의존적) 버전.
  • 결과:
    • 독립적 버전에서는 이론에 예상된 대로 모든 알고리즘이 유사하게 수행되었습니다.
    • 의존적 버전 (보상 크기가 지속 시간에 영향을 미치는 경우) 에서 조화 R-학습은 SMART 와 Relaxed-SMART 보다 현저히 우수한 성과를 거두어 21 개 데이터 세그먼트 전반에 걸쳐 더 높은 승률을 달성했습니다. 이는 보수와 지속 시간이 결합되어 있을 때 평균의 비율 근사가 실패한다는 이론적 주장을 확인시켜 줍니다.

5. 중요성과 주장

본 논문은 조화 R-학습이 보상과 지속 시간 분포가 비정상적이거나 의존적인 SMDP 에서의 평균 보상 RL 에 필수적인 수정을 제공한다고 주장합니다.

• 이는 이전 방법들 (SMART/Relaxed-SMART) 이 보상 크기와 시간 간의 결합을 무시하는 산술 근사에 의존하기 때문에 이러한 특정 조건에서 근본적으로 결함이 있음을 주장합니다.
• 수정된 조화 평균 연산자는 RL 에서 보수를 평균내는 데 수학적으로 올바른 도구로 제시되며, 이러한 의존성이 일반적인 금융 트레이딩과 같은 복잡하고 실제적인 시나리오로 R-학습의 적용 범위를 확장합니다.
• 이 연구는 특히 현재 문헌의 "비정상성" 및 "의존성" 격차를 해결하는 준 마코프 설정에서 모델 없는 평균 보상 최적화를 위한 최첨단 (state-of-the-art) 에 대한 이론적 및 실증적 개선으로 위치 지어집니다.