Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

이 논문은 가치 기반 다목적 강화학습 (Value-Based Multi-objective Reinforcement Learning, MORL) 알고리즘, 특히 비선형 유틸리티 함수와 결합될 때 발생하는 두 가지 주요 문제점을 규명하고 실험적으로 증명합니다. 저자들은 기존에 보고되지 않았던 **'가치 함수 간섭 (Value Function Interference)'**과 **'과대평가 민감도 (Overestimation Sensitivity)'**가 MORL 의 성능을 저해하고 비최적 정책에 수렴하게 만든다는 것을 밝혔습니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 문제 정의 (Problem Statement)

기존의 단일 목적 강화학습 (RL) 은 스칼라 보상을 가정하지만, MORL 은 벡터 형태의 보상을 다룹니다. MORL 알고리즘 (예: Q-learning) 은 벡터 가치 함수를 학습하고, 사용자의 선호도를 반영하는 스칼라화 (Scalarization) 또는 순서화 (Ordering) 연산자를 통해 행동을 선택합니다.

이 논문은 비선형 유틸리티 함수 (Non-linear Utility Function) 를 사용할 때 발생하는 두 가지 근본적인 문제를 제기합니다.

1. 가치 함수 간섭 (Value Function Interference):

   • 에이전트가 학습하는 것은 기대 벡터 반환 (Expected Vector Return) 입니다.
   • 비선형 유틸리티 함수 $U$의 경우, 기대 벡터에 유틸리티를 적용한 값 ($U(E[R])$) 과 각 결과에 유틸리티를 적용한 후 기대한 값 ($E[U(R)]$) 이 다릅니다 (Jensen 의 부등식).
   • 특히 ESR (Expected Scalarised Return) 기준을 최적화하려는 경우, 에이전트가 학습한 평균 벡터 가치만으로는 실제 ESR 을 정확히 계산할 수 없어 비최적 행동을 선택하게 됩니다.
   • 이 문제는 확률적 환경뿐만 아니라, 결정적 환경에서도 동점 처리 (Tie-breaking) 의 무작위성이나 탐험 (Exploration) 과정에서의 가치 추정 변화로 인해 발생할 수 있습니다.

2. 과대평가 민감도 (Sensitivity to Overestimation):

   • 단일 목적 RL 에서 Q-학습은 함수 근사 시 Q-값을 과대평가하는 경향이 있습니다.
   • 선형 스칼라화의 경우, 모든 Q-값에 동일한 양의 오차가 발생해도 행동 선호도 순위는 유지되므로 문제가 되지 않습니다.
   • 그러나 비선형 유틸리티 함수의 경우, 작은 과대평가조차도 행동 간 유틸리티 순서를 뒤바꿀 수 있어 심각한 성능 저하를 초래합니다.

2. 방법론 (Methodology)

저자는 이 문제를 분석하기 위해 표 (Tabular) 기반의 다목적 Q-학습 알고리즘을 사용했습니다.

• 알고리즘 수정: 기존 MORL 알고리즘을 수정하여 할인된 미래 보상을 정확히 처리하고, 상태에 누적 보상 벡터와 시간 단계를 포함하는 **증강 상태 (Augmented State)**를 정의했습니다. 이는 비선형 유틸리티 하에서 최적 정책이 시간과 누적 보상에 의존하기 때문입니다.
• 실험 환경:
  • 가치 함수 간섭 분석:
    • 확률적 MOMAB (Multi-objective Multi-armed Bandit): 두 가지 행동 중 하나가 확률적 보상을 주는 간단한 환경.
    • 결정적 MOMDP: 상태 전이와 보상이 결정적이지만, 최적 행동 선택 시 동점 (Tie) 이 발생하는 환경.
  • 과대평가 민감도 분석:
    • DST-Mixed 환경 (그리드 월드) 을 다목적 밴드트 문제로 매핑.
    • 10 개의 파레토 최적 정책이 존재하며, 선형 및 비선형 (TLO, Chebyshev) 유틸리티 함수를 적용.
    • Q-값에 일관된 (Consistent) 또는 불일치한 (Inconsistent) 양의 노이즈 (과대평가) 를 인위적으로 추가하여 행동 선택 오류를 측정.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 가치 함수 간섭 (Value Function Interference)

1. 확률적 환경에서의 간섭:
   • ESR 최적화를 목표로 할 때, 에이전트가 학습한 평균 벡터 가치 ($Q(a_1)$) 에 유틸리티 함수를 적용하면 실제 ESR 값과 달라집니다.
   • 실험 결과, 학습률 ($\alpha$) 이 중간 정도일 때 에이전트가 확률적으로 더 나은 행동 ($a_1$) 대신 결정적인 나쁜 행동 ($a_2$) 을 선택하여 수렴하는 경우가 빈번하게 발생했습니다.
2. 결정적 환경에서의 간섭:
   • 결정적 환경에서도 동점 처리 (Tie-breaking) 가 무작위적으로 이루어지면, 에이전트가 학습하는 이전 상태의 가치 벡터가 혼란을 겪어 비최적 정책으로 수렴합니다.
   • 해결 방안 제안: 동점 처리를 무작위가 아닌 결정적 (Deterministic) 방식으로 (예: 인덱스가 낮은 행동 우선) 변경하면 간섭 현상을 크게 완화할 수 있음을 실험적으로 증명했습니다. 하지만 이는 완전히 제거하지는 못하며, 탐험 과정에서 최적 행동이 자주 바뀌는 경우에도 간섭이 발생할 수 있음을 지적했습니다.

B. 과대평가 민감도 (Sensitivity to Overestimation)

1. 비선형 유틸리티의 취약성:
   • 선형 스칼라화: Q-값에 일관된 오차가 추가되어도 행동 선택에 영향을 주지 않음.
   • TLO (Thresholded Lexicographic Ordering): 매우 민감함. 임계값 (Threshold) 근처에서 작은 과대평가만으로도 정책 순위가 급격히 뒤바뀌어 심각한 손실 (Regret) 을 초래함.
   • Chebyshev 거리: TLO 보다는 덜 민감하지만 선형 방식보다는 취약함.
2. 불일치 과대평가의 영향:
   • 각 행동마다 다른 크기의 과대평가 노이즈가 발생하면 선형 스칼라화에서도 행동 선호도가 바뀔 수 있음.
   • 전반적으로 비선형 유틸리티 함수는 과대평가에 대해 훨씬 더 취약하며, 이는 MORL 알고리즘의 안정성을 위협하는 중요한 요인임을 확인했습니다.

4. 의의 및 시사점 (Significance)

이 연구는 MORL 분야에서 다음과 같은 중요한 시사점을 제공합니다:

1. 새로운 문제 인식: 기존에 잘 알려지지 않았던 '가치 함수 간섭'과 '비선형 유틸리티 하의 과대평가 민감성'을 체계적으로 규명했습니다. 이는 특히 ESR 기준을 사용하는 확률적 환경이나 복잡한 비선형 선호도를 가진 실제 응용 분야에서 알고리즘 실패의 원인이 될 수 있습니다.
2. 알고리즘 개선 방향:
   • 동적 Tie-breaking: 결정적 환경에서 무작위 동점 처리를 피하는 것이 학습 안정성에 도움이 됨.
   • 분산 강화학습 (Distributional RL) 도입: 기대 벡터 값 대신 벡터 반환의 분포를 학습하면 ESR 을 정확히 계산할 수 있어 간섭 문제를 해결할 수 있음을 제안함 (Hayes et al., 2021 등의 연구 참조).
   • 보상 재설계 (Reward Shaping): Cai et al. (2023) 의 접근법처럼 각 단계에서 벡터 보상을 스칼라화하여 학습하는 방식은 간섭을 제거할 수 있으나, MORL 의 장점인 다중 정책 학습 및 해석 가능성은 희생될 수 있음을 지적함.
3. 실제 적용 주의점: 비선형 유틸리티 함수를 사용할 때 Q-값의 과대평가는 치명적일 수 있으므로, Double Q-learning 이나 다른 과대평가 억제 기법을 MORL 에 적용할 때 각별한 주의가 필요함을 강조합니다.

결론

이 논문은 다목적 강화학습에서 비선형 유틸리티 함수를 사용할 때 발생하는 구조적 한계를 명확히 보여주었습니다. 단순한 가치 함수 학습만으로는 최적 정책을 보장할 수 없으며, 분포 기반 학습이나 보다 정교한 보상 설계가 필요함을 시사합니다. 이는 MORL 알고리즘의 이론적 기반을 강화하고 향후 연구 방향을 제시하는 중요한 기여입니다.