기술 요약: AETDICE: 비선형 다목적 강화학습을 위한 통합 프레임워크 및 오프라인 최적화

1. 문제 정의

다목적 강화학습(MORL)은 종종 서로 상충하는 여러 목적을 최적화하기 위해 순차적인 의사결정을 수행하는 것을 목표로 한다. 선형 스칼라화(가중치 합)는 MORL을 표준 단일 목적 RL로 축소시키지만, 위험 회피, 공정성, 수확 감소와 같은 복잡한 선호도를 포착하기 위해서는 비선형 스칼라화가 필수적이다.

역사적으로 비선형 MORL은 스칼라화와 기댓값의 순서에 따라 두 가지 뚜렷한 패러다임으로 양분되어 왔다:

1. 스칼라화된 기대 수익 (SER): 기대 수익 벡터에 비선형성을 적용한다($u(\mathbb{E}[R])$). 이는 행동의 한계 기여도가 정책의 전체 기대 수익에 의존하므로 전역 수준의 최적화가 필요하며, 종종 확률적 정책을 필요로 한다.
2. 기대 스칼라화 수익 (ESR): 각 궤적의 수익에 비선형성을 적용한다($\mathbb{E}[u(R)]$). 이는 누적된 보상 이력에 따라 최적의 행동이 결정되는 비마르코프(non-Markovian) 문제를 생성하며, 이를 해결하기 위해 마르코프 성질을 복구하기 위한 상태 확장이 필요하다.

공백: 기존의 오프라인 RL 방법들은 선형 스칼라화와 SER 목적 함수를 다루어 왔다. 그러나 ESR은 오프라인 설정에서 아직 다뤄지지 않았다. 궤적 수준의 비선형성은 최적의 행동을 누적된 보상에 의존하게 만들며, 정적인 데이터셋으로부터 이러한 보상 조건부 정책을 학습하는 것은 탐구되지 않았다. 또한, 궤적 수준과 기대치 수준 모두의 비선형성을 결합한 목적 함수를 다루거나, 이러한 결합에 의해 유도되는 특정 트레이드오프를 처리하는 방법도 존재하지 않는다.

2. 방법론

AET 프레임워크

저자들은 비선형 MORL 목적 함수를 통합하기 위해 AET(Aggregation–Expectation–Transformation) 프레임워크를 제안한다. AET는 스칼라화 과정을 세 가지 구성 요소로 분해한다:

1. 변환 (Transformation, F): 수익 벡터를 $n$개의 효용 차원으로 매핑하는 궤적 수준의 변환 $F: \mathbb{R}^m \to \mathbb{R}^n$ (예: $\log$를 통한 수확 감소 또는 Cobb-Douglas를 통한 효율성 포착).
2. 기대 (Expectation, E): 궤적에 대한 기대값.
3. 집계 (Aggregation, G): 기대 효용들을 결합하는 기대 수준의 집계 $G: \mathbb{R}^n \to \mathbb{R}$ (통상적으로 오목 함수).

AET 목적 함수는 다음과 같이 정의된다:
$$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$$

이 프레임 much는 선형 MORL, SER-MORL, ESR-MORL을 특수 사례로 포함하며, $F$와 $G$의 결합을 통해 더 풍부한 클래스의 목적 함수(AET-MORL)를 가능하게 한다.

AETDICE 알고리즘

AET 목적 함수를 오프라인에서 최적화하기 위해, 저자들은 AETDICE(DIstribution Correction Estimation을 통한 오프라인 AET 최적화)를 제안한다. 이 방법은 두 가지 비선형 원천을 각각 별도로 처리한다:

1. 비선형 변환 $F$ 처리 (확장된 MOMDP):
$F$의 궤적 수준 비선 nonlinearity를 처리하기 위해, 저자들은 확장된 유한 시계 MOMDP $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$를 구축한다.

• 상태 확장: 상태는 누적된 보상 벡터와 함께 확장된다: $\tilde{s}_t = (s_t, R^{acc}_t, t)$. 이는 ESR 목적 함수를 위한 마르코프 성질을 복구한다.
• 변환된 보상: 각 행동이 궤적 효용 $F$에 기여하는 증분 기여도를 포착하는 새로운 보상 함수을 정의한다:
  $$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$$
  이는 $\sum \tilde{r} = F(R(\tau))$가 되는 망원 급수(telescoping sum)를 생성한다. 이 변환은 ESR-MORL을 확장된 공간에서의 표준 단일 목적 RL로, AET-MORL을 확장된 공간에서의 SER-MORL로 환원시킨다.

2. 비선형 집계 $G$ 처리 (DICE를 통한 볼록 최적화):
$F$가 보상에 흡수됨에 따라, 문제는 확장된 공간에서의 기대 효용에 대한 오목 함수 $G$를 최대화하는 문제가 된다. 저자들은 DICE(Distribution Correction Estimation) 프레임워크를 확장한다:

• 방문 분포: 목적 함수를 확장된 공간에서의 방문 분포 $d_t(\tilde{s}, a)$에 대한 볼록 최적화 문제로 재구성한다.
• 슬랙 변수 (Slack Variable): 기대값과 오목한 집계 $G$를 분리하기 위해 슬랙 변수 $k$를 도입하여, 편향 없는 샘플 기반 추정을 가능하게 한다.
• 정규화: 학습된 정책과 오프라인 데이터셋 사이의 분포 변화(distribution shift)를 교정하기 위해 $\phi$-발산 페널티를 추가한다.
• 쌍대 문제 (Dual Formulation): 프라이멀(primal) 문제를 라그랑주 승수($\nu$)와 슬랙 변수($\mu$)를 나타내는 신경망에 대한 확률적 경사 하강법으로 풀 수 있는 듀얼(dual) 문제로 변환한다. 최적의 정책은 학습된 방문 비율을 이용한 가중 행동 복제(weighted behavior cloning)를 통해 추출된다.

3. 주요 기여

1. 통합 프레임워크 (AET): 논문은 SER와 ESR을 통합하고, 궤적 수준과 기대 수준의 비선형성을 결합한 새로운 클래스의 목적 함수(AET-MORL)를 정의하는 원칙적인 프레임워크인 AET를 도입한다.
2. 최초의 오프라인 ESR 최적화: 확장된 상태 공간에서 변환된 보상을 정의함으로써, 저자들은 정적 데이터셋으로부터 ESR 목적 함수를 최적화하는 최초의 방법을 제공하며, 이를 표준 오프라인 RL로 환원시킨다.
3. AETDICE 알고리즘: 두 가지 비선형성 $F$(확장을 통해)와 $G$(DICE 방식의 분포 교정을 통해)를 모두 처리하는 샘플 기반 오프라인 알고리즘인 AETDICE를 제안한다.
4. 실증적 검증: 프레임워크는 다양한 목적 함수(ESR과 SER 사이를 $\alpha$-fairness로 보간하는 Fair MORL, 볼록 효용, 비볼록 Cobb-Douglas 효용 및 안전 제약 조건 포함)를 통해 검증된다.

4. 실험 결과

실험은 Fair-Taxi, MO-PointMaze, D4MORL (MO-Ant, MO-Walker2d, MO-HalfCheetah) 환경에서 수행되었다.

• Fair MORL (Fair-Taxi & PointMaze): AETDICE는 ESR, SER, 그리고 균형 잡힌 스칼라화 수익(BSR) 목적 함수를 성공적으로 최적화했다.

  • 행동적 차이: ESR-최적 정책은 모든 궤적 내에서 균형 잡힌 수익을 생성하는 반

  (중략 - 문맥상 '생성하는 비마르코프적 행동'을 의미함) 전문적인 행동을 보였고, SER-최적 정책은 (기대치에서만 균형을 맞추는) 전문화된 궤적들의 확률적 혼합을 생성했다. BSR 정책은 이러한 행동들 사이를 부드럽게 보간했다.

  • 성능: AETDICE는 각각의 타겟 목적 함수에 대해 높은 점수를 달성하며, SER에 국한된 FairDICE나 ESR에 국한된 ESR-IQL과 같은 베이스라인을 능가했다.

• 일반 AET 목적 함수 (D4MORL):

  • 볼록 $F$: 이 방법은 (오목한 $G$를 통해 균형을 유지하면서) 고성능 차원을 우선시하는 볼록 $F$ 목적 함수를 성공적으로 최적화하여, 전문화된 행동들의 확률적 혼합을 생성했다.
  • 비볼록 $F$ (Cobb-Douglas): AETDICE는 효율성 트레이드오프(예: 속도 vs 에너지)를 최적화했다. 결정적으로, 오목한 집계를 통해 안전 효용을 추가함으로써, 순수 효율성 최적화의 실패 모드인 에이전트 붕괴(agent collapse)를 방지하면서도 높은 효율성을 유지했다.

• 절제 연구 (Ablation): 정규화 계수 $\beta$에 대한 연구는 비선형 MORL이 필요한 분포 변화를 허용하기 위해 더 작은 값이 필요함을 보여주었으나, 방법론은 여전히 안정적이고 효과적임을 입증했다.

5. 의의 및 주장

본 논문은 AETDICE가 분절되었던 기존의 비선형 MORL 전략들을 통합함으로써 오프라인 MORL의 오랜 장벽을 해결한다고 주장한다.

• 통합: SER와 ESR 사이의 간극을 메우며, 일반적인 비선형 MORL을 위한 단일 프레임워크를 제공한다.
• 신규성: 오프라인 ESR 최적화 및 더 넓은 범위의 AET 목적 함수를 다루는 최초의 방법이다.
• 행동적 통찰: 프레임워크는 궤적 수준과 기대 수준의 비선형성 상호작용에서 발생하는 뚜렷한 정책 행동(비마르코프 전략, 확률적 혼합)을 드러내며, 이는 기존 방법들이 포착하거나 다룰 수 없는 부분이다.
• 실용성: 복잡한 공정성 및 효율성 목적 함수를 오프라인에서 최적화할 수 있게 함으로써, 에피소드 내부와 에피소드 간 모두에서 경쟁하는 기준을 균형 있게 조절해야 하는 실제 의사결정 지원을 가능하게 한다.

저자들은 목적 함수의 수가 증가함에 따라 확장된 상태 공간의 확장성 문제와, 분포 변화가 수반되는 오프라인 MORL 특유의 엄격한 데이터 커버리지 요구 사항에 대한 한계를 언급했다. 그러나 AETDICE가 더 넓은 클래스의 비선형 목적 함수를 오프라인 환경에서 다룰 수 있게 함으로써 분야를 크게 진전시켰다고 주장한다.