기술적 요약: 파레토 커버리지 집합 학습을 위한 단일 심층 선호도 조건부 정책

문제 정의

다목적 강화학습 (MORL) 은 종종 상충되는 여러 보상 신호를 최적화하는 것을 목표로 합니다. MORL 의 핵심 대상은 단일 최적 정책이 아니라 파레토 최적 트레이드오프의 집합 (파레토 프론트) 입니다. 주목받는 방향 중 하나는 사용자 지정 선호도 벡터 $\omega$에 기반하여 단일 심층 모델이 다양한 정책을 출력하는 선호도 조건부 학습입니다.

그러나 기존 접근법들은 "선형 - 비선형 긴장"에 직면해 있습니다:

1. 선형 스칼라화: 볼록 커버리지 집합 (CCS) 을 목표로 하는 방법들은 종종 선형 가중 합에 의존합니다. 수학적으로 깔끔하지만, 이들은 파레토 프론트의 꼭짓점 해만 복원할 수 있습니다. 고정된 선호도에 대해 최적 목적 벡터가 유일하지 않을 수 있습니다 (예: 전체 지지 면). 이로 인해 선호도가 변함에 따라 모호한 목표와 불연속적인 정책 전환이 발생합니다. 또한, 이들은 비꼭짓점 트레이드오프에 대한 밀집된 커버리지를 제공하는 데 어려움을 겪습니다.
2. 비선형 스칼라화: 파레토 커버리지 집합 (PCS) 을 목표로 하는 접근법들은 비꼭짓점 해에 도달할 수 있지만, 종종 복잡한 문제 공식화, 강력한 정규화, 또는 실제 파레토 프론트와 벗어날 수 있는 휴리스틱을 요구합니다. 또한, 일반적인 비선형 스칼라화 하에서 선호도에서 해로의 매핑의 유일성과 연속성이 명확하지 않아 안정적인 "선호도 스윕"이 어렵습니다.

본 논문은 특히 심층 설정으로 확장하기 전에 표 (tabular) 다목적 마르코프 결정 과정 (MOMDP) 의 맥락에서, 비선형 스칼라화 하에서 파레토 프론트의 밀집되고 안정적이며 연속적인 커버리지를 제공하는 단일 심층 정책 학습의 과제를 다룹니다.

방법론

1. 이론적 기초: 매끄러운 체비셰프 (STCH) 스칼라화

저자들은 스칼라화를 위한 단조 유틸리티로 매끄러운 체비셰프 (STCH) 유틸리티 함수를 채택합니다. 비매끄러운 체비셰프 노름과 달리, STCH 는 매개변수 $\tau$로 제어되는 로그 - 합 - 지수 근사를 사용합니다.

• 유일성과 최적성: 유한 상태/행동 공간을 가진 할인된 MOMDP 에 대해 달성 가능한 목적 집합 $\mathcal{J}$는 볼록 다면체입니다. 저자들은 모든 엄격히 양의 선호도 벡터 $\omega$에 대해 STCH 로 유도된 최적 목적 벡터 $J_\omega$가 유일하며 파레토 최적임을 증명합니다.
• 리프시츠 연속성: 핵심적으로, 저자들은 선호도 심플렉스 내부에서 매핑 $\omega \mapsto J_\omega$가 리프시츠 연속임을 증명합니다. 이 이론적 보장은 선호도의 작은 변화가 목표 목적의 작고 안정적인 변화로 이어짐을 보장하여, 밀집된 파레토 프론트 커버리지를 위한 선호도 스윕의 사용을 정당화합니다.

2. 알고리즘: 오목 미러 디센트 정책 반복 (CMDPI)

결과적으로 발생하는 비선형 스칼라화 문제를 목적 함수를 변경하지 않고 해결하기 위해, 저자들은 점유도 측정 (occupancy measures)($\mu$)에 대한 최적화를 공식화합니다.

• 미러 디센트 공식화: 그들은 음의 조건부 엔트로피를 거리 생성 함수로 사용하여 점유도 측정 공간에서 미러 디센트 알고리즘을 유도합니다. 이는 목적 하위 최적성에 대해 $O(1/k)$ 수렴 속도를 산출합니다.
• 정책 반복 해석: 점유 공간의 Bregman 발산과 정책 공간의 KL 발산 사이의 대응을 활용하여, 업데이트가 이전 정책을 참조로 하는 KL 정규화 MDP를 푸는 것과 동등함이 입증됩니다.
  • 소프트 벨만 평가: 정책 평가 단계는 소프트 벨만 고정점을 풉니다.
  • 승법적 정책 개선: 정책 개선 단계는 소프트 Q-값에 기반한 지수 재가중 (승법 가중치) 을 통해 정책을 업데이트합니다.
• 유한 단계 연속성: 주요 이론적 기여는 표 설정에서, 초기화가 연속적이고 전체 지지를 가진다면, 임의의 유한 반복 $k$에서의 정책 $\pi_k$가 선호도 $\omega$에 대해 연속적임을 증명하는 것입니다. 이는 종종 검증 없이 그러한 규칙성을 가정하는 이전 단일 네트워크 접근법과 대조됩니다.

3. 심층 구현: PCSAC

저자들은 CMDPI 업데이트를 심층, 모델 프리 및 모델 기반 액터 - 크리틱 알고리즘인 PCSAC(파레토 커버리지 소프트 액터 - 크리틱) 으로 구체화합니다.

• 아키텍처: 크리틱 $Q_\phi(s, a, \omega)$는 $m$차원 벡터를 출력하고, 액터 $\pi_\theta(s, \omega)$는 행동에 대한 분포를 출력합니다.
• 학습: 알고리즘은 소프트 액터 - 크리틱 (SAC) 과 유사한 오프-정책 최적화를 사용합니다. 크리틱은 벡터 목표에 대한 제곱 벨만 잔차를 최소화합니다. 액터는 $\pi_k \exp(Q/\alpha)$에 비례하는 목표 분포에 대한 KL 발산을 최소화하도록 업데이트되어, 실제로 미러 디센트 단계를 구현합니다.
• 유토피아 점 추정: 심층 설정에서 STCH 에 필요한 유토피아 점 $I$가 알려져 있지 않으므로, 저자들은 보상 백분위수의 지수 이동 평균을 사용하는 온라인 추정 절차를 제안합니다.

주요 기여

1. STCH 에 대한 이론적 보장: 표 MOMDP 에서 STCH 스칼라화 하에서 최적 목적 벡터가 유일하고 파레토 최적이며, 선호도에서 해로의 매핑이 리프시츠 연속임을 확립했습니다. 이는 선호도 스윕을 통한 밀집된 파레토 프론트 커버리지를 위한 원칙적 기초를 제공합니다.
2. CMDPI 알고리즘: 목적 수정 없이 비선형 스칼라화 문제를 해결하는 점유도 측정 공간에서 $O(1/k)$ 수렴하는 미러 디센트 알고리즘을 유도했습니다.
3. 정책 반복 동등성 및 연속성: 업데이트를 동등한 정책 반복 형태로 재작성하여, 유한 반복에서의 $\omega$-연속성 증명을 포함한 심층 선호도 조건부 학습에 대한 이론적 동기를 제공했습니다.
4. 실험적 성능: 제안된 방법들이 이산 및 연속 제어 작업 모두에서 최근 베이스라인 (LS, CAPQL, PreCo, C-MORL) 에 비해 우수한 파레토 프론트 근사 품질 (하이퍼볼륨으로 측정) 과 기대 유틸리티 성능을 달성함을 입증했습니다.

실험 결과

저자들은 여덟 개의 이산 행동 및 여덟 개의 연속 행동 MO-Gymnasium 작업에서 자신의 방법을 평가했습니다.

• 표 계획: 통제된 토이 MOMDP 에서 CMDPI 는 선형 스칼라화 (꼭짓점만 타격) 및 CAPQL (편향된 커버리지 보임) 에 비해 훨씬 더 균일하고 밀집된 커버리지로 파레토 최적 해를 복원했습니다.
• 이산 행동 작업: 여덟 개의 MO-Gymnasium 벤치마크에서 CMDPI는 하이퍼볼륨 (HV) 및 기대 유틸리티 지표 (EUM) 에 대해 최고의 평균 순위를 달성했습니다. PCSAC 또한 HV 에서 선형 스칼라화 및 CAPQL 을 능가했습니다.
• 연속 행동 작업: 여덟 개의 MuJoCo 작업에서 모델 기반 변형인 PCSAC-MB는 HV 및 EUM 모두에서 최고의 평균 순위를 달성하여 선형 스칼라화 베이스라인 (CAPQL-MB) 및 기타 최첨단 MORL 방법을 능가했습니다. 모델 프리 변형인 PCSAC-MF 또한 특히 HV 에서 강력한 성능을 보였습니다.
• 강건성: 민감도 분석은 방법들이 유토피아 점 추정 및 온도/스무딩 매개변수의 변화에 대해 강건함을 나타냈습니다.

중요성 및 주장

본 논문은 선형 스칼라화의 이론적 안정성과 비선형 방법의 커버리지 능력 사이의 간극을 해소한다고 주장합니다. STCH 로 유도된 해의 유일성과 리프시츠 연속성을 증명함으로써, 저자들은 단일 심층 네트워크를 사용하여 파레토 프론트를 밀집되고 안정적으로 커버하기 위한 엄밀한 기초를 제공합니다.

그 중요성은 다음과 같습니다:

• 원칙적 밀집 커버리지: 휴리스틱 선호도 스윕을 넘어 안정성과 커버리지 밀도에 대한 이론적 보장을 가진 방법으로의 전환.
• 알고리즘적 명확성: 미러 디센트, KL 정규화 MDP, 그리고 비선형 MORL 사이의 명확한 연결을 제공하여 정책 반복에 대한 새로운 관점을 제시.
• 실용적 효능: 이러한 이론적 통찰이 이산 및 연속 제어 영역 모두에서 최첨단 성능, 특히 모델 기반 설정에서의 샘플 효율성으로 이어짐을 입증.

저자들은 이론적 분석이 현재 표 설정으로 제한되어 있으며, 이러한 보장을 함수 근사로 확장하는 것이 향후 연구의 열린 방향임을 겸손하게 지적합니다. 또한 분석이 매끄럽고 엄격하게 오목한 유틸리티에 의존하며, 다른 유틸리티 클래스 하의 행동은 탐구되지 않았음을 인정합니다.