🤖 AI

Preference Conditioned Multi-Objective Reinforcement Learning: Decomposed, Diversity-Driven Policy Optimization

본 논문은 분해된 후기 단계 가중치 파이프라인과 다양성 정규화 도구를 채택하여 다양한 벤치마크에서 우수한 파레토 프런트 커버리지와 고품질 정책을 달기 위해 기존 방법론의 한계를 극복하는 선호도 조건부 다목적 강화 학습 프레임워크인 $D^3PO$ 를 소개한다.

원저자: Tanmay Ambadkar, Sourav Panda, Shreyash Kale, Jonathan Dodge, Abhinav Verma

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tanmay Ambadkar, Sourav Panda, Shreyash Kale, Jonathan Dodge, Abhinav Verma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 하지만 이건 그냥 평범한 게임이 아닙니다. 속도, 안전성, 에너지 효율성이라는 세 가지 공을 동시에 저글링해야 하는 레벨입니다. 만약 당신이 로봇에게 "빨리" 가라고 말한다면, 로봇은 충돌할 수도 있습니다. 만약 "안전하게" 가라고 한다면, 너무 느리게 움직여서 결코 끝을 보지 못할 수도 있습니다. 이것이 바로 **다목적 강화학습(Multi-Objective Reinforcement Learning, MORL)**의 세계입니다. 즉, 서로 충돌하는 목표들 사이에서 균형을 잡도록 에이전트를 가르치는 것입니다.

오랫동안 연구자들은 시작 단계에서 모든 목표를 하나의 숫자로 결합하는 하나의 "점수"를 주는 방식으로 이를 해결하려 노력했습니다. 그들은 "좋아, 속도에 50점, 안전성에 50점을 줄 테니, 총점은 100점이야"라고 말하곤 했습니다. 이 논문은 이 "모두 미리 섞어버리는" 접근 방식을 **조기 스칼라화(Early Scalarization)**라고 부릅니다.

펜실베이니아 주립대학교의 탄메이 암바드카르(Tanmay Ambedkar)와 그의 팀은 이 방식이 잘못되었다는 것을 발견했습니다. 그들은 목표들이 서로 싸울 때(예: 속도 vs 안전성), 점수를 초기에 합치면 양(+)의 신호가 음(-)의 신호를 상쇄시킨다는 것을 발견했습니다. 이는 마치 누군가가 차를 뒤로 잡아당기는 동안 다른 누군가가 차를 앞으로 밀려고 하는 것과 같습니다. 차는 움직이지 못하고, 엔진(학습 알고实现)은 혼란에 빠집니다. 실험 결과, 이 상쇄 현상은 로봇이 학습을 시작하기도 전에 유용한 학습 신호의 **60~65%**를 지워버렸습니다.

D3PO 솔루션: 새로운 코칭 방식

이를 해결하기 위해 팀은 D3PO(Decomposed, Diversity-Driven Policy Optimization)라는 새로운 프레임워크를 도입했습니다. D3PO를 새로운 로봇이라기보다는, 기존의 인기 있는 로봇 학습 알고리즘인 PPO(Proximal Policy Optimization)를 위한 더 똑똑한 코칭 전략이라고 생각하면 됩니다.

D3PO가 두 가지 주요 기술을 통해 게임을 어떻게 바꾸는지 살펴보겠습니다.

1. "기다렸다가 보기" 전략 (후기 단계 가중치 부여)
D3PO는 점수를 즉시 섞는 대신 로봇에게 이렇게 말합니다. "먼저 속도 점수와 안전성 점수를 각각 따로 살펴보자."

기존 방식: 점수를 섞음 $\rightarrow$ 동작이 좋은지 확인 $\rightarrow$ 로봇 업데이트.
D3PO 방식: 속도 동작이 좋은지 확인(별도로) $\rightarrow$ 안전성 동작이 좋은지 확인(별도로) $\rightarrow$ 그 후에 최종 업데이트를 결정하기 위해 점수들을 섞음.

논문은 선호도를 섞는 시점을 아주 마지막으로 미루는 것(후기 단계 가중치 부여 기술)으로써, 로봇이 각 목표로부터 얻는 "좋은 소식"을 보존한다고 주장합니다. 설령 목표들이 서로 싸우더라도, 코치가 이들을 결합하기 전에 로봇은 각 목표의 구체적인 조언으로부터 배울 수 있습니다. 이는 로봇이 신호가 서로 상쇄되어 학습을 멈추게 되는 "파괴적 상쇄"를 방지합니다.

2. "개성" 부스터 (다양성 정규화)
또 다른 문제가 있었습니다. 로봇에게 다양한 목표의 균형을 맞추라고 요구하면, 로봇들은 종종 게으러져서 그냥 하나의 "안전한 평균" 행동만을 배우게 됩니다. 그들은 빠르거나 느리게 행동하는 것을 멈추고, 그저 평범해집니다. 이를 **모드 붕괴(mode collapse)**라고 합니다.

D3PO는 **다양성 정규화(Diversity Regularizer)**를 통해 이를 해결합니다. 코치가 로봇에게 이렇게 말하는 것과 같습니다. "만약 네가 빠르게 행동하라는 요청을 받았다면, 반드시 안전하게 행동하라는 요청을 받았을 때와는 다르게 행동해야 해. 만약 두 경우에 똑같이 행동한다면, 너는 벌점을 받을 거야."
이는 로봇이 가능한 모든 범위에 걸쳐 행동을 확장하도록 강제합니다. 단순히 하나의 "괜찮은" 해결책을 찾는 대신, "매우 빠르지만 위험한" 상태부터 "매-격 안전하지만 느린" 상태, 그리고 그 사이의 모든 것을 포함하는 전체 스펙트럼의 해결책을 배우게 됩니다.

결과: 가능성의 더 나은 지도

팀은 Hopper, Ant, Humanoid, 그리고 Building-9d라는 복잡한 건물 시뮬레이션을 포함한 까다로운 비디오 게임 환경에서 D3PO를 테스트했습니다. 그들은 이를 기존의 최선책들과 비교했습니다.

결과는 명확했습니다:

더 나은 커버리지: D3PO는 이전 방식들보다 훨씬 더 넓고 높은 품질의 해결책 집합(이를 **파레토 프런트(Pareto front)**라고 함)을 찾아냈습니다. 간단히 말해, 트레이드오프의 지점 몇 곳에 머무는 것이 아니라, 게임에서 이기는 데 필요한 훨씬 더 많은 방법들을 찾아낸 것입니다.
효율성: 다른 방식들은 특정 목표 조합마다 수백 개의 별도 로봇을 훈련시키려 했고 엄청난 메모리가 필요했지만, D3PO는 어떤 선호도 조합도 처리할 수 있는 단 하나의 로봇만을 사용했습니다. 이는 다중 로봇 접근 방식에 비해 메모리를 최대 **99%**까지 절약했습니다.
성능: Humanoid 환경에서 일부 방식들은 단 하나의 해결책만을 찾는 붕괴 현상(Sparsity가 0)을 보였으나, D3PO는 0.003의 Sparsity를 가진 다양한 해결책 집합을 찾아내며 붕괴되지 않았음을 증명했습니다.

이 논문이 배제하는 것들

저자들은 무엇이 답이 아닌지에 대해서도 매우 구체적으로 밝히고 있습니다:

복잡한 수학으로 문제를 해결할 수 없음을 입증함: 그들은 (부록에서 논의된 바와 같이) 문제를 해결하기 위해 나중에 복잡한 비선형 수학을 사용하는 시도를 했으나, 이는 훈련을 불안정하게 만들었습니다. 그들은 문제가 수학이 너무 단순해서가 아니라, 연산의 순서가 잘못되었기 때문이라고 주장합니다.
"뇌 용량"의 문제가 아님을 입증함: 그들은 실패의 원인이 로봇이 복잡한 목표를 이해할 만큼 똑똑하지 못해서가 아님을 보여주었습니다. 실패는 구조적인 문제입니다. 즉, 훈련 과정 자체가 로봇이 사용할 수 있는 정보가 전달되기도 전에 정보를 파괴하는 것입니다.
이것이 모든 형태의 문제를 해결한다는 것은 아님을 인정함: 저자들은 여전히 점수를 섞는 방식에 선형적인 방식을 사용하기 때문에, "볼록한(convex)" 부분의 해결책만 찾을 수 있다는 점을 인정합니다. 만약 완벽한 트레이드오프 곡선이 깊은 골짜기 모양(오목한/concave)이라면, 그들의 방식은 다른 선형 방식들과 마찬가지로 그 위를 건너뛰어 버릴 수 있습니다. 그들은 향ally 이러한 깊은 골짜기를 찾기 위해 자신의 방법을 다른 도구와 결합하는 연구가 필요할 것이라고 제안합니다.

얼마나 확실한가?

저자들은 자신의 발견에 대해 상당히 확신하고 있으며, 이론뿐만 아니라 데이터로 이를 뒷받받합니다.

측정됨: 훈련 과정 중 **36%에서 53%**의 시간 동안 목표들이 실제로 서로 충돌하고 있었다(음의 코사인 유사도)는 것을 측정했습니다.
측정됨: 조기 스칼라화가 실험에서 학습 신호를 60~65% 감소시켰음을 보여주었습니다.
시뮬레이션됨: Hypervolume 점수(표 1)와 같은 성능 향상은 MO-Gymnasium과 같은 환경에서의 시뮬레이션을 기반으로 합니다. 결과가 운이 아니라는 것을 보장하기 위해 **5개의 무작위 시드(random seed)**로 실험을 수행했습니다.
이론적 증명: 부록에서 "후기 단계 가중치 부여"가 목표가 충돌할 때 기존의 "조기 스칼라화" 방식보다 수학적으로 더 많은 신호를 보존한다는 것을 보여주는 수학적 증명을 제공했습니다.

요약하자면, 이 논문은 로봇에게 상충하는 목표 사이의 균형을 가르치는 비결이 더 큰 뇌나 더 복잡한 수학 공식을 만드는 것이 아니라고 제안합니다. 그것은 수업 계획의 순서를 바꾸는 것입니다. 로봇이 각 목표를 독립적으로 명확하게 듣게 한 다음, 각 목표를 얼마나 들을지 결정하는 것입니다. 이렇게 함으로써 D3PO는 단 하나의 효율적인 로봇을 사용하여 더 풍부하고 다양한 해결책을 찾아낼 수 있습니다.

기술 요약: 선호도 조건부 다중 목적 강화 학습 (D3PO)

문제 정의

다중 목적 강화 학습(Multi-Objective Reinforcement Learning, MORL)은 에이전트가 상충하는 목적들을 균형 있게 조절하도록 훈련하는 것을 목표로 하며, 이는 자율 주행 및 물류와 같은 실세계 응용 분야의 필수 요구사항입니다. 단일 목적 RL이 스칼라 보상을 최대화하는 반면, MORL은 사용자가 선호도 벡터를 통해 트레이드오프를 선택할 수 있도록 파레토 최적 정책(Pareto-optimal policies) 집합을 탐색합니다.

단일 정책을 훈련하여 다양한 선호도를 처리하려는 기존의 선호도 조건부 방법들은 두 가지 결정적인 구조적 병리 현상을 겪습니다:

파괴적 이득 상쇄 (Destructive Advantage Cancellation): 이는 **조기 스칼라화 (Early Scalarization, ES)**에 의해 발생하며, ES는 목적별 보상을 최적화 단계 이전에 하나의 스칼라 값으로 통합합니다. 목적들이 서로 충돌할 때(예: 한 그래디언트는 양수이고 다른 하나는 음수일 때), 이러한 통합은 학습 신호를 상쇄시로 만듭니다. 논문에서 제시된 경험적 진단에 따르면, 연속 제어 벤치마크에서 목적별 그래디언트가 서로 반대 방향을 향하는 경우가 36~~53%의 훈련 단계에서 발생하며, ES는 업데이트당 통합된 이득(advantage)의 크기를 60~~65% 감소시킬 수 있습니다.
표현 모드 붕괴 (Representational Mode Collapse): 단일 정책은 종종 전체 파레토 프런트를 커버하지 못하고, 서로 다른 선호도 벡터를 뚜렷한 트레이드오프가 아닌 유사하고 "안전한" 평균 행동으로 매핑하는 경향이 있습니다.

다중 정책 접근 방식(다양한 선호도를 위해 별도의 네트워크를 훈련하는 방식)은 이러한 문제 중 일부를 피할 수 있지만, 확장성 저하, 높은 메모리 비용 및 낮은 샘플 효율성 문제를 겪습니다.

방법론: D3PO

저자들은 PPO(Proximal Policy Optimization)를 기반으로 구축된 D3PO(Decomposed, Diversity-Driven Policy Optimization) 프레임워크를 제안합니다. 이 프레임워크는 목적별 학습 신호를 보존하고 행동 다양성을 강제하기 위해 다중 목적 최적화 파이프라인을 재구성합니다.

1. 후기 단계 가중치 적용(LSW)을 통한 분해된 최적화

표준적인 방식들이 PPO 클리핑 연산 이전에 선호도 가중치를 어드밴티지에 적용하는 것과 달리, D3PO는 이 통합 과정을 지연시킵니다.

멀티 헤드 크리틱 (Multi-Head Critic): 크리틱은 각 목적 $i$ 에 대해 독립적이고 가중치가 부여되지 않은 가치 함수 $V^{(i)}(s, \omega)$ 를 추정합니다.
목적별 대리 손실 (Per-Objective Surrogate Losses): PPO 클리핑 대리 손실은 각 목적의 어드밴티지 신호 $A^{(i)}_t$ 에 대해 독립적으로 계산됩니다.
후기 단계 가중치 적용 (Late-Stage Weighting): 선호도 가중치 $\omega_i$ 는 안정화된 각 목적별 손실을 결합하기 위해 클리핑 연산 이후에만 적용됩니다.
메커니즘: 클리핑 연산자가 통합 전 개별 목적 신호에 작용하도록 함으로써, D3PO는 그래디언트의 파괴적 상쇄를 방지합니다. 만약 한 목적이 큰 양의 업데이트를 제안하고 다른 목적이 큰 음의 업데이트를 제안한다면, 클리핑 연산자가 이들을 독립적으로 제한합니다. 최종 그래디언트는 이러한 제한된 업데이트들의 가중 합이며, 이는 ES가 버려버릴 신호 정보를 보존합니다.

2. 스케일링된 다양성 정규화 (Scaled Diversity Regularization)

표현 모드 붕족을 방지하기 위해, D3PO는 액터 목적 함수에 정규화 항을 도입합니다.

메커니즘: 샘플링된 선호도 $\omega$ 에 대해, 인접한 선호도 $\omega'$ 가 생성됩니다. 정규화 항은 행동 분포 간의 쿨백-라이블러(KL) 발산과 선호도 간 거리 사이의 제곱 차이에 대해 페널티를 부여합니다:
$L_{diversity}(\theta) = \mathbb{E}_t \left[ \left( D_{KL}(\pi_\theta(\cdot|s, \omega) \parallel \pi_\theta(\cdot|s, \omega')) - \alpha \|\omega - \omega'\|_1 \right)^2 \right]$
목표: 이는 정책이 선호도 벡터 간의 거리에 비례하여 뚜렷한 행동을 생성하도록 유도하며, 단일 네트워크가 전체 파레토 프런트를 가로질러 넓게 확장되도록 강제합니다.

3. 이론적 정당성

본 논문은 $LSW \succ MVS \succeq ES$ 라는 계층 구조 정리(hierarchy lemma)를 제공하여, 목적들이 충돌하고 신뢰 영역(trust region)이 활성화되어 있을 때 후기 단계 가중치 적용(LSW)이 조기 스칼라화(ES)나 중간 단계 벡터 스칼라화(MVS)보다 더 많은 정보가 담긴 그래디언트 신호를 보존함을 증명합니다. 저자들은 기존 방법들의 실패가 표현력의 부족이나 선형 스칼라화의 한계 때문이 아니라, 신호의 조기 통합 때문이라고 주장합니다.

주요 기여

배포 효율적인 SOTA: D3PO는 단일 연속 네트워크를 사용하여 연속 제어 벤치마크(최대 9개 목적)에서 최첨단 성능(SOTA)을 달성합니다. 이는 파라미터 수를 최대 99% 적게 사용하면서도 파라미터화된 다중 정책 앙상블(예: 200개 네트워크 앙상블)보다 우수한 성능을 보입니다.
분해된 최적화 (LSW): 논문은 클리핑 이후에 스칼라화를 지연시키는 것이 (클리핑 전의) 목적별 어드밴티지 신호를 보존하여, 그래디언트 상쇄를 완화하고 크레딧 할당(credit assignment)을 개선한다는 것을 분석적, 경험적으로 입증합니다.
스케일링된 다양성 정규화: 선호도 의존적 행동 분리를 명시적으로 강제하여 모드 붕괴를 줄이고 파레토 프런트의 밀도 높은 커버리지를 보장하는 새로운 정규화 기법을 도입했습니다.

실험 결과

D3PO는 MO-MuJoCo 환경(Hopper, Ant, Humanoid) 및 고차원 작업(Building-9d)을 포함한 표준 MORL 벤치마크에서 CAPQL, C-MORL, PG-MORL과 같은 베이스라인들과 비교 평가되었습니다.

파레토 프런트 커버리지: D3PO는 일관되게 더 넓고 고품질의 파레토 프런트를 발견합니다. 하이퍼볼륨 (HV) 및 기대 효용 (EU) 측면에서 D3PO는 모든 베이스라인을 능가합니다. 예를 들어, Humanoid-2d에서 D3PO는 CAPQL의 $1.69 \times 10^5$ 대비 $4.03 \times 10^5$ 의 HV를 달성했습니다.
다양성 및 희소성 (Diversity and Sparsity): 일부 베이스라인이 단일 지점 솔루션으로 붕괴하는 반면(Sparsity = 0), D3PO는 낮지만 0이 아닌 희소성을 유지하여 다양한 솔루션 집합을 보여줍니다. Humanoid-2d에서 D3PO는 $0.003 \times 10^4$ 의 희소성을 기록한 반면, 여러 베이스라인은 완전히 붕괴되었습니다.
절제 연구 (Ablation Studies): LSW 또는 다양성 정규화 기법을 제거하면 성능이 크게 저하되고 빈번한 단일 지점 프런트로의 붕괴가 발생하여, 두 구성 요소가 모두 필수적임을 확인했습니다.
효율성: D3PO는 선형 스칼라화 범위 내에서 작동하여, 일부 "복구(repair)" 방법에서 요구되는 비선형 효용 함수나 이차 계획법(quadratic programming)의 계산 오버헤드를 피합니다.

의의 및 주장

본 논문은 선호도 조건부 MORL의 주요 병목 현상이 선형 스칼라화가 파레토 프런트를 커버하지 못하는 능력이 아니라, 조기 신호 통합으로 인한 최적화 병리 현상에 있다고 주장합니다.

표현력보다 최적화: 저자들은 기존 연산을 단순히 재정렬하는 것(클리핑 이후에 가중치 적용)만으로도 새로운 파라미터, 비선형 스칼라화, 또는 앙상블 오버헤드 없이 SOTA 결과를 얻을 수 있다고 주장합니다.
실용성: 단일 정책에 의依赖함으로써 D3PO는 다중 정책 접근 방식에 비해 메모리 점유율과 배포 복잡성을 획기적으로 줄여, 동적인 트레이드오프 조절이 필요한 실세계 응용 분야에 적합하게 만듭니다.
한계점: 저자들은 모든 선형 스칼라화 방법과 마찬가지로, D3PO가 이론적으로 **볼록 커버리지 집합 (Convex Coverage Set, CCS)**에 국한되며, 엄격하게 오목한(concave) 파레토 프런트 영역(예: Deep Sea Treasure)은 복구할 수 없음을 인정합니다. 또한 LSW 메커니즘이 PPO의 특정 신뢰 영역 클리핑에 의존하며, SAC나 TD3와 같은 오프-폴리시(off-policy) 알고리즘에는 쉽게 전이되지 않는다는 점을 언급합니다.

결론적으로, D3PO는 MORL 성능에서 최적화 병목 현상이 이전에 인식되었던 것보다 훨씬 중요한 역할을 한다는 점을 시사하며, 분해된 파이프라인을 통해 목적별 학습 신호를 보존하는 것이 견고하고 확장 가능한 다중 목적 에이전트를 만드는 데 핵심적인 단계임을 보여줍니다.