기술 요약: 목적-행동 정렬: MORL을 위한 진단 (Objective-Behavior Alignment: Diagnostics for MORL)

문제 정의

실제 의사결정 과정에서는 종종 여러 개의 상충하는 목적 함수를 동시에 최적화해야 합니다. 다목적 강화학습(Multi-Objective Reinforcement Learning, MORL)에서 표준적인 접근 방식은 파레토 최적 정책 집합(Pareto Set, PS)과 그에 대응하는 가치 벡터(Pareto Front, PF)를 생성하는 것입니다. 이는 목적 값들 사이의 트레이드오프를 보여주기는 하지만, 현재의 진단 방법들은 전적으로 이 목적 값들에만 의존하고 있습니다.

식별된 핵심 문제는 **목적-행동 불일치(Objective-Behavior Misalignment)**입니다. 즉, 목적 공간에서 서로 인접한 정책들(즉, 기대 수익이 유사한 정책들)이 실제로는 판이하게 다른 행동 궤적을 보일 수 있다는 점입니다. 보상을 단일 신호로 결합하는 스칼라화(Scalarization) 방법은 취약한 것으로 알려져 있습니다. 미세한 가중치 변화가 급격한 행동 변화를 유발할 수 있기 때문입니다. 그러나 생성된 파레토 프런트 내에서도, 인접한 정책들이 동일하거나 거의 유사한 리턴 벡터를 산출하면서도 서로 다른 궤적(예: 엄격하게 왼쪽으로 이동 vs 엄격하게 오른쪽으로 이동)을 따를 수 있습니다. PF에만 의존하여 정책을 선택하는 것은 행동적 변이를 간과할 위험이 있으며, 이는 수치적 벤치마크는 만족할지라도 실제 현장에서는 바람직하지 않거나 안전하지 않은 실행 패턴을 보이는 정책을 배포하는 결과로 이어질 수 있습니다.

방법론

저자들은 목적 값만으로는 드러나지 않는 파레토 프런트 상의 행동적 변이를 표면화하기 위해 설계된 모듈식의 탐색적 진단 워크플로우를 제안합니다. 이 워크플로우는 세 가지 주요 단계로 구성됩니다.

1. MORL 훈련 및 궤적 추출

다양한 정책을 나타내는 집합을 얻기 위해 MORL 에이전트를 훈련합니다. 이 프레임워크는 사용되는 특정 MORL 알고리즘에 구애받지 않습니다. 실험에서 저자들은 서로 다른 가중치 벡터로 훈련된 정책 팝업을 유지하는 진화적 접근 방식인 MORL/D(MORL based on decomposition)를 활용합니다. 각 정책에 대해, 벡터 형태의 리턴과 함께 일련의 궤적(rollouts)을 추출합니다.

2. 행동 인코딩을 통한 집계

추출된 궤적은 압축되고 의미 있는 행동 표현을 생성하도록 처리됩니다.

• 인코더 (Encoder): 워크플로우는 복합 대조 학습 손실 함수(composite contrastive loss function)를 통해 훈련된 학습된 궤적 인코더(Mone et al., 2026 기반)를 사용합니다. 여기에는 전체 궤적($L_{CLS}$), 궤적 세그먼트($L_{SEG}$), 세그먼트 쌍($L_{PAIR}$)에 대한 구성 요소와 Deep InfoMax($L_{DIM}$) 정규화 항이 포함됩니다.
• 임베딩 (Embedding): 인코더는 상태-행동 시퀀스를 잠재 공간(latent space)으로 매핑합니다. 잘 구조화된 기하학적 구조를 보장하기 위해, 퇴화된 임베딩을 방지하는 분산-공분산 정규화가 적용됩니다.
• 집계 (Aggregation): 단일 정책에 대한 다수의 궤적 임베딩은 평균을 통해 집계되어 단일 행동 벡터 $z(\pi)$를 생성하며, 이는 행동 매니폴드(behavior manifold) $Z$를 정의합니다.

3. 목적-행동 정렬 분석

워크플로우는 비선형 투영 분석에서 차용한 세 가지 진단 도구를 사용하여 목적 공간(PF)의 기하학적 구조와 행동 공간($Z$)을 비교합니다.

• 신뢰성(Trustworthiness) 및 연속성(Continuity): 이 지표들은 이웃 보존(neighborhood preservation)을 정량화합니다.
  • 신뢰성 (Trustworthiness, $T$): PF에서의 이웃이 $Z$에서도 이웃으로 유지되는지를 측정합니다.
  • 연속성 (Continuity, $C$): $Z$에서의 이웃이 PF에서도 이웃으로 유지되는지를 측정합니다.
  • 낮은 값은 목적지의 근접성이 행동적 유사성을 예측하지 못하는 구조적 불일치를 나타냅니다.
• 립시츠 산점도 (Lipschitz Scatter Plots): 최적화 경관(optimization landscape) 분석에서 영감을 얻은 이 플롯은 프런트를 따라 순서대로 배치된 연속적인 정책들에 대해 목적 공간의 거리($x$축)와 행동 공간의 거리($y$축) 사이의 관계를 시각화합니다.
  • 임계 영역 (Critical Region, 좌상단): 목적 공간에서는 가깝지만 행동 공간에서는 먼 정책들을 나타냅니다. 이들은 수동 검사가 필요한 쌍을 식별해 줍니다.
  • 구멍 (Holes, 우하단): 행동적 차이에 비해 목적적 차이가 큰 지점들을 나타냅니다.
• 정성적 "눈으로 확인하는" 테스트 (Qualitative "Eyeball" Test): 워크플로우는 정책 롤아웃을 렌더링하여 인간 관찰자가 정량적 불일치가 인지 가능한 행동 차이와 일치하는지 직접 확인할 수 있도록 합니다.

주요 기여

1. 구조적 격차의 식별: 논문은 목적-행동 불일치(정의 1)를 파레토 프런트와 행동 공간 사이의 매핑이 이웃을 보존하지 못하는 기하학적 특성으로 공식 정의합니다. 이는 현재 연구에서 흔히 간과되는 MORL 정책 집합의 구조적 특성임을 강조합니다.
2. 모듈식 진단 워크플로우: 행동 공간 표현을 구축하고 그 국소적 구조를 파레토 프런트와 비교하기 위한 확장 가능한 프레임워크를 도입합니다. 이 설계는 대체 인코더, 집계 방식 및 지표를 수용할 수 있습니다.
3. 정량적 및 시각적 진단: 목적 공간의 근접성이 행동적 다양성을 설명하기에 부적절한 정책 쌍을 식별하기 위해 특정 지표(신뢰성, 연속성)와 시각적 도구(립시츠 산점도)를 제안합니다.

결과

본 접근 방식은 단순 그리드 환경과 연속 제어 벤치마크 모두에서 검증되었습니다.

• Deep Sea Treasure (DST):

  • Left–Right DST: 이 변형 모델에서, PF 상의 인접한 정책들은 뚜렷하게 왼쪽 또는 오른쪽으로 향하는 궤적을 보였습니다. 워크플로우는 이 불일치를 성공적으로 감지하여 낮은 신뢰성(0.51)과 연속성(0.47)을 나타냈습니다. 립시츠 산점도는 목적 공간에서는 가깝지만 행동 공간에서는 먼 정책들이 존재하는 "임계 영역"을 명확히 식별했습니다.
  • Smooth DST: 이 변형 모델에서는 목적 공간과 행동 공간이 정렬되었습니다. 지표는 1.0에 근접했으며, 산점도는 일관된 거리를 보여주어 정렬된 시나리오를 구분하는 방법의 능력을 확인했습니다.
  • 인코더 검증: 학습된 트랜스포머 임베딩은 수동으로 설계된 임베딩과 일치하는 행동 클러스터링을 생성하여, 외부 주석 없이도 관련 행동 패턴을 포착하는 인코더의 능력을 입증했습니다.

• MuJoCo 환경 (MO-HalfCheetah 및 MO-Hopper):

  • 전역 지표는 평균적으로 강한 정렬(신뢰성/연속성 > 0.94)을 나타내어, 이러한 특정 작업들에 대해서는 PF가 행동을 잘 예측함을 시사했습니다.
  • 그러나 산점도는 국소적인 불일치를 드러냈습니다. MO-Hopper의 경우, 임계 영역에 위치한 특정 정책 쌍(예: 50 vs 51)은 유사한 목적 리턴에도 불구하고 눈에 띄는 행동 차이(예: 돌진하는 자세 vs 직립 자세)를 보였습니다. MO-HalfCheetah의 경우, 차이는 더 미미했으며 행동 공간의 거리와 상관관계가 있었습니다.
  • 결과는 본 방법론이 문제의 복잡성이 증가하더라도 효과적으로 작동하며, 고차원 연속 도메인에서도 검사를 위한 특정 정책 쌍을 찾아낼 수 있음을 보여줍니다.

의의 및 주장

본 논문은 이 작업을 보상 명세(reward specification) 문제에 대한 해결책이라기보다 진단 도구로 규정합니다. 저자들은 본 워크플로우가 지정된 보상 목적이 배포에 적절한지, 혹은 관찰된 행동 차이가 해로운지를 결정하는 것이 아님을 명시합니다. 그러한 판단에는 이해관계자의 선호도에 대한 외부 정보가 필요합니다.

대신, 본 연구의 의의는 다음과 같습니다.

• 자동화된 플래깅 (Automated Flagging): 의사결정자에게 제시되는 수치적 요약(hypervolume 등)을 보완하여, 수동 검사가 필요한 정책 쌍을 식별하는 확장 가능한 수단을 제공합니다.
• 투명성 (Transparency): 목적 지표가 행동적 위험을 가리는 "사각지대"를 드러냄으로써, 정책 선택을 위한 더 투명한 기초를 제공합니다.
• 알고리즘 벤치마킹 (Algorithm Benchmarking): 표준적인 수렴성 및 다양성 척도(hypervolume 등)를 넘어, 생성된 프런트의 행동적 안정성과 예측 가능성을 기준으로 MORL 알고리즘을 평가하는 새로운 차원을 도입합니다.
• 단일 목적 RL에 대한 통찰 (Single-Objective RL Insights): 산점도 방법론은 보상 구조의 미세한 변화가 불균형한 행동 변화를 일으키는, 불안정한 보상 함수를 가진 단일 목적 RL 상황을 식별하는 데에도 사용될 수 있습니다.

저자들은 이 워크플로우가 목적-행동 관계를 이해하는 데 중요한 진전이지만, 모듈식이며 고차원 목적 공간을 위해 개선이 필요할 수 있는 특정 휴리스틱(예: 정책 순서 지정)에 의존하고 있다고 결론짓습니다.