기술 요약: 차이를 분할하고 나머지를 통합하라

문제 정의

본 연구는 **다목적 마르코프 결정 과정 (MOMDPs)**의 프레임워크 내에서 **다목적 모방 학습 (MOIL)**을 다룹니다. 핵심 과제는 공유된 벡터 값 보상 (vector-valued reward) 상에서 각기 다른 효용 함수를 최적화하는 여러 전문가의 시연 데이터를 바탕으로 **파레토 프론트 (Pareto front)**에 위치한 정책을 복원하는 것입니다.

저자들은 기존 접근법에서 두 가지 치명적인 실패 모드를 식별합니다:

1. 실패 I (샘플 비효율성): 각 전문가 데이터셋을 독립적으로 처리하는 것 (예: 각 전문가별로 별도의 행동 복제 (Behavioral Cloning) 모델 학습) 은 전문가 간의 구조적 중복을 무시합니다. 파레토 최적 정책들은 종종 상당한 상태 - 행동 일치를 공유하므로, 독립적인 학습은 각 데이터셋의 크기가 상태 공간의 크기 ($N_\ell = \Omega(|X|)$) 에 비례하여 증가해야 하므로 심각한 샘플 비효율성을 초래합니다.
2. 실패 II (파레토 위반): 모든 전문가 궤적을 단일 데이터셋으로 무작정 통합하여 단일 출력 행동 복제 (Single-Output Behavioral Cloning) 모델을 학습시키는 것은 **우세하지 못한 정책 (dominated policies)**을 초래할 수 있습니다. 이론적 분석 (정리 2.2) 에 따르면, 두 명의 파레토 최적 전문가의 평균 정책이 반드시 파레토 최적인 것은 아닙니다. 비선형 환경에서 이러한 집합은 학습된 정책이 반환 다면체 (return polytope) 의 내부로 "처져 들어가는" 결과를 초래하여, 무한한 데이터가 있더라도 일관된 효용 함수를 최적화하지 못하게 합니다.

방법론: 다중 출력 증강 행동 복제 (MA-BC)

이러한 실패를 해결하기 위해 저자들은 **다중 출력 증강 행동 복제 (MA-BC)**를 제안합니다. 이 알고리즘은 MOMDPs 의 새로운 구조적 속성인 파레토 경로 존재성 (Pareto Path Existence) (정리 2.1) 에 기반합니다. 이 정리는 $k$개의 상태에서만 차이가 나는 두 개의 인접한 파레토 프론트 정책이, 각 단계가 정확히 하나의 상태 - 행동 쌍으로만 차이가 나는 $k$개의 중간 파레토 최적 정책들의 시퀀스로 연결될 수 있음을 입증합니다.

알고리즘 단계:

1. 분할: 알고리즘은 전문가들이 상충되는 행동을 보이는 **발산 상태 (divergent states, $D_{div}$)**를 식별합니다. 반면, 모든 전문가가 행동에 동의하는 공통 상태 (common states, $D_{common}$) 집합을 정의합니다.
2. 데이터 큐레이션: 각 목표 전문가 $\ell$에 대해 알고리즘은 정제된 데이터셋 $D_\ell \cup D_{common}$을 구성합니다. 이를 통해 학습자는 다음과 같이 할 수 있습니다:
   • 발산 상태에는 해당 전문가의 데이터 ($D_\ell$) 를 사용합니다.
   • 공통 상태에는 모든 전문가의 데이터를 통합하여, 충돌이 존재하지 않는 곳에서 샘플을 효과적으로 재사용합니다.
3. 학습: $L$개의 별도 정책이 이러한 정제된 데이터셋을 통해 행동 복제로 학습됩니다.

연속 공간으로의 확장:
연속 상태 - 행동 공간의 경우, MA-BC 는 다른 전문가들의 호환 가능한 상태 - 행동 쌍으로 각 전문가의 데이터셋을 증강시킴으로써 확장됩니다. 호환성은 공간적 허용 오차 $\delta$와 전문가 정책의 리프시츠 상수 (Lipschitz constant) 로 정의되며, 이는 $\delta$에 의해 제어되는 편차 - 분산 트레이드오프를 생성합니다.

주요 기여

1. 구조적 특성화 (파레토 경로): 본 논문은 MOMDPs 의 새로운 기하학적 특성화 (정리 2.1) 를 제시하여, 여러 정책이 동일한 반환 벡터에 매핑되더라도 (별칭 현상), 파레토 최적 정책들이 구조적으로 유사하며 단일 상태 변경을 통해 연결됨을 증명합니다.
2. 알고리즘적 해결책 (MA-BC): 저자들은 발산 데이터를 체계적으로 분할하면서 비충돌 데이터를 통합하는 MA-BC 를 도입합니다.
3. 이론적 보장:
   • 수렴: 정리 3.1 은 MA-BC 가 $\epsilon$-파레토 최적 정책으로 수렴함을 증명합니다. 결정적으로, 통합 데이터셋의 샘플 복잡도는 전체 상태 수 $|X|$에 비례하여 증가하는 반면, 개별 전문가 데이터셋의 크기는 발산 상태 수 $K$ (여기서 $K \ll |X|$) 에만 비례하여 증가하면 됩니다. 이는 독립 학습자의 $\Omega(|X|)$ 요구 사항을 개선한 것입니다.
   • 최소최대 최적성: 오프라인 MOIL 에 대한 새로운 하한 (정리 3.2) 이 확립되어 MA-BC 가 최소최대 최적임을 보여줍니다. 이 하한은 성능 향상이 전문가 간의 상태 점유 중첩을 측정하는 **집중성 계수 (concentrability coefficient, $C_{\pi_{data}}$)**에 의존함을 강조합니다.
4. 분할되지 않은 데이터 처리: 전문가 신원이 잠재적 (분할되지 않은 데이터) 인 시나리오로 프레임워크가 확장되어, 일관성 그래프 (Consistency Graph) 를 활용하여 발산 상태 - 행동 쌍을 클러스터링합니다 (부록 D).

실험 결과

저자들은 네 가지 도메인에서 MA-BC 를 검증합니다:

• 이산 벤치마크: Deep Sea Treasure, Resource Gathering, Slippery Y-Maze.
  • 결과: 단순한 행동 복제 (Naive BC) 는 파레토 프론트로 수렴하는 데 일관되게 실패합니다 (실패 II 검증). 격리된 행동 복제 (Isolated BC) 는 수렴하지만 샘플 효율성이 낮습니다 (실패 I 검증). MA-BC 는 공유된 구조적 지식을 활용하여 파레토 프론트로 훨씬 빠르게 수렴합니다.
• 집중성 분석: 실험은 전문가 궤적 간의 중첩이 증가함에 따라 (집중성 계수 감소) MA-BC 와 격리된 학습자 간의 성능 격차가 이론적 예측과 일치하도록 벌어짐을 보여줍니다.
• 연속 제어: 6 자유도 (6-DOF) 쿼드콥터 LQR 작업.
  • 결과: 이 연구는 "편차 - 데이터 트레이드오프"를 보여줍니다. 저데이터 영역에서는 더 큰 통합 임계값 $\delta$가 데이터를 적극적으로 공유함으로써 성능을 향상시킵니다. 고데이터 영역에서는 편차를 최소화하기 위해 더 작은 $\delta$가 최적입니다. 이 알고리즘은 베이스라인에 비해 우수한 샘플 효율성으로 경제 전문가 정책을 성공적으로 복원합니다.

중요성과 주장

본 논문은 MOMDPs 에서의 오프라인 모방 학습을 위한 증명 가능한 효율성을 가진 프레임워크를 최초로 제공한다고 주장합니다. 그 주요 중요성은 파레토 최적성의 이론적 필요성과 데이터 효율성의 실제적 제약 사이의 간극을 해소하는 데 있습니다.

저자들은 표준 집계 전략이 파레토 프론트의 기하학적 구조를 파괴하므로 다목적 설정에서 근본적으로 결함이 있다고 주장합니다. 파레토 경로 속성을 활용함으로써 MA-BC 는 "양쪽 세계의 최선"을 달성합니다: 지배적인 정책을 피하는 단일 전문가 모방의 이론적 보장을 유지하면서, 공유된 상태 - 행동 중첩을 활용하는 통합 학습의 샘플 효율성을 달성합니다. 이 연구는 데이터가 맹목적으로 집계되거나 완전히 독립적으로 처리되는 것이 아니라 행동적 충돌에 기반하여 분할될 경우, 여러 전문가의 데이터를 효율적으로 파레토 최적 정책을 학습하는 데 사용할 수 있음을 확립합니다.