기술 요약: 이질적 데이터셋을 활용한 교차 도메인 오프라인 강화학습에서 가치 정렬과 할당의 통합

1. 문제 정의

교차 도메인 오프라인 강화학습 (RL) 은 제한된 타겟 데이터셋과 역동적 변화 (즉, 서로 다른 전이 역학 $P_{src}$ 대 $P_{tar}$) 를 보이는 풍부한 소스 데이터셋을 사용하여 타겟 도메인에서 정책을 학습하는 것을 목표로 합니다. 최근 방법들은 역학 정렬(예: IGDF, OTDF) 또는 가치 정렬(예: DVDF) 을 기반으로 한 데이터 필터링을 통해 분포 외 (OOD) 역학 문제를 해결하려 시도해 왔으나, 이러한 접근법들은 일반적으로 소스 데이터셋이 단일 환경에서 단일 행동 정책에 의해 수집되었다고 가정합니다.

본 논문은 더 일반적이고 현실적인 설정인 이질적 교차 도메인 오프라인 RL을 다룹니다. 이 설정에서 소스 데이터셋은 서로 다른 전이 역학을 가진 여러 소스 도메인에서 수집되었으며, 다양한 행동 정책에 의해 집계됩니다. 저자들은 이 설정에서 **가치 오할당 (Value Misassignment)**이라는 이전에 간과된 중요한 문제를 식별합니다.

가치 오할당은 단일 가치 함수 (또는 이점 함수) 가 근본적인 역학 모드 (modalities) 를 구분하지 않은 채 전체 이질적 소스 데이터셋으로 학습될 때 발생합니다. 이로 인해 다음과 같은 문제가 발생합니다:

1. 부정확한 이점 추정: 샘플에 할당된 이점 값이 특정 역학 하위 도메인에 대한 실제 최적성을 반영하지 못합니다.
2. 비최적 데이터 필터링: 이러한 오할당된 가치에 의존하는 데이터 필터링 메커니즘이 오도되어 비최적 샘플 (예: 특정 역학의 중간 품질 데이터) 을 선택하고 최적 샘플은 폐기합니다.
3. 완화된 비최적성 간격: 이론적 분석에 따르면 가치 오할당은 타겟 도메인에서 비최적성 간격의 엄격한 상한을 방지하여 에이전트 성능을 저하시킵니다.

2. 방법론: V2A

가치 오할당을 해결하기 위해 저자들은 역학 정렬, 가치 정렬, 가치 할당을 통합하는 V2A(Value Alignment and Assignment) 프레임워크를 제안합니다. 이 방법은 세 가지 주요 단계로 진행됩니다:

2.1. 시간적 일관성 모드 표현 학습

첫 번째 단계는 소스 데이터셋 내의 서로 다른 역학 모드를 분리하는 것입니다.

• 접근법: 저자들은 각 궤적에 대한 잠재 표현 $z$를 학습하기 위해 기대값 최대화 (EM) 프레임워크를 사용합니다.
• 혁신: 전이를 개별적으로 인코딩하여 시간적 불일치를 초래하는 표준 변분 오토인코더와 달리, V2A 는 시간적 일관성 ELBO를 사용합니다. 이는 순환 신경망 (RNN/LSTM) 을 사용하여 전체 궤적 $\tau$를 단일 잠재 변수 $z$로 인코딩하는 반면, 전이는 단계 수준에서 디코딩합니다.
• 목표: 이를 통해 궤적 내의 모든 전이가 동일한 역학 표현 $z$를 공유하도록 하여, 궤적을 근본적인 역학별로 효과적으로 클러스터링합니다.

2.2. 모드 인식 이점 학습

역학 모드 ($z$) 가 추론되면 소스 데이터셋은 $D'_{src} = \{(s, a, r, s', z)\}$로 재레이블됩니다.

• 접근법: 저자들은 표준 이점 함수 $A(s, a)$ 대신 모드 조건부 이점 함수 $A(s, a, z)$를 학습하는 모드 인식 이점 학습을 제안합니다.
• 메커니즘: 잠재 표현 $z$는 사전 학습 단계 (Sparse-QL 방식을 사용) 에서 $Q$-함수와 $V$-함수에 입력으로 제공됩니다.
• 결과: 이를 통해 이점 함수가 서로 다른 역학 모드를 구분할 수 있게 되어, 특정 역학 컨텍스트에 기반하여 상태 - 행동 쌍에 올바른 이점 값을 할당함으로써 가치 오할당을 교정합니다.

2.3. 통합 데이터 필터링 및 정책 학습

마지막 단계는 이러한 구성 요소를 타겟 정책 학습을 위한 데이터 필터링 패러다임으로 통합합니다.

• 스코어 함수: 소스 데이터를 필터링하기 위한 새로운 스코어 함수 $f(s, a, s', z)$가 정의됩니다:
  $$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$$
  여기서 $h(\cdot)$는 역학 정렬을 측정하며 (대조 학습 또는 최적 수송을 통해), $A(s, a, z)$는 모드 인식 가치 정렬을 측정합니다.
• 필터링: 소스 샘플은 이 스코어의 상위-$\xi$ 분위수를 기준으로 선택됩니다.
• 정책 최적화: 타겟 정책은 제한된 타겟 데이터와 결합된 필터링된 소스 데이터에서 암시적 Q-학습 (IQL) 을 사용하여 학습됩니다.

3. 주요 기여

1. 문제 공식화: 본 논문은 소스 데이터가 여러 도메인과 행동 정책에서 비롯되는 이질적 교차 도메인 오프라인 RL 설정을 공식화하고, 기존 방법들의 근본적인 한계인 가치 오할당을 식별합니다.
2. 이론적 통찰: 저자들은 가치 오할당이 비최적성 간격의 상한을 완화한다는 것을 보여주는 비최적성 간격에 대한 이론적 상한을 제공합니다. 그들은 역학 모드를 분리하는 것이 더 엄격한 상한을 달성하는 데 필수적임을 증명합니다.
3. 알고리즘 (V2A): 그들은 다음을 통합하는 V2A 를 제안합니다:
   • (EM 을 통한) 시간적 일관성 모드 표현 학습.
   • 모드 인식 이점 학습.
   • 통합 데이터 필터링 패러다임.
4. 실증적 검증: 이질적 소스 데이터셋을 사용한 MuJoCo 작업 (HalfCheetah, Hopper, Walker2d, Ant) 에 대한 광범위한 실험에서 V2A 가 강력한 베이스라인 (IGDF, OTDF, DVDF, BOSA, DARA) 보다 크게 우월한 성능을 보임을 입증했습니다.

4. 실험 결과

• 성능: V2A 는 베이스라인 대비 상당한 성능 향상을 달성했습니다. 예를 들어, IGDF 를 기반으로 구축된 V2A 는 베이스라인 IGDF 대비 총 정규화 점수를 21.4% 향상시켰으며, IGDF 대비 6.8% 만 향상시킨 DVDF 대비에도 21.4% 향상되었습니다. OTDF 에 대해서도 유사한 이득이 관찰되었습니다.
• 절대 실험 (Ablation Studies):
  • 시간적 일관성 ELBO: 궤적 수준의 일관성을 제거하고 (대신 샘플 수준 ELBO 사용) 성능이 저하되어 정확한 모드 추출을 위한 시간적 일관성의 필요성을 확인했습니다.
  • 모드 인식: 학습된 이점 분포의 시각화는 V2A 가 DVDF 의 더 평평하고 덜 구별력 있는 분포에 비해 더 날카롭고 명확한 이점 분포를 생성함을 보여주며, 이는 샘플 최적성에 대한 더 나은 추정을 나타냅니다.
  • 매개변수 민감도: 이 방법은 균형 계수 $\lambda$(최적값은 약 0.6) 와 데이터 선택 비율 $\xi$(최적값은 약 0.5) 에 대해 강건합니다.

5. 중요성 및 주장

본 논문은 V2A가 이질적 교차 도메인 오프라인 RL 에 내재된 가치 오할당 문제를 효과적으로 해결하는 최초의 프레임워크라고 주장합니다. 역학 정렬, 가치 정렬, 가치 할당을 통합함으로써 V2A 는 소스 데이터가 다양한 역학과 행동의 복잡한 혼합물일 때에도 효율적인 정책 전이를 가능하게 합니다.

저자들은 이전 연구들이 역학 또는 가치 정렬에 집중하거나 (또는 동질적인 소스 데이터를 가정하거나) 고립적으로 다루었던 반면, 그들의 연구는 소스 역학의 다중 모드 특성을 무시하면 잘못된 가치 추정이 발생하여 결과적으로 데이터 필터링을 훼손한다는 점을 강조합니다. 제안된 방법은 로봇 공학 및 임베디드 AI 의 이론적 설정과 현실적인 이질적 데이터 시나리오 사이의 간극을 크게 좁히는 간단하면서도 효과적인 해결책을 제공합니다.

인정된 한계:

• 시간적 일관성 모드 표현 학습은 추가적인 학습 시간이 필요하지만 (이는 사전 계산 가능함).
• 이론적 분석은 온화한 가정 (예: 최적 정책 주변의 볼록성에 대한 2 차 충분 조건) 에 의존합니다.