기술 요약: 강건한 스타일 정렬을 통한 고품질 행동의 오프라인 강화 학습

문제 정의

본 논문은 추가적인 환경 상호작용 없이 고정된 오프라인 데이터셋으로부터 **스타일 조건부 정책(style-conditioned policies)**을 학습하는 과제를 다룹니다. 오프라인 강화 학습(RL)은 기록된 데이터로부터 고성능 행동을 학습하는 데 진전이 있었고, 모방 학습(IL)은 다양한 행동을 탐구해 왔으나, 오프라인 설정에서 **높은 작업 성능(task performance)**과 **강건한 스타일 정렬(robust style alignment)**을 결합하는 것은 여전히 어려운 과제로 남아 있습니다. 저자들은 세 가지 주요 과제를 식별했습니다:

1. 스타일 정의: 기존의 스타일 정의는 비지도 잠재 클러스터(해석 및 제어가 어려움)부터 지도 학습 기반의 전체 궤적 레이블(높은 레이블링 비용, 다중 타임스cale 스타일에 대한 낮은 크레딧 할당)까지 다양합니다.
2. 상태-스타일 분포 변화(State-Style Distribution Shift): 오프라인 방법론은 분포 변화 문제에 취약합니다. 스타일 조건화가 추가되면, 에이전트가 추론 시점에 데이터셋에서 결합되어 관찰되지 않았던 상태-스타일 구성(예: 특정 움직임 스타일이 해당 상태를 방문하지 않은 경우)을 마주할 수 있어 분포 변화 문제가 더욱 악화됩니다.
3. 작업-스타일 불일치(Task-Style Misalignment): 작업 성능(보상)을 최적화하는 과정은 종종 특정 행동 스타일을 유지하는 것과 충돌합니다. 기존 방법들은 대개 타협점을 찾거나 최적 정책을 변화시켜, 스타일 정렬을 희생하면서 성능을 높이는 경향이 있습니다.

방법론: SCIQL

저자들은 스타일 조건부 정책 학습과 오프라인 RL 기법을 통합하는 프레임워크인 **SCIQL(Style-Conditioned Implicit Q-Learning)**을 제안합니다.

1. 서브트래젝토리 레이블링을 통한 통합된 스타일 정의

전체 궤적을 레이블링하거나 비지도 인코딩을 사용하는 대신, 본 논문은 **서브트래젝토리(subtrajectories, 상태와 행동의 윈도우 구간)**에 **레이블링 함수($\lambda$)**를 적용하는 데이터 프로그래밍(data-programming) 접근 방식을 채택합니다.

• 메커니즘: 레이블링 함수는 궤적의 윈도우 $\tau_{t-w:t+w}$를 이산적인 스타일 레이블 $z$로 매핑합니다.
• 이점: 이를 통해 단일 궤적 내에서도 스타일이 변할 수 있게 하여, 에피소드 수준 레이블과 관련된 크레딧 할당 문제를 완화합니다. 또한, 수동 레이블링 없이도 해석 가능하고 저비용인 스타일 주석(예: "빠른", "웅크린")을 제공합니다.
• 대리 목적 함수(Surrogate Objective): 실제 스타일 정렬 목적 함수는 비마르코프적(non-Markovian)입니다. 저자들은 이를 근사하기 위해, 특정 상태-행동 쌍이 데이터셋 분포에 기반하여 스타일 $z$에 기여할 확률을 나타내는 대리 마르코프 보상 $r_D^\lambda(s, a, z) = p_{\pi_D}^\lambda(z | s, a)$를 학습합니다.

2. SCIQL 알고리즘

SCIQL은 스타일 조건부 목적을 처리하도록 설계된 **Implicit Q-Learning (IQL)**의 변형입니다.

• 가치 학습(Value Learning): Expectile 회귀를 사용하여 스타일 조건부 가치 함수 $V^\lambda(s, z)$와 $Q^\lambda(s, a, z)$를 학습합니다. 이를 통해 알고리즘은 훈련 중에 정책이 해당 스타일에 최적이 아닐지라도, 특정 스타일로 이어지는 행동의 가치를 추정할 수 있습니다.
• 하인드사이트 리레이블링 및 스티칭(Hindsight Relabeling & Stitching): 데이터셋에서 스타일 레이블 $z$(미래 상태 포함)를 샘м플링함으로써, 방법론은 하인드사이트 스타일 리레이블링을 수행합니다. 이는 **궤적 스티칭(trajectory stitching)**을 가능하게 하여, 정책이 서로 다른 궤적의 부분적 행동들을 결합하여 일관된 스타일 정렬 경로를 구축할 수 있게 함으로써 분포 변화 문제를 해결합니다.
• 정책 추출(Policy Extraction): 정책은 높은 스타일 어드밴티지(advantage)를 갖는 행동에 편향되도록 하는 **Advantage-Weighted Regression (AWR)**을 통해 추출됩니다.

3. 게이트형 어드밴티지 가중 회귀 (GAWR)

작업 성능과 스타일 정렬 간의 충돌을 해결하기 위해, 저자들은 **게이트형 어드밴티지 가중 회귀(Gated Advantage Weighted Regression, GAWR)**를 도입합니다.

• 메커니즘: GAWR은 시그모이드 게이트를 사용하여 작업 어드밴티지($A^r$)와 스타일 어드밴티지($A^\lambda$)를 결합합니다:
  $$\xi(A^\lambda, A^r) = A^\lambda + \sigma(A^\lambda) \cdot A^r$$
• 논리: 작업 개선 신호($A^r$)는 스타일 어드밴티지($A^\lambda$)가 양수일 때(즉, 전이가 목표 스타일과 일치할 때)만 활성화됩니다. 이는 작업 최적화가 스타일 정렬을 저해하지 않도록 보장하며, 스타일 최적 정책 집합으로의 투영(projection)을 효과적으로 근사합니다.

주요 기여

1. 일반적 정의: 스타일화된 정책 학습을 목표 조건부 RL(GCRL)의 일반화로 보는 새로운 관점을 제시하며, 해석 가능성을 높이고 크레딧 할당 문제를 완화하기 위해 서브트래젝토리 레이블링 함수를 사용합니다.
2. SCIQL 알고리즘: 하인드사이트 리레이블링과 가치 학습을 활용하여, 분리된 상태-스타일 구성 간에서도 궤적 스티칭이 가능하고 강건한 스타일 정렬을 달성하는 오프라인 RL 알고리즘입니다.
3. GAWR 메커니즘: 명시적인 제약 임계값이나 듀얼 변수 없이 작업 성능과 스타일 정렬을 동시에 최적화할 수 있는 게이트형 회귀 기술입니다.
4. 실험적 검증: 다양한 환경에서 SOTA(state-of-the-art) 베이스라인 대비 우수한 성능을 입증했습니다.

실험 결과

저자들은 Circle2d(원 그리기), HalfCheetah(보행), HumEnv(휴머노이드 제어) 등 다양한 환경에서 SCIQL을 평가했습니다.

• 스타일 정렬: SCIQL은 목표 스타일 레이블을 달리는 데 있어 베이스라인(Behavior Cloning, Conditioned BC, BCPMI, SORL 포함)을 크게 압도했습니다. 예를 들어, halfcheetah-vary-v0에서 SCIQL은 **78.9%**의 스타일 정렬을 달성하여, 차순위 방법인 BCPMI(~52%)보다 높은 성능을 보였습니다.
• 작업 성능: GAWR를 사용하여, SCIQL은 높은 스타일 정렬을 유지하면서도 작업 성능(예: HalfCheetah의 전진 속도)을 향상시켰습니다.
• 파레토 효율성(Pareto Efficiency): 이 방법은 스타일 정렬과 작업 성능 사이의 트레이드오프 공간에서 SORL보다 더 큰 **하이퍼볼륨(Hypervolume, HV)**을 달축했습니다. SCIQL 변형 모델들은 다양한 데이터셋에서 SORL 대비 파레토 프런티어를 이론적 이상점(스타일 100%, 작업 100%)에 41%에서 163% 더 가깝게 이동시켰습니다.

의의 및 주장

본 논문은 SCIQL이 고품질의 스타일 조건부 행동을 위한 통합적이고 실용적인 프레임ка를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 강건성: 기존 방법들이 어려움을 겪었던 분포 변화 처리와 스타일 정렬에서의 장기적 의사결정(궤적 스티칭)을 성공적으로 수행했습니다.
• 효율성: 온라인 환경 상호작용이나 복잡한 제약 조건 튜닝 없이도 스타일과 작업 목표 모두에서 높은 성능을 달성했습니다.
• 해석 가능성: 비지도 스타일 표현의 "블랙박스" 특성을 피하고, 레이블링 함수를 통해 스타일을 정의하고 측정할 수 있는 명확하고 프로그래밍 가능한 방법을 제공합니다.

저자들은 이 접근 방식이 모방 학습(스타일 충실도)과 강화 학습(작업 최적화) 사이의 간극을 효과적으로 메워, 능력이 뛰어나면서도 스타일적으로 일관된 에이전트 훈련을 가능하게 한다고 결론짓습니다.