기술 요약: ISEP – 오프라인 강화학습을 위한 암시적 지원 확장

1. 문제 제기

오프라인 강화학습 (RL) 은 온라인 상호작용 없이 정적 데이터셋으로부터 효과적인 정책을 학습하는 것을 목표로 하며, 이는 로봇공학 및 의료와 같은 고위험 분야에서 필수적인 능력입니다. 이러한 설정에서의 근본적인 과제는 보수성(유효한 가치 추정을 보장하기 위해 데이터셋의 지원 범위 내에 머무름) 과 낙관성(비최적 데이터를 넘어 개선된 행동을 발견하기 위해 지원 범위를 확장함) 사이의 긴장 관계입니다.

기존 방법들은 일반적으로 엄격한 지원 제약을 부과함으로써 이를 해결합니다: 인-샘플 전이 (in-sample transitions) 로만 업데이트를 제한하거나, 행동 정책을 지원 범위 내로 제한하거나, 과대평가된 크리틱 (critic) 값을 패널티로 부과하는 방식입니다. 이러한 제약들은 안전성을 보장하지만, 데이터셋에서 희소하게 표현된 고보상 행동을 종종 억제합니다. 이러한 "밀도 편향 (density bias)"은 최적 궤적이 충분한 데이터 밀도를 갖지 못할 때 특히 최적 정책의 발견을 방해합니다. 또한, 보수적 데이터와 낙관적 제안 사이의 표준 결정론적 보간은 종종 **모드 붕괴 (mode collapse)**로 이어집니다. 이는 정책이 서로 다른 유효 행동들을 평균화하여 데이터 매니폴드 (manifold) 밖에 있는 저가치이고 무효인 행동으로 수렴하게 만듭니다.

2. 방법론

저자들은 정적 데이터셋을 넘어 안전하게 외삽할 수 있도록 설계된 **ISEP(확률적 정책 최적화를 통한 암시적 지원 확장)**를 제안합니다. ISEP 는 세 가지 결합된 혁신을 통해 작동합니다:

2.1 보간된 가치 추정 (암시적 지원 확장)

ISEP 는 데이터셋 분포를 경직된 경계로 취급하는 대신, 가치 함수의 유효 지원 범위를 암시적으로 확장하여 유효하지만 희소하게 표현된 고가치 행동을 포괄합니다. 이는 가치 네트워크 $V_\psi$에 대한 하이브리드 목적 함수를 통해 달성됩니다:

$$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$$

• 항 1: 비대칭 기대 손실 (asymmetric expectile loss, 표준 IQL 접근법) 을 사용하여 실제 전이 (transitions) 에 가치 추정을 고정합니다.
• 항 2: 현재 정책 $\hat{a} \sim \pi_\phi$에서 샘플링된 행동으로 Q-함수를 쿼리함으로써 확장을 유도합니다.
• 매개변수 $p$: 안전성 (인-분포) 과 탐색 (정책 생성) 사이의 균형을 조절하는 제어 가능한 스칼라입니다. 이 메커니즘은 고보상 영역을 "밀도화 (densifies)"하여 정책 개선을 위한 탐색 가능한 경로를 생성합니다.

2.2 확률적 행동 선택

결과적으로 생성된 목적 함수의 다중 모드 (multimodal) 특성을 해결하기 위해, ISEP 는 확률적 행동 선택 전략을 사용합니다. 표준 결정론적 보간 (기울기의 평균화) 은 정책을 보수적 행동과 낙관적 행동의 산술 평균으로 강제하여, 종종 저가치의 "오프-매니폴드 (off-manifold)"행동을 초래합니다.

ISEP 는 베르누이 게이트 $B \sim \text{Bernoulli}(p)$를 사용하여 각 업데이트 단계에서 목표를 확률적으로 교대함으로써 이를 방지합니다:

$$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$$

이를 통해 정책이 두 목표 사이의 저가치 골짜기로 붕괴되는 대신, 서로 다른 유효 모드 (보수적 데이터 샘플 또는 낙관적 제안) 중 하나로 밀려나게 됩니다.

2.3 구체화: ISEP-FM

확률적 전략은 복잡하고 다중 모드인 분포를 표현할 수 있는 정책을 필요로 하므로, 저자들은 **클래스리퍼 가이드 (Classifier-Free Guidance, CFG)**를 갖춘 **조건부 흐름 매칭 (Conditional Flow Matching, CFM)**을 사용하여 이 프레임워크를 구체화합니다.

• 흐름 모델은 최적성 토큰 $o \in \{\emptyset, 1\}$에 조건부로 설정됩니다.
• 추론 시, 행동은 베이스 행동 분포와 고가치 최적성 조건 사이의 동적 제어를 가능하게 하는 가이드 스케일 $w$로 속도장을 적분하여 생성됩니다.

3. 이론적 보장

이 논문은 ISEP 가 유계된 가치 오류를 보장함을 보여주는 이론적 분석을 제공합니다. 유한한 샘플 크기 (기대 간격, Expectile Gap) 와 데이터셋의 비최적성에 대한 가정 하에, 저자들은 보간 매개변수 $p$가 데이터셋 특성에서 유도된 특정 경계를 만족할 경우를 증명합니다:

$$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$$

그렇다면, 데이터셋 품질에 의해 결정되는 확률 $\eta$로, 학습된 가치 함수 $\hat{V}(s)$는 최적 상태 가치 $V^*(s)$에 의해 상한이 설정됩니다. 이는 $p$를 치명적인 발산을 방지하면서도 제어된 외삽을 가능하게 하는 엄격한 안전 메커니즘으로 확립합니다.

4. 실험 결과

저자들은 Gym-MuJoCo 보행, Adroit 로봇 손 조작, 그리고 주방 순차적 물체 조작을 포함하는 D4RL 벤치마크에서 ISEP 와 그 흐름 매칭 변형 (ISEP-FM) 을 평가했습니다.

• 성능: ISEP-FM 은 여러 환경에서 최첨단 (state-of-the-art) 결과를 달성했습니다. 예를 들어, hopper-med-rep에서 정규화된 점수 104.5를 기록하여 QIPO(101.2) 와 IDQL(82.4) 과 같은 강력한 베이스라인을 능가했습니다. halfcheetah-med에서는 59.9점을 기록하여 이전 최고 기록인 54.1 을 상회했습니다.
• 애블레이션 연구 (Ablation Studies):
  • 매개변수 $p$: 중간 값 ($p \in \{0.3, 0.5\}$) 이 일관되게 최고 점수를 기록했습니다. 공격적인 값 ($p \geq 0.9$) 은 치명적인 발산으로 이어져 "중도 (middle-ground)"접근의 필요성을 확인시켜 주었습니다.
  • 확률적 vs 결정론적: 확률적 선택을 결정론적 보간으로 대체하면 성능이 크게 저하되어, 비볼록 행동 공간에서 단순한 평균화가 실패함을 검증했습니다.
  • 지원 확장: 시각화 (t-SNE) 는 ISEP 가 밀도 편향으로 인해 엄격한 인-분포 방법들 (예: $p=0$인 IQL) 이 도달하지 못하는 희소하고 고보상 영역으로 행동 지원을 성공적으로 확장함을 확인시켜 주었습니다.

5. 중요성과 주장

이 논문은 데이터셋 분포를 경직된 경계로 취급하는 오프라인 RL 방법들의 중요한 한계를 ISEP 가 해결한다고 주장합니다. 인-분포 데이터와 정책 샘플 사이에 보간된 가치 함수를 통해 유효 행동 지원을 암시적으로 확장함으로써, ISEP 는 명시적 제약이나 복잡한 2 단계 파이프라인 없이도 고보상 영역을 "밀도화"합니다.

이 연구의 중요성은 다음과 같은 능력에 있습니다:

1. 안전성과 낙관성 간의 간극 해소: 에이전트가 상태 - 행동 공간의 희소하게 표현된 영역에서 우수한 행동을 발견할 수 있도록 합니다.
2. 다중 모드 정책 학습에 필수적인 새로운 확률적 행동 선택 전략을 통해 비볼록 공간에서의 모드 붕괴 방지.
3. 이론적 안전 보장 제공: 보간 매개변수가 데이터셋 품질에 따라 조정된다면, 인-분포 밖 행동을 탐색할 때조차 가치 추정이 유계된 상태를 유지함을 보여줍니다.

저자들은 지원 확장과 현대 생성 모델 (Flow Matching) 의 표현력을 결합함으로써, 오프라인 RL 에이전트가 안전성을 희생하지 않고도 효과적인 우수한 행동을 발견할 수 있다고 결론지었습니다.