기술 요약: 오프라인-투-온라인 강화학습의 세 가지 체제 (The Three Regimes of Offline-to-Online Reinforcement Learning)

문제 정의

오프라인-투-온라인 강화학습(RL)은 수집된 오프라인 데이터셋으로 사전 학습을 수행하고 온라인 상호작용을 통해 미세 조정(fine-tuning)을 진행하는 실용적인 패러다임으로 부상했습니다. 그러나 이 접근 방식의 경험적 동작은 매우 일관성이 없습니다. 한 설정에서 최첨단(SOTA) 결과를 낳는 설계 선택이 다른 설정에서는 완전히 실패하기도 합니다. 예를 들어, 사전 학습된 정책(pretrained policy)만을 활용하는 방법(예: Warm-Start RL)이 특정 환경에서는 오프라인 데이터셋을 미세 조정 중에 활용하는 방법보다 더 우수한 성능을 보이는 반면, 그 반대의 경우도 존재합니다. 이러한 불일치는 다음과 같은 근본적인 질문을 제기합니다: 특정 미세 조정 설계 선택이 성공하거나 실패하는 데 결정적인 영향을 미치는 근본적인 요인은 무엇인가?

방법론

저자들은 신경과학 및 머신러닝에 뿌리를 둔 개념인 **안정성-가소성 원리(stability–plasticity principle)**에 의해 유도되는 프레임워크를 제안합니다. 이 원리는 효과적인 학습을 위해 기존 지식의 보존(안정성)과 새로운 데이터에 대한 적응 능력(가소성) 사이의 균형을 맞추는 것이 필요하다고 상정합니다.

세 가지 체제 분류 (The Three Regimes Taxonomy)

핵심 기여는 두 가지 오프라인 사전 지식(prior)의 상대적 성능에 의해 결정되는 오프라인-투-온라인 RL의 세 가지 체제에 대한 분류를 정의하는 것입니다:

1. 사전 학습된 정책 ($\pi_0$): 데이터셋에 오프라인 RL 알고리즘을 실행하여 얻은 에이전트.
2. 오프라인 데이터셋 ($D$): 행동 정책($\pi_D$)을 나타내는 가공되지 않은 데이터 자체.

체제는 다음과 같이 정의됩니다:

• 우월 체제 (Superior Regime, $J(\pi_0) > J(\pi_D)$): 사전 학습된 정책이 가공되지 않은 데이터셋보다 성능이 현저히 높습니다. 여기서 주요 목표는 $\pi_0$의 효용을 보존하는 것입니다. 안정성은 정책 파라미터를 중심으로 고정되어야 합니다.
• 열등 체제 (Inferior Regime, $J(\pi_0) < J(\pi_D)$): 사전 학습된 정책이 데이터셋보다 성능이 낮은 경우입니다 (희소한 보상이 있는 준-전문가 데이터셋에서 흔히 발생). 여기서 데이터셋은 더 유용한 정보를 보유하고 있습니다. 안정성은 오프라인 데이터 $D$를 중심으로 고정되어야 하며, 열등한 초기화를 극복하기 위해 높은 가소성이 요구됩니다.
• 유사 체제 (Comparable Regime, $J(\pi_0) \approx J(\pi_D)$): 두 소스 모두 유사한 효용을 제공합니다.

성능 분해 (Performance Decomposition)

본 논문은 최종 온라인 미세 조정 성능을 세 가지 항으로 분해합니다:
$$\max J(\pi_n) = J^*_{off} + \text{Stability}(J^*_{off}) + \text{Plasticity}$$
여기서 $J^*_{off}$는 베이스라인 성능(더 강한 쪽인 $\pi_0$ 또는 $D$)이며, Stability는 이 베이스라인의 유지 정도(음수 값)를 측정하고, Plasticity는 온라인 상호작용으로부터 얻은 이득(양수 값)을 측정합니다.

설계 선택 분석

저자들은 기존의 미세 조정 방법들을 어떤 속성을 강화하는지에 따라 분류합니다:

• $\pi_0$ 중심 ($\pi_0$-centric, 정책 중심의 안정성): Online Data Warm-up(업데이트 전 초기 온라인 데이터 수집)이나 Offline RL Regularization(사전 학습 분포로부터의 이탈에 페널티 부여)과 같은 방법들입니다.
• $D$ 중심 ($D$-centric, 데이터셋 중심의 안정성): Offline Data Replay(리플레이 버퍼에 오프라인 데이터와 온라인 데이터를 혼합)와 같은 방법들입니다.
• 가소성 강화제 (Plasticity Enhancers): Full Parameter Reset(네트워크 가중치를 재초기화)과 같이, 적응력을 극대화하기 위해 정책 사전 지식을 폐기하는 방법들입니다.

경험적 결과

이 프레임워크를 검증하기 위해 저자들은 네 가지 D4RL 도메인(MuJoCo, AntMaze, Adroit, Kitchen)과 세 가지 사전 학습 알고리즘(CalQL, ReBRAC, BC)을 포함하는 21개의 데이터셋-태스크 조합을 아우르는 63개의 설정에 대해 대규모 경험적 연구를 수행했습니다.

• 예측 정확도: 프레임워크의 예측은 **63개 사례 중 45개 사례(71%)**에서 관찰된 결과와 일치했습니다.
• 불일치 분석: 프레임워크가 특정 방법의 실패를 예측했으나 성공했거나 그 반대인 **정반대 불일치는 단 3건(5%)**뿐이었습니다. 나머지 불일치는 "인접한" 수준이었으며, 이는 근본적인 실패가 아닌 미세한 성능 차이를 의미합니다.
• 체제별 발견 사항:
  • 우월 체제에서는 $\pi_0$ 중심 방법(예: warm-up)이 일반적으로 $D$ 중심 방법보다 우수한 성능을 보였습니다.
  • 열등 체제에서는 $D$ 중심 방법(종종 파라미터 리셋과 결합됨)이 $\pi_0$ 중심 방법보다 현저히 우수한 성능을 보였습니다.
  • 유사 체제에서는 방법 간의 성능 차이가 작았으며 구현 세부 사항에 민감했는데, 이는 두 앵커(anchor)가 유사한 효용을 제공한다는 이론과 일치합니다.

메커니즘 분석

저자들은 가치 학습 역학(value learning dynamics)을 분석함으로써 이러한 동작에 대한 메커니즘적 설명을 제공했습니다. 그들은 열등 체제에서 오프라인 데이터 앵커링 없이 미세 조정을 진행할 경우, 오프라인 데이터셋에 대한 시간차(TD) 오차 폭발과 Q-값의 발산이 발생한다는 것을 발견했습니다. 반면, 우월 체제는 이러한 불안정성에 더 강건하지만, 데이터셋에 대한 앵커링이 여전히 안전성을 제공합니다.

대안 지표와의 비교

본 논문은 밀집 보상(dense reward) 프록시, 학습된 Q-값, 그리고 행동 복제(BC) 성능을 사용하는 대안들과 자신들의 로우-리턴(raw-return) 기반 분류법을 비교했습니다. 로우-리턴 지표가 Q-함수 기반(51%)이나 BC 기반(41%) 분류법보다 우수한 71%의 정확도를 달 기록하며, 직접적인 태스크 수행 능력이 체제 식별을 위한 가장 신뢰할 수 있는 1차 기준임을 입증했습니다.

의의 및 주장

본 논문은 오프라인-투-온라인 RL 문헌에서 나타나는 겉보기에 일관성 없는 경험적 증거들을 통합하는 진단 및 예측 프레임워크를 제공한다고 주장합니다. 주어진 설정의 체제를 식별함으로써, 실무자는 다음과 같은 이점을 얻을 수 있습니다:

1. 적절한 방법 선택: 안정성-가소성 요구 사항에 맞는 전략을 선택할 수 있습니다 (예: 우월 체제에서는 정책 안정성을 우선시하고, 열등 체제에서는 데이터셋 안정성을 우선시함).
2. 시행착오 감소: 어떤 사전 지식의 원천(정책 또는 데이터셋)이 지배적인지 이해함으로써 하이퍼파라미터 및 알고리즘 선택의 탐색 공간을 좁힐 수 있습니다.

저자들은 이 프레임워크가 단 하나의 "최고의" 알고리즘을 제안하는 것이 아니라, 왜 서로 다른 알고리즘이 서로 다른 맥락에서 작동하는지를 이해하기 위한 렌즈를 제공한다는 점을 강조합니다. 또한, 자신들의 분류법이 복잡한 현상을 이산적인 범주로 압축하고 있다는 점을 인정하면서도, 상태-행동 커버리지(state-action coverage)와 같은 요소들이 향후 탐구를 위한 2차적 영향력으로 작용할 수 있음을 언급하며, 이 프레임워크가 견고하고 실용적인 1차 기준 역할을 한다고 밝힙니다.