🤖 machine learning

Upper-Expectile Multi-Step Q-Learning for Off-Policy Reinforcement Learning

이 논문은 다단계 리턴(multi-step returns)에 내재된 비관적 편향을 완화하기 위해 비대칭 엑스펙타일 손실(asymmetric expectile loss)을 사용하는 오프-폴리시 강화학습 알고리즘인 Expectile $n$ -step Q-learning (ENQ)을 소개하며, 이는 수축성(contraction)에 대한 이론적 보장과 더불어 Long-Horizon Q-learning과 같은 기존 방법론들과 비교하여 다양한 태스크에 걸쳐 우수한 경험적 성능을 제공한다.

원저자: Abdelghani Ghanem, Mounir Ghogho

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abdelghani Ghanem, Mounir Ghogho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 복잡한 미로를 탐험하는 로봇을 가르치고 있다고 상상해 보세요. 당신은 로봇과 함께 모든 경로를 직접 걸어 다닐 수 없습니다. 대신, 전문가가 간 경로와 목적 없이 배회한 경로가 뒤섞인 다른 로봇들의 이동 기록이 담긴 로그북을 건네줍니다. 이것이 바로 **오프라인 강화 학습(offline reinforcement learning)**의 세계입니다. 이는 에이전트가 실시간 시행착오를 거치는 대신 과거의 데이터로부터 배우는 인공지능의 한 분야입니다. 목표는 탈출구를 찾거나 물체를 잡는 것과 같은 보상을 얻기 위해 최선의 움직임을 찾아내는 것입니다.

빠르게 학습하기 위해, 이 로봇들은 **다단계 리턴(multi-step returns)**이라는 기술을 사용합니다. 단순히 한 단계 앞을 내다보며 그 움직임이 좋았는지 확인하는 대신, 마치 문장 하나가 아닌 이야기의 한 장 전체를 읽어 전체적인 줄거리를 이해하듯 여러 단계를 한꺼번에 내다보는 방식입니다. 이는 보상이 시스템 전체에 더 빠르게 퍼지도록 돕습니다. 하지만 여기에는 함정이 있습니다. 만약 로그북에 서투른 로봇들이 간 나쁜 경로가 많이 포함되어 있다면, 너무 멀리 내다보는 것이 학습자를 지나치게 비관적으로 만들 수 있습니다. 학습자는 "내가 이 단계를 밟으면 저 끔찍한 경로 중 하나에 도달하게 될 거야"라고 생각하며, 설령 좋은 경로가 존재하더라도 위험을 감수하기를 거부하게 됩니다. 이 논문은 바로 이 구체적인 문제를 다룹니다. 즉, 어떻게 하면 나쁜 과거 데이터로 인한 비관주의에 빠지지 않으면서도 멀리 내다보는 속도를 유지할 것인가 하는 문제입니다.

연구진은 **엔큐(ENQ, Expectile n-step Q-learning)**라는 새로운 방법을 제안합니다. 로그북으로부터 배우는 것을 스포츠 경기의 한 시즌 경기 결과를 바탕으로 최종 점수를 추측하는 것에 비유해 봅시다. 표준적인 접근 방식은 특정 플레이 이후의 모든 경기 점수의 '평균'을 취하는 것입니다. 하지만 만약 로그북이 팀이 처참하게 패배한 경기들로 가득 차 있다면, 그 평균값은 낮아질 것이고, 이는 플레이어가 그 플레이를 다시 시도하는 것을 주저하게 만듭니다. ENQ는 이 게임의 규칙을 바꿉니다. 평균을 계산하는 대신, '상위 기대치(upper expectile)'를 계산합니다. 쉬운 말로 설명하자면, 최악의 결과는 무시하고 로그북에 실제로 존재했던 더 나은, 더 낙관적인 시나리오에 집중한다는 뜻입니다. 이는 마치 코치가 선수의 과거 기록을 검토할 때, "실력이 부족했던 날들은 잊어버려라. 대신 네가 잘했던 날들에 집중해서 어떻게 하면 다시 그렇게 할 수 있을지 찾아보자"라고 말하는 것과 같습니다.

이 논문은 이 방법이 수학적으로 타당하다는 것을 보여줍니다. 저자들은 ENQ 시스템이 안정적이며, 멀리 내다보는 상황에서도 결국 신뢰할 수 있는 전략에 도달할 것임을 증명했습니다. 또한, 데이터에 적어도 하나의 좋은 경로가 포함되어 있다면 이 방법이 최선의 전략을 완벽하게 복구할 수 있음을 입증했습니다. 실제 환경에서 그들은 로봇 팔이 큐브를 쌓는 작업부터 거대 미로를 항해하는 휴머노이드 로봇에 이르기까지 27가지의 다양한 과제를 통해 ENQ를 테스트했습니다. 그 결과, ENQ는 여러 개의 AI 모델이 함께 의사결정을 내리는 '크리틱(critics)'을 사용하는 경우를 포함하여, 현재 최고의 방법(LQL이라 불리는)과 대등하거나 종종 더 뛰어난 성능을 보였습니다.

가장 흥란한 발견 중 중 하나는 속도에 관한 것입니다. ENQ는 다른 방법들처럼 긴 경로의 모든 단계를 일일이 확인할 필요가 없기 때문에 더 단순하고 빠르게 실행됩니다. 테스트 결과, ENQ는 AI 모델 팀의 규모에 따라 경쟁 모델보다 약 1.27배에서 1.77배 더 빠르게 훈련 단계를 처리했습니다. 이는 어떤 과거 데이터의 부분에 집중할지를 더 똑똑하게 결정함으로써 로봇이 더 빠르고 효과적으로 학습할 수 있음을 시사합니다.

저자들은 또한 이 방법이 얼마나 '낙관적'이어야 하는지도 탐구했습니다. 그들은 매우 높은 '기대치(expectile)' 수준을 적용하여 가장 좋은 결과만을 보는 설정과, 좀 더 균형 잡힌 시각을 갖는 설정을 테스트했습니다. 연구 결과, 매우 낙관적인 태도가 어떤 과제에서는 잘 작동하지만, 데이터에 노이즈가 많은 다른 과제에서는 위험할 수 있다는 것을 발견했습니다. 그러나 중간 지점의 설정(구체적으로 기대치 수준 0.8)은 특정 미로나 로봇에 맞춰 조정할 필요 없이 거의 모든 과제에서 일관되게 잘 작동했습니다.

요약하자면, 이 논문은 최악의 시나리오는 무시하고 실제로 일어났던 최선의 시나리오에 집중함으로써 로그를 통해 로봇을 가르치는 영리한 방법을 소개합니다. 이 방법은 수학적으로 안정성이 증명되었으며, 실행 속도가 빠르고, 복잡한 환경을 항해하도록 로봇을 가르치는 데 매우 효과적임을 보여주며, 불완전한 과거 경험으로부터 AI 에이전트가 효율적으로 학습할 수 있게 만드는 유망한 길을 제시합니다.

기술 요약: 오프-폴리시 강화학습을 위한 상위-엑스펙타일 다단계 Q-러닝 (Upper-Expectile Multi-Step Q-Learning)

문제 정의

오프-폴리시 가치 기반 강화학습(Off-policy value-based RL)은 이전 정책이나 인간 운영자로부터 수집된 로그 경험으로부터 개선된 정책을 학습하는 것을 목표로 한다. 다단계 TD(n-step TD)는 효과적인 부트스트랩 체인을 단축하여 보상 전파를 가속화하지만, 오프-폴리시 설정에서 중요한 과제인 비관적 편향(pessimistic bias) 문제를 야기한다.

표준 n-step TD에서 상태-행동 쌍 $(s_t, a_t)$ 에 대한 타겟은 타겟 정책이 아닌 행동 정책 $\pi_\beta$ 에 의해 생성된 후속 로그 행동 $a_{t+1:t+n-1}$ 의 보상을 포함한다. 이는 초기 결정의 평가를 비최적적인 후속 행동들과 결합시킨다. 이질적인 오프라인 데이터에서, 이는 $n$ 이 커짐에 따라 증가하는 체계적인 비관적 편향을 유도하며, 결과적으로 긴 호리즌(horizon)에서 성능을 저하시킬 수 있다.

기존의 해결책들은 다음과 같은 한계가 있다:

중요도 샘플링(IS) 변형 (예: Retace, V-trace): 표현력이 풍부한 생성 모델(예: 확산 모델 또는 flow-matching 모델)의 경우 행동 가능도(action likelihoods)를 계산하는 것이 불가능하거나 비용이 많이 들 수 있다.
Long-Horizon Q-learning (LQL): 궤적 수준의 최적성 부등식을 사용하여 가치 추정치를 제약한다. 효과적이긴 하지만, 궤적 내의 여러 위치에서 크리틱을 평가하고 쌍별 제약(pairwise constraints)을 구성해야 하므로 계산 오버헤드가 증가한다.

저자들은 질문한다: 표준 n-step 업데이트에서 수행되는 두 번의 크리틱 평가만을 사용하면서도, n-step 백업의 빠른 전파 특성을 유지할 수 있는가?

방법론: 엑스펙타일 n-step Q-러닝 (ENQ)

본 논문은 표준 n-step TD를 **비대칭 엑스펙타일 손실(asymmetric expectile loss)**로 대체하는 **Expectile n-step Q-learning (ENQ)**을 제안한다.

핵심 메커니즘

대칭 제곱 TD 오차를 최소화하는 대신, ENQ는 행동-가치 오차(action-value error)에 대해 비대칭 엑스펙타일 손실 $\ell_\tau$ 를 최소화한다:
$\ell_\tau(u) \triangleq |\tau - \mathbb{I}(u < 0)| u^2$
여기서 $\tau \in (0, 1)$ 는 엑스펙타일 레벨이다.

타겟 구성: 길이 $n$ 인 세그먼트에 대해, 타겟 $Y_{t,n}$ 은 부분 리턴 $G_{t:t+n}$ 과 $s_{t+n}$ 에서의 부트스트랩 가치의 합으로 구성된다:
$Y_{t,n} = G_{t:t+n} + \gamma^n \bar{Q}^\rho_\theta(s_{t+n}, a^*(s_{t+n}))$
여기서 $\bar{Q}^\rho_\theta$ 는 타겟 크리틱들의 보수적인 앙상블 평균이다.
손실 함수: 크리틱 $Q_\theta$ 는 $(s_t, a_t)$ 에 조건화된 이러한 n-step 타겟 분포의 $\tau$ -엑스펙타일을 적합하도록 훈련된다.
$L_{ENQ}(\theta) = \mathbb{E}_D \left[ v_t \cdot \frac{1}{K} \sum_{i=1}^K \ell_\tau(\delta_i) \right]$
여기 $\delta_i = \text{sg}[Y_{t,n}] - Q_{\theta,i}(s_t, a_t)$ 이다.

주요 설계 선택

비대칭 가중치: $\tau > 0.5$ 인 경우, 양의 잔차(과소 추정)는 $\tau$ 의 가중치를 받고, 음의 잔차(과대 추정)는 $1-\tau$ 의 가중치를 받는다. 이는 크리틱이 로그된 n-step 타겟 분포의 상위 꼬리(upper tail)를 추적하도록 강제하며, 비최적 행동에 의한 좋지 않은 연속 동작들을 무시하면서도 다단계 보상 신호는 유지하게 한다.
최소한의 오버헤드: LQL와 달리, ENQ는 초기 쌍 $(s_t, a_t)$ 와 최종 부트스트랩 상태 $s_{t+n}$ 에서만 크리틱을 평가한다. 중간 단계의 평가, 행동 가능도, 또는 궤적 수준의 쌍별 페널티를 필요로 하지 않는다.
하이퍼파라미터: ENQ는 표준 백업 호리즌 $n$ 외에 단 하나의 메서드 전용 하이퍼파라미터인 엑스펙타일 레벨 $\tau$ 만을 도입한다.

이론적 기여

본 논문은 ENQ 연산자 $T^n_\tau$ 에 대한 엄밀한 이론적 분석을 제공한다:

수축 성질 (Contraction Property): ENQ 연산자가 임의의 $\tau \in (0, 1]$ 에 대해 $\gamma^n$ -수축임을 증명하여, 반복을 통해 도달 가능한 유일하고 유계된 고정점 $Q^n_\tau$ 의 존재를 보장한다.
결정론적 역학 분석 (Deterministic Dynamics Analysis):
- 편향 분해: 결정론적 역학 하에서, 표준 n-step TD( $\tau=0.5$ )의 비관주의는 개입된 로그 행동들의 할인된 부최적성 갭(suboptimality gaps)의 합으로 정확히 분해된다.
- $\tau=1$ 에서의 최적성: $\tau=1$ 일 때, 커버된 인-서포트(in-support) 쌍(최적의 연속 동작에 대해 행동 정책이 양의 확률을 두는 경우)에서 연산자 편향은 사라진다. 고정점 $Q^n_1$ 은 구성 방식에 따라 $n, 2n, \dots$ 간격에서 LQL가 사용하는 하한 부등식을 만족한다.
- 단조성: 고정점 $Q^n_\tau$ 는 $\tau$ 에 대해 비감소하며, 최적 가치 함수 $Q^*$ 에 의해 상계된다.
확률적 역학 분석 (Stochastic Dynamics Analysis):
- 연산자 편향은 호리즌에 독립적인 노이즈 상수를 가진 양방향 경계값을 갖는다. 편향은 행동 드리프트(비관주의)에 의해 하한이 결정되며, 리턴의 분산과 엑스펙타일 레벨 $\tau$ 에 의존하는 항에 의해 상한이 결정된다.
- "안전한" 임계값 $\tau_{safe}$ 가 도출되어, 확률적 역학 하에서도 연산자 편향이 비양수(비관적)로 유지되도록 보장한다.

실험 결과

저자들은 조작(manipulation) 및 내비게이션 도메인을 다루는 OGBench와 RoboMimic의 27개 태스크 인스턴스에서 ENQ를 평가하였다.

설정

베이스라인: 1-step TD, 표준 n-step TD, 그리고 Long-Horizon Q-learning (LQL)과 비교하였다.
구성: 태스크별 튜닝 없이 모든 태스크에 대해 고정된 $\tau = 0.8$ 및 $n=4$ 를 사용하였다.
정책 추출: Flow Q-Learning (FQL) 및 액션 청크(action-chunked) 변형 모델을 사용하여 평가하였다.

주요 결과

성능: ENQ는 LQL와의 5회 비교 중 4회에서 더 높은 총 평균 성공률을 달了. 특히 cube-triple, humanoid-md, antmaze-giant와 같은 복잡한 도메인에서 주목할 만한 이득이 관찰되었다.
처리량 (Throughput): 호리즌과 배치 크기를 맞춘 통제된 프로파일링 연구에서, ENQ는 LQL보다 1.27배에서 1.77배 더 높은 훈련 처리량을 보여주었다. 이는 ENQ가 궤적 내의 여러 지점이 아닌 시작과 끝 상태만을 평가하기 때문이다.
앙상블 스케일링: 크리틱 앙상블 크기를 $K=2$ 에서 $K=10$ 으로 늘리는 스케일링 실험에서, ENQ는 LQL보다 더 유의미한 이득을 얻었으며, cube-triple에서 LQL의 59.1% 대비 78.0%의 성공률에 도달했다.
절제 연구 (Ablations):
- 엑스펙타일 레벨: 상위 엑스펙타일( $\tau > 0.5$ )이 일반적으로 대칭 베이스라인( $\tau=0.5$ )보다 우수한 성능을 보였다. 최적의 $\tau$ 는 호리즌 $n$ 이 커짐에 따라 증가하는 경향이 있었다.
- 배치 (Placement): 엑스펙타일 손실을 행동-가치 오차에 직접 적용하는 것(ENQ)이, 보조 상태-가치 함수를 통해 비대칭성을 전달하는 n-step IQL 스타일의 베이스라인보다 실질적으로 우수한 성능을 보였다.
- 강건성: 높은 확률적 노이즈( $\sigma=0.25$ ) 하에서도 ENQ는 LQL(5.4%) 및 표준 n-step TD(48.4%)에 비해 우수한 성능(59.0% 성공)을 유지했다.

의의 및 주장

본 논문은 ENQ가 기존의 오프-폴리시 다단계 방법들에 대한 단순하고 유연하며 계산 효율적인 대안을 제공한다고 주장한다. ENQ의 의의는 다음과 같다:

가능도 없이 비관주의 감소: 행동 가능도나 중요도 가중치를 요구하지 않고도 로그된 하위 최적 행동에 의한 편향을 완화하며, 이는 현대적인 생성적 정책 클래스와 호환 가능하다.
계산 효율성: 궤적 수준의 제약이나 중간 크리틱 평가를 피함으로써, LQL과 같은 제약 기반 방법보다 더 높은 훈련 처리량을 달성한다.
이론적 근거: $\tau=1$ 고정점이 LQL에서 강제되는 것과 유사한 최적성 부등식을 만족함을 보여줌으로써, 엑스펙타일 레벨 $\tau$ 와 비관적 편향 감소 사이의 명확한 이론적 연결 고리를 제공한다.

저자들은 ENQ가 단순한 대칭 n-step TD의 경쟁력 있는 드롭인(drop-in) 교체 모델로서, 오프-폴리시 강화학습에서 보상 전파 속도와 편향 감소 사이의 균형을 효과적으로 맞춘다고 결론짓는다.