🤖 AI

Long-Horizon Q-Learning: Accurate Value Learning via n-Step Inequalities

본 논문은 n-단계 최적성 부등식 위반에 힌지 손실을 부과하여 오프-정책 가치 학습을 안정화함으로써 누적되는 부트스트래핑 오차를 완화하고 추가적인 계산 오버헤드 없이 표준 TD 접근법보다 우수한 성능을 보이는 Long-Horizon Q-learning(LQL)이라는 방법을 소개한다.

원저자: Armaan A. Abraham, Lucy Xiaoyang Shi, Chelsea Finn

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Armaan A. Abraham, Lucy Xiaoyang Shi, Chelsea Finn

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 복잡한 미로에서 단일한 숨겨진 보물을 찾아내도록 로봇을 가르치려 한다고 상상해 보세요. 로봇은 다른 로봇들이 과거에 시도했던 방대한 스크랩북을 보고 학습합니다. 그 스크랩북에는 전문가 로봇, 서툰 로봇, 그리고 그저 목적 없이 헤매던 로봇들의 기록이 모두 포함되어 있습니다.

로봇을 가르치는 표준적인 방법은 Q-러닝이라고 불립니다. 이는 "전화" 게임과 유사하게 작동합니다. 로봇이 방금 취한 행동을 보고 "이 행동은 얼마나 좋았을까?"라고 묻은 뒤, 다음 행동을 살펴 그 답을 얻습니다. 이때 로봇은 다음 행동이 완벽하다고 가정합니다. 만약 다음 행동이 실제로는 실수였다면 (스크랩북에 서툰 로봇의 기록이 있었기 때문), 그 실수가 현재 행동으로 역전파됩니다. 긴 여정 동안 이러한 작은 실수들이 쌓이고 증폭되어 결국 로봇의 전체 세계 지도를 완전히 잘못되게 만듭니다. 이를 누적 오차라고 합니다.

이를 해결하기 위해 사람들은 보통 스크랩북을 더 멀리 들여다보려 합니다 (한 번에 4 단계, 8 단계, 또는 16 단계를 보는 식으로). 하지만 이는 새로운 문제를 야기합니다. 로봇이 첫 15 단계가 끔찍했던 16 단계의 시퀀스를 보게 되면, 첫 번째 단계가 실제로는 좋은 행동이었음에도 불구하고 그 첫 번째 단계조차 끔찍하다고 판단할 수 있습니다. 이는 나쁜 부분 때문에 전체 연쇄를 비난하게 만드는 것입니다.

새로운 해결책: 장거리 Q-러닝 (Long-Horizon Q-Learning, LQL)

저자들은 **장거리 Q-러닝 (LQL)**이라는 새로운 방법을 제안합니다. 이는 로봇이 추정을 지나치게 비틀지 않도록 하는 "현실 점검"이나 안전망을 제공하는 것과 같습니다.

다음은 간단한 비유를 통해 작동 원리를 설명한 것입니다:

1. "최적성 부등식" (황금률)

핵심 아이디어는 다음과 같은 단순한 논리적 진실에 기반합니다: 지금부터 완벽하게 행동할 계획이라면, 중간에 무작위적인 행동을 하고 나중에 완벽하게 행동하는 경우보다 결코 나빠져서는 안 됩니다.

목적지로 운전한다고 상상해 보세요.

상황 A: 처음부터 완벽하게 운전합니다.
상황 B: 10 마일 동안 완벽하게 운전한 뒤, 5 마일 동안 잘못된 방향으로 운전하고, 그 후 다시 완벽하게 운전합니다.

논리에 따르면 상황 A 는 상황 B 보다 반드시 더 좋아야 합니다 (또는 같아야 합니다). 만약 당신의 지도가 상황 A 가 상황 B 보다 나쁘다고 말한다면, 그 지도는 고장 난 것입니다.

2. "힌지 손실" (안전망)

LQL 은 이 논리를 활용하여 안전망을 생성합니다. 이는 로봇의 지도를 이 황금률과 끊임없이 비교합니다.

지도가 좋은 행동을 나쁜 시퀀스보다 나쁘다고 말한다면: 안전망은 그 좋은 행동의 가치를 올립니다.
지도가 나쁜 행동을 완벽한 시작보다 좋다고 말한다면: 안전망은 그 나쁜 행동의 가치를 내립니다.

이는 **힌지 손실 (hinge loss)**이라는 수학적 도구를 사용하여 수행됩니다. 이는 스프링이 달린 문과 같습니다. 로봇의 추정이 "안전 구역" (황금률을 따르는 영역) 내에 있으면 문은 닫혀 있고 어떤 패널티도 부과되지 않습니다. 하지만 추정이 규칙을 깨려고 하면, 스프링이 닫히며 추정을 다시 안전 구역 안으로 밀어 넣습니다.

3. 왜 효율적인가 (추가 작업 없음)

일반적으로 이러한 규칙을 확인하려면 추가 시뮬레이션을 실행하거나 추가 컴퓨터를 사용해야 할 수 있습니다. 하지만 LQL 은 영리합니다: 로봇이 이미 학습을 위해 보고 있는 정확히 같은 데이터를 사용합니다. 두 번째 두뇌나 스크랩북을 추가로 방문할 필요가 없습니다. 단순히 이미 계산 중인 숫자들을 재사용하여 이 "안전망" 확인을 추가할 뿐입니다.

결과: 무엇이 일어났는가?

저자들은 21 개의 관절을 가진 휴머노이드 로봇이 거대한 미로 ("humanoidmaze-giant") 를 통과하려는 매우 어려운 작업에서 이를 테스트했습니다.

표준 학습 (1-단계): 로봇은 긴 거리에 혼란을 느껴 완전히 실패했습니다 (성공률 0%). 오차들이 너무 빠르게 쌓였습니다.
더 멀리 내다보기 (n-단계): 로봇은 조금 더 나아졌지만 벽에 부딪혔습니다. 너무 멀리 내다보면 (예: 64 단계), 긴 시퀀스 중간에 있는 나쁜 행동들에 혼란을 느껴 실제로는 더 나빠졌습니다.
LQL (새로운 방법): 로봇은 **75.7%**의 성공률을 보였습니다. 나쁜 부분들에 혼란을 느끼지 않고 긴 데이터 시퀀스를 활용할 수 있었습니다. 경로의 중간이 혼란스러웠더라도 시작이 여전히 훌륭한 행동일 수 있음을 학습했습니다.

핵심 교훈

LQL 은 숙제를 단계별로 채점할 뿐만 아니라 전체적인 논리가 타당한지도 확인하는 선생님을 학생에게 제공하는 것과 같습니다. 이는 학생이 긴 시험 중간에 몇 가지 나쁜 답 때문에 낙담하는 것을 방지하고, 운 좋은 연속 성공에 기반하여 자신의 능력을 과대평가하지 않도록 보장합니다.

이는 로봇이 "전화" 게임처럼 오차들이 쌓여 세계에 대한 이해를 망가뜨리지 않고도 매우 길고 엉망인 데이터의 역사에서 학습할 수 있게 합니다. 그리고 가장 좋은 점은? 이를 수행하면서도 속도를 늦추거나 추가 장비가 필요하지 않다는 것입니다.

기술 요약: 장거리 Q-학습 (LQL)

문제 정의

오프-폴리시, 가치 기반 강화 학습 (RL), 특히 Q-학습은 임의의 경험, 즉 이전 정책이나 다른 에이전트에서 수집된 데이터로부터 학습할 수 있다는 점에서 이론적으로 매력적입니다. 그러나 실제로는 부스팅을 통한 장거리 학습이 취약합니다. 후속 상태에서의 추정 오차가 시간차 (TD) 업데이트를 통해 역방향으로 전파되어 시간이 지남에 따라 누적되고 학습을 불안정하게 만듭니다.

일반적인 완화 전략으로는 다단계 목표 (예: $n$ -step 반환 또는 $\lambda$ -returns) 를 포함하는 것이 있으며, 이는 더 긴 시간 범위에 걸쳐 관찰된 보상을 통합함으로써 단일 단계 부스팅에 대한 의존도를 줄입니다. 그러나 오프-폴리시 설정에서 $n$ -step 목표는 새로운 긴장을 초래합니다. 이는 에이전트가 기록된 궤적을 생성한 행동 정책을 향후 $n$ 단계 동안 계속 따를 것이라고 암묵적으로 가정하기 때문입니다. 기록된 행동이 비최적이라면, 그 결과 생성되는 백업은 비관적이거나 편향될 수 있으며, 학습 중인 개선된 정책의 잠재력을 포착하지 못합니다. 이러한 오프-폴리시 편향은 종종 $n$ 이 증가함에 따라 $n$ -step TD 성능을 저하시키며, 특히 희소 보상과 긴 시간 범위를 가진 작업에서 두드러집니다.

방법론: 장거리 Q-학습 (LQL)

저자들은 표준 $n$ -step 목표에 내재된 오프-폴리시 편향을 도입하지 않으면서 누적 TD 오차에 대한 원칙적인 "백업"을 제공하도록 설계된 **장거리 Q-학습 (LQL)**을 제안합니다.

핵심 통찰: 최적성 부등식

LQL 은 최적 가치 함수의 근본적인 속성에 기반합니다. 즉, 실현된 행동의 어떤 시퀀스라도 동일한 시작 상태에서 최적 정책이 기대할 수 있는 성과에 대한 하한을 제공합니다. 구체적으로, 즉시 최적의 행동을 취하는 것은 임의의 관찰된 행동 시퀀스를 일정 기간 수행한 후 그 이후로 최적의 행동을 취하는 것보다 기대 반환 측면에서 나빠서는 안 됩니다.

저자들은 이를 궤적에 대한 최적성 부등식으로 공식화합니다. 상태 $s_i$ 에서 $s_j$ 까지의 궤적 세그먼트 (여기서 $j > i$ ) 에 대해:

하한: $s_i$ 에서 관찰된 행동의 가치는 $i$ 부터 $j$ 까지의 관찰된 보상 합계와 $s_j$ 에서 최적 행동의 할인된 가치의 합보다 커야 합니다.
상한: 이전 상태 $s_i$ 에서 최적 행동의 가치는 $i$ 부터 $j$ 까지의 관찰된 보상 합계와 $s_j$ 에서 관찰된 행동의 할인된 가치의 합보다 커야 합니다.

알고리즘 구현

LQL 은 이러한 부등식에서 유도된 비대칭 힌지 페널티를 표준 1-단계 TD 손실에 추가합니다.

하한 (LB) 페널티: 현재 추정치 $Q_\theta(s_k, a_k)$ 가 궤적 세그먼트 $G_{k:\ell}$ 의 실현된 반환과 미래 상태 $s_\ell$ 에서의 부스팅된 가치의 합보다 낮으면, $Q_\theta(s_k, a_k)$ 를 위로 밀어올리기 위해 페널티가 적용됩니다.
상한 (UB) 페널티: 현재 추정치 $Q_\theta(s_k, a_k)$ 에 선행 보상을 결합한 결과가 이전 상태 $s_i$ 에서 최적의 행동을 취했을 때 달성할 수 있는 것보다 높은 반환을 암시하면, $Q_\theta(s_k, a_k)$ 를 아래로 밀어내리기 위해 페널티가 적용됩니다.

주요 효율성 특징: 핵심적으로 LQL 은 표준 TD 업데이트 중 이미 생성된 네트워크 출력만 (즉, $Q_\theta(s, a)$ 와 타겟 네트워크 값 $Q_{\bar{\theta}}(s, a^*)$ ) 을 사용하여 이러한 페널티를 계산합니다. 표준 Q-학습에 비해 보조 네트워크나 추가 순전파가 필요하지 않습니다. 이 방법은 리플레이 버퍼에서 궤적을 샘플링하고 궤적 전반에 걸쳐 이러한 힌지 손실을 집계합니다.

주요 기여

원칙적인 백업: LQL 은 시간적으로 먼 상태 간의 가치 불일치를 감지하고 수정하는 메커니즘을 도입하여 오프-폴리시 학습에서의 누적 오차 문제를 직접 해결합니다.
계산 효율성: 최적성 부등식에 의존하는 이전 방법들 (예: Optimality Tightening) 과 달리, LQL 은 기존 TD 네트워크 출력을 재사용하여 추가 순전파나 보조 네트워크의 계산 오버헤드를 피합니다.
궤적 길이와의 확장성: 이 방법은 궤적 길이를 확장 축으로 취급합니다. 표준 TD 에서의 배치 크기 확장은 과적합과 성능 저하로 이어질 수 있는 반면, LQL 에서 궤적 길이를 늘리는 것은 일관되게 성능을 향상시킵니다.
호환성: LQL 은 정책 추출 메커니즘에 무관하며 다양한 액터 아키텍처 (가우시안, 흐름 기반, 액션 청킹) 와 결합할 수 있습니다.

실험 결과

저자들은 OGBench(긴 시간 범위의 로봇 항해 및 조작) 와 RoboMimic(휴머노이드 조작) 을 포함한 다양한 온라인 및 오프라인 - 투 - 온라인 벤치마크에서 LQL 을 평가했습니다.

기선 대비 성능: 네 가지 다른 정책 추출 계열 (Best-of-N, Flow Q-Learning, Gaussian, Action Chunking) 전반에 걸쳐 LQL 은 1-단계 TD 와 길이 일치 $n$ -step TD 모두를 일관되게 능가했습니다.
장거리 성공: 가장 까다로운 작업인 humanoidmaze-giant(희소 보상, 수천 단계) 에서 1-단계 TD 는 어떤 작업도 해결하지 못했습니다 (0% 성공). 표준 $n$ -step TD 는 부분적인 개선을 보였으나 $n$ 이 4 를 초과하여 증가함에 따라 성능이 크게 저하되었습니다. 반면, $L=64$ 의 궤적 길이를 가진 LQL 은 **75.7%**의 평균 성공률을 달성하여 두 가지 작업을 거의 완벽한 성공 (>97%) 으로 해결했습니다.
안정성: LQL 은 가치 추정에서 우수한 안정성을 보여주었습니다. 1-단계 TD 는 종종 "주행" 과다 추정 (Q-값이 극단적인 크기로 발산) 으로 고생한 반면, LQL 은 Q-값을 분석적으로 유효한 범위 내에 유지하여 발산을 방지했습니다.
강건성: LQL 은 기대값 내 부등식에서 비롯된 이론적 편향이 문제를 일으킬 것으로 예상되는 확률적 환경에서도 성능을 유지했습니다.
오버헤드: 이 방법은 표준 TD 에 비해 실행 시간 비용이 미미했습니다 (업데이트당 평균 4.7% 의 속도 저하).

중요성과 주장

이 논문은 LQL 이 다단계 목표의 오프-폴리시 편향을 계승하지 않는 장거리 일관성 검사를 제공함으로써 오프-폴리시 학습, 부스팅, 함수 근사의 "치명적인 삼중주"에 대한 실용적인 해결책을 제공한다고 주장합니다.

저자들은 두 가지 더 넓은 함의를 강조합니다:

정보 흡수: LQL 은 $n$ -step 목표를 제한하는 오프-폴리시 편향 없이 매우 긴 궤적에서 정보를 흡수할 수 있는 경로를 제공합니다.
확장 축: 궤적 길이는 표준 TD 학습에서 배치 크기를 확장할 때 관찰되는 병리적 저하를 피하는 딥 가치 기반 RL 을 위한 실현 가능한 확장 축으로 등장합니다.

이 연구는 이론적 한계에 대해 겸손하게, 최적성 부등식이 기대값 내 진술이므로 단일 샘플을 통해 근사될 때 확률적 환경에서 이론적 편향을 도입한다는 점을 인정합니다. 그러나 실험 결과와 이론적 경계는 이러한 편향이 제한적이며 실제로 성능에 실질적인 해를 끼치지 않는다고 시사합니다.