🤖 machine learning

Offline Reinforcement Learning with Generative Trajectory Policies

본 논문은 연속 시간 ODE 기반 궤적 해 매핑을 학습하여 느린 확산 모델과 빠른 일관성 모델 간의 격차를 해소하는 통합 오프라인 강화 학습 프레임워크인 생성적 궤적 정책 (GTPs) 을 소개하며, 이는 AntMaze 과제의 완벽한 점수를 포함한 D4RL 벤치마크에서 최첨단 성능을 달성합니다.

원저자: Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinsong Feng, Leshu Tang, Chenan Wang, Haipeng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 미로를 걷는 방법을 로봇에게 가르치려 한다고 상상해 보세요. 다른 로봇들이 이 과제를 시도하는 거대한 비디오 라이브러리는 있지만, 새로운 로봇이 실제 세계에서 연습할 수는 없습니다. 이 로봇은 오직 이 오래된 비디오들을 지켜보며 배워야 합니다. 이것이 **오프라인 강화 학습 (Offline Reinforcement Learning)**의 과제입니다.

문제는 이 비디오들이 움직이는 다양한 방식을 보여준다는 점입니다. 로봇은 때로는 왼쪽으로, 때로는 오른쪽으로 방향을 틀기도 하고, 때로는 비틀거리기도 하며, 때로는 완벽하게 미끄러지기도 합니다. 단순한 로봇 두뇌는 혼란을 느껴 이 움직임들을 "평균화"하려다 보니, 로봇이 제자리에서 빙글빙글 돌기만 하는 결과를 초래할 수 있습니다. 로봇은 이러한 다양한 가능성들을 한 번에 이해할 수 있는 두뇌가 필요합니다.

오래된 딜레마: 느린 대 멍청한

과거 연구자들은 이러한 "똑똑한 두뇌"를 구축하기 위해 두 가지 주요 도구를 사용하려 했지만, 좌절스러운 트레이드오프에 직면했습니다.

느린 예술가 (확산 모델, Diffusion Models): 빈 캔버스에 정적 잡음이 덮인 상태에서 시작해, 한 걸음 한 걸음 천천히 다듬어 완벽한 이미지가 나타날 때까지 그림을 그리는 예술가를 상상해 보세요. 이 방법은 복잡한 세부 사항과 다양한 스타일 (다중 모드 행동) 을 포착하는 데 놀라울 정도로 뛰어납니다. 하지만 그림 한 점을 완성하는 데 매우 오랜 시간이 걸립니다. 로봇이 1 초마다 결정을 내려야 한다면, 이 느린 과정은 실용적이지 않을 정도로 너무 둔합니다.
빠른 스케치 화가 (일관성 모델, Consistency Models): 이제 한두 번의 빠른 획으로 최종 그림을 그리려 노력하는 스케치 화가를 상상해 보세요. 이는 놀라울 정도로 빠르지만, 다듬는 단계를 생략하기 때문에 그림이 종종 흐릿하거나 잘못 그려집니다. 로봇은 빠르게 움직이지만, 세계에 대한 이해가 너무 단순해서 벽에 부딪히게 됩니다.

새로운 해결책: "생성적 궤적 정책 (Generative Trajectory Policy, GTP)"

이 논문의 저자이자 신송 펑 (Xinsong Feng) 과 그의 동료들은 이렇게 말합니다. "왜 느린 것과 빠른 것 사이에서 선택해야 할까요? 둘 다 되는 로봇 두뇌를 만들어 봅시다."

그들은 **생성적 궤적 정책 (Generative Trajectory Policies, GTP)**이라는 새로운 방법을 소개합니다. 이것이 어떻게 작동하는지 이해하려면 로봇의 움직임을 A 지점에서 B 지점으로의 단일 점프가 아니라, 여정을 보여주는 연속적인 영화로 상상해 보세요.

통합된 관점: 저자들은 "느린 예술가"와 "빠른 스케치 화가"가 실제로는 서로 다른 각도에서 같은 영화를 보고 있다는 사실을 깨달았습니다. 그들은 로봇이 혼란 (잡음) 에서 질서 (완벽한 행동) 로 이동하는 방식을 설명하는 수학적 방정식 (상미분 방정식, ODE) 을 풀려고 노력하고 있습니다.
마법의 트릭: 영화를 프레임별로 보는 것 (느림) 이나 결말을 즉시 추측하는 것 (빠름) 대신, GTP 는 영화 전체의 지도를 한 번에 학습합니다. 이는 "해결책 지도"를 학습하여, 몇 단계가 걸리든 간에 잡음의 어떤 지점에서든 완벽한 행동으로 가는 방법을 정확히 알려줍니다.

작동 방식 (두 가지 해킹)

처음부터 이 "영화 전체 지도"를 학습하는 것은 어렵습니다. 로봇이 초반에 잘못 추측하면 혼란에 빠지고 점점 더 나쁜 추측을 계속하게 됩니다. 저자들은 이를 실용적으로 만들기 위해 두 가지 교묘한 "해킹"을 추가했습니다.

** "요약 노트" (점수 근사, Score Approximation):**
보통 영화 지도를 학습하려면 로봇이 작업을 확인하기 위해 전체 영화를 반복해서 시뮬레이션해야 합니다. 이는 계산 비용이 매우 큽니다.
- 유사성: 전체 교향악을 연주하며 올바른 음을 맞혔는지 확인하는 방식으로 노래를 배우려 한다고 상상해 보세요. 저자들은 "아니요, 악보만 보세요"라고 말합니다. 그들은 전체 영화를 시뮬레이션하지 않고도 로봇의 진행 상황을 확인하기 위한 단순하고 직접적인 공식 ( "요약 노트") 을 사용할 수 있는 방법을 발견했습니다. 이는 학습을 빠르고 안정적으로 만들어 로봇이 혼란의 소용돌이로 빠져드는 것을 방지합니다.
** "코치의 휘슬" (가치 기반 안내, Value-Driven Guidance):**
단순히 비디오를 복사하는 것만으로는 부족합니다. 로봇은 비디오에 있는 것보다 더 나은 움직임을 배워야 합니다.
- 유사성: 비디오 라이브러리를 지켜보는 코치를 상상해 보세요. 비디오 속 로봇이 높은 점수로 이어지는 움직임을 할 때, 코치는 휘슬을 불며 "그것을 더 많이 해라!"라고 말합니다. 로봇이 나쁜 움직임을 할 때는 "그것은 하지 마라"라고 말합니다.
- 저자들은 "비평가 (코치)"가 로봇의 훈련을 지켜보고 교훈에 가중치를 부여하는 시스템을 구축했습니다. 이는 로봇에게 비디오의 고득점 움직임에 특별히 주의를 기울이도록 지시하여, 단순히 복사하는 것을 넘어 개선을 가르치는 효과를 냅니다.

결과

이 팀은 D4RL이라고 불리는 유명한 일련의 과제들에서 이 새로운 로봇 두뇌를 테스트했습니다. 여기에는 두 다리로 걷기나 복잡한 미로 항해 (AntMaze) 와 같은 작업들이 포함됩니다.

결과: GTP 는 거의 모든 다른 방법들을 능가했습니다. 실용적일 정도로 빠르면서도 가장 어렵고 다단계인 퍼즐을 처리할 만큼 똑똑했습니다.
하이라이트: 악명 높은 "AntMaze" 작업 (로봇이 거대하고 구불구불한 미로를 항해해야 하는 상황) 에서 GTP 는 여러 단계에서 완벽한 점수를 기록했습니다. 이는 이전 방법들이 어려움을 겪었던 부분입니다.

요약

간단히 말해, 저자들은 "느리지만 똑똑한" 것과 "빠르지만 멍청한" 것 사이의 간극을 메웠습니다. 로봇의 움직임을 연속적인 여정으로 보고 이를 효율적으로 학습하기 위해 "요약 노트"를 사용함으로써, 그들은 복잡하고 다중 옵션 행동을 처리할 수 있는 높은 표현력 (expressive) 과 계산적 효율성을 모두 갖춘 정책을 만들었습니다. 그들은 오프라인 학습에서 속도를 희생하지 않고도 지능을 얻을 수 있음을 증명했습니다.

기술 요약: 생성적 궤적 정책 (Generative Trajectory Policies) 을 활용한 오프라인 강화학습

문제 제기

오프라인 강화학습 (RL) 은 추가적인 환경 상호작용 없이 정적이며 사전 수집된 데이터셋으로부터 정책을 학습한다는 근본적인 도전에 직면해 있습니다. 이러한 설정은 제한적이고 종종 협소한 경험에서 예측 불가능한 세계로 정책을 일반화해야 할 필요성을 요구합니다. 이 분야의 핵심 병목 현상은 **정책 표현력 (policy expressiveness)**과 계산 효율성 사이의 트레이드오프입니다.

전통적인 오프라인 RL 방법들은 종종 복잡한 다중 모드 행동을 포착하는 데 어려움을 겪는 간단한 함수 근사기 (예: 가우시안 정책) 에 의존합니다. 반면, 최근의 생성적 접근법인 **확산 정책 (Diffusion Policies)**과 같은 방법들은 복잡한 행동 분포를 모델링함으로써 높은 표현력을 제공하지만, 상당한 계산 부하를 부과하는 느리고 반복적인 샘플링 과정으로 고통받습니다. 이를 완화하기 위해 **일관성 정책 (Consistency Policies)**이 추론을 가속화 (종종 1~2 단계로 단축) 하기 위해 도입되었으나, 이러한 단순화는 종종 정책 성능 저하로 이어집니다. 본 연구가 다루는 핵심 연구 질문은 다음과 같습니다: 높은 정책 표현력과 계산 효율성을 동시에 달성하는 정책 클래스를 설계할 수 있는가?

방법론

1. 통합 ODE 프레임워크

저자들은 확산 모델, 흐름 매칭 (Flow Matching), 일관성 모델 (CMs), 일관성 궤적 모델 (CTMs) 을 포함한 현대적 생성 모델들을 **상미분방정식 (ODE)**에 의해 지배되는 연속 시간 생성 궤적을 학습하는 구체적인 사례로 보는 통합적 관점을 제시합니다.

역과정은 다음 ODE 로 설명됩니다:
$\frac{dx_t}{dt} = f(x_t, t)$
여기서 $f(x, t)$ 는 노이즈 분포 $x_T$ 에서 데이터 샘플 $x_0$ 까지의 결정론적 궤적을 정의합니다. 저자들은 시간 $t$ 의 상태를 시간 $s$ 의 상태로 매핑하는 흐름 맵 (Flow Map) $\Phi(x_t, t, s)$ 을 도입합니다. 그들은 기존 방법들이 이 흐름 맵의 특정 측면에 대한 근사일 뿐이라고 주장합니다.

이 맵을 학습하기 위해 두 가지 보완적인 학습 목적 함수를 정의합니다:

순간 흐름 손실 (Instantaneous Flow Loss, 지역적 앵커): $s \to t$ 의 극한에서 학습된 맵을 벡터장 (또는 디노이저) 에 매칭함으로써 무한소 단계에 대한 정확성을 강제합니다. 이는 확산 스타일 디노이징과 흐름 매칭 속도 추정을 통합합니다.
궤적 일관성 손실 (Trajectory Consistency Loss, 전역적 조절자): 중간 단계들의 조합이 직접적인 점프와 같음을 보장하여 긴 다단계 점프 전반에 걸쳐 자기 일관성을 강제합니다.

2. 생성적 궤적 정책 (Generative Trajectory Policies, GTP)

이 프레임워크를 바탕으로, 논문은 해당 ODE 의 전체 해 맵을 학습하는 새로운 정책 패러다임인 **생성적 궤적 정책 (GTPs)**을 소개합니다. 느리고 고충실도 샘플링에 국한되거나 빠르고 저충실도 단축 경로에 머무르는 방법들과 달리, GTP 는 유연하고 다단계이며 결정론적인 생성을 가능하게 합니다.

3. 오프라인 RL 을 위한 실용적 적응

GTP 패러다임을 기능적인 오프라인 RL 알고리즘으로 전환하기 위해서는 prohibitive 한 계산 비용, 학습 불안정성, 그리고 정렬되지 않은 목적 함수라는 세 가지 특정 과제를 해결해야 합니다. 저자들은 두 가지 핵심적인 이론적 원칙에 기반한 적응을 도입합니다:

안정적인 스코어 근사 (Stable Score Approximation):
- 과제: ODE 궤적을 학습하는 것은 일반적으로 각 샘플마다 내부 루프 솔버를 사용하여 ODE 를 역방향으로 수치적으로 푸는 것을 필요로 하므로, 초기 단계의 부정확한 추정치로 인한 오차 전파로 인해 계산적으로 처리 불가능하고 불안정합니다.
- 해결책: 저자들은 학습된 벡터장을 오프라인 데이터 샘플에 고정된 폐쇄형 대리 모델 (surrogate) 로 대체합니다: $\tilde{f}(x_t, t) = (x_t - x)/t$ .
- 이론적 보장: 정리 4.1 은 이 대리 모델을 사용하는 것이 학습 목적 함수를 $O(h^p)$ 만큼만 변경함을 증명합니다 (여기서 $h$ 는 단계 크기). 이는 학습 중 비용이 많이 드는 다단계 ODE 적분 없이도 실용적 목적 함수가 이상적인 목적 함수와 점근적으로 동등함을 보장하며 안정성을 확보합니다.
가치 기반 유도 (Value-Driven Guidance):
- 과제: 표준 생성적 목적 함수는 데이터 분포 (행동 복제, Behavior Cloning) 에 매칭되지만, 이는 본질적으로 정책 개선을 이끌지 않습니다.
- 해결책: 저자들은 KL 정규화 정책 최적화 문제의 최적 해를 유도하여 생성적 정책을 최적 정책에 매칭하는 것이 가중치가 이득 함수 (advantage function) 의 지수 함수인 가중 생성적 목적 함수를 푸는 것과 동등함을 보여줍니다: $w(s, a) \propto \exp(\eta A(s, a))$ .
- 구현: 안정성을 보장하기 위해 이득 가중치는 정규화되고 음수 값은 잘립니다. 이를 통해 정책은 데이터 지지 영역에 고정된 채로 고이득 행동을 우선적으로 모방할 수 있습니다.

주요 기여

생성적 궤적 정책 (GTP): 현대적 생성 모델들을 연속 시간 ODE 궤적과 연결하는 통합 프레임워크에서 파생된 새롭고 매우 표현력 있는 정책 패러다임.
이론적 적응: 실용적 오프라인 RL 을 위한 두 가지 핵심 적응:
- 학습 중 반복적 솔버의 필요성을 제거하고 효율성 및 안정성에 대한 이론적 보장을 제공하는 스코어 근사 기법.
- 모방 학습과 정책 최적화 간의 간극을 해소하는 가치 기반 정책 개선을 위한 변분 프레임워크.
실증적 검증: GTP 가 D4RL 벤치마크에서 기존 생성적 및 오프라인 RL 방법들을 능가하는 최첨단 성능을 달성함을 보여주는 광범위한 실험.

실험 결과

저자들은 GTP 를 Gym (locomotion) 과 AntMaze (희소 보상, 긴 시간 범위) 영역을 포괄하는 D4RL 벤치마크에서 평가했습니다.

행동 복제 (BC) 성능: 가치 유도 없이 순수 모방 학습자로서, GTP-BC 는 15 개 작업 중 11 개에서 최첨단 결과를 달성했습니다. 특히, 다음으로 좋은 방법 (평균 점수 44.1) 에 비해 AntMaze 스위트에서 평균 점수 66.3 으로 Diffusion-BC 및 Consistency-BC 를 크게 능가했습니다.
정책 개선: 전체 GTP 액터-크리틱 알고리즘은 생성적 정책에 대해 새로운 최첨단 기록을 세웠습니다.
- Gym 작업에서 GTP 는 평균 반환값 89.0을 달성하여 이전 최선 (Diffusion-QL 의 87.9) 을 능가했습니다.
- AntMaze 작업에서 GTP 는 평균 80.6을 달성하여 Diffusion-QL (69.6) 과 QGPO (78.3) 를 크게 능가했습니다.
- 주목할 만한 성과: GTP 는 notoriously 어려운 antmaze-umaze 작업에서 완벽한 점수 100.0을 달성했습니다.
효율성: 제거 실험 (Ablation studies) 은 GTP 가 성능을 위해 긴 ODE 궤적에 의존하지 않음을 확인시켰습니다. 샘플링 시간 범위를 5 에서 2 단계로 줄여도 추론 지연을 크게 줄이면서 높은 성능을 유지했습니다.

중요성과 주장

이 논문은 GTP 가 오프라인 RL 에서 표현력과 효율성 간의 간극을 성공적으로 해소했다고 주장합니다. 통합된 ODE 프레임워크의 렌즈를 통해 생성적 정책을 바라보고 전체 해 맵을 학습함으로써, GTP 는 반복적 확산 모델의 계산 병목 현상과 단순화된 일관성 모델의 성능 저하를 모두 피합니다.

저자들은 그들의 접근 방식이 생성적 정책을 설계하기 위한 원칙적 기초를 제공한다고 강조합니다. 스코어 근사와 가치 기반 유도 도입은 이론적으로 풍부한 이 프레임워크를 오프라인 RL 에 실용적으로 가능하게 합니다. 결과는 전체 연속 시간 궤적을 학습하는 것이 특히 다른 방법들이 어려움을 겪는 희소 보상, 긴 시간 범위 환경에서 복잡하고 시간적으로 확장된 행동을 포착하기 위한 강력한 귀납적 편향을 제공함을 시사합니다.

논문은 추론이 빠르지만, 이 모델 클래스의 상당한 학습 시간을 단축하는 것이 향후 연구의 중요한 방향임을 결론짓습니다. 이 작업은 RL 에서 연속 시간 역학을 활용하는 유망한 방향을 열어주며, 이전에는 달성할 수 없었던 견고성과 성능 사이의 균형을 제공합니다.