🤖 machine learning

SEAR: Sample Efficient Action Chunking Reinforcement Learning

본 논문은 다중 호라이즌 타겟(multi-horizon targets)과 후퇴 호라이즌 재계획(receding horizon replanning) 전략을 갖춘 인과적 트랜스포머 크리틱(causal transformer critic)을 활용하여 액션 청크(action chunks)를 통한 효과적인 온라인 학습을 가능하게 함으로써, 도전적인 조작 작업에서 최신 기술들을 능가하는 샘플 효율적인 오프 폴리시 강화학습 알고리즘인 SEAR을 소개한다.

원저자: C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 복잡한 비디오 게임, 예를 들어 열쇠를 줍고, 문을 열고, 퍼즐을 풀어야 하는 미로 게임을 가르친다고 상상해 보세요. 인공지능의 세계에서 이것은 **강화 학습(Reinforcement Learning)**이라고 불립니다. 이것은 강아지를 훈련시키는 것과 비슷합니다. 강아지가 옳은 행동을 할 때마다 간식(보상)을 주면, 강아지는 그 행동을 반복하는 법을 배웁니다. 하지만 까다로운 점이 있습니다. 게임이 매우 길다면, 강아지는 맨 끝에 받은 간식이 맨 처음 했던 행동 때문이라는 것을 잊어버릴 수도 있습니다. 즉, 시작과 끝 사이의 점들을 연결할 줄 알아야 합니다.

로봇이 더 빨리 학습하도록 돕기 위해, 과학자들은 **액션 청킹(Action Chunking)**이라는 기술을 사용합니다. 로봇에게 "팔을 왼쪽으로 움직여라", "팔을 위로 올려라", "컵을 잡아라"라고 한 번에 한 단계씩 아주 작게 말하는 대신, "왼쪽으로 움직이고, 위로 올리고, 잡아라라는 전체 시퀀스를 실행해"라고 말하는 것입니다. 이는 피아니스트에게 한 번에 한 음표씩 가르치는 대신, 한 마디의 음악 전체를 한꺼번에 가르치는 것과 같습니다. 이를 통해 로봇은 더 큰 그림을 보고 더 잘 계획할 수 있습니다. 하지만 함정이 있습니다. 만약 로봇에게 음악을 연주하는 동안 음악을 듣게 하지 않고 그냥 통째로 연주하라고만 한다면, 잘못된 음을 쳤을 때 길을 잃을 수 있습니다. 로봇은 멈춰서, 듣고, 자신의 계획을 끊임없이 조정할 수 있어야 합니다. 이 논문은 로봇이 너무 느려지거나 상황이 잘못되었을 때 반응하지 못하게 만들지 않으면서, 어떻게 이러한 큰 "청크(덩어리)" 단위의 행동을 가르칠 수 있는지에 대한 문제를 다룹니다.

SEAR(Sample Efficient Action Chunking Reinforcement Learning)를 만나보세요. 이는 로봇이 평정심을 잃지 않고 앞을 내다보며 계획하는 법을 가르치기 위해 설계된 새로운 방법입니다. 연구진은 로봇에게 한 번에 전체 동작 시퀀스(하나의 "청크")를 실행하도록 지시하는 것이 학습에는 좋지만, 기존 방식대로 하면 종종 재앙으로 이어진다는 것을 발견했습니다. 만약 로봇에게 10가지 동작 목록을 건네주며 "가!"라고 명령했는데, 로봇이 3번째 동작에서 실수를 했다면, 로봇은 목록이 끝날 때까지 눈을 감은 채 계속 진행하게 됩니다. 로목이 경로를 벗어났다는 것을 깨달았을 때는 이미 너무 늦은 상태가 됩니다.

저자들은 기존 방식들이 실패한 주요 원인이 로봇에게 계획의 작은 조각들에 대해 충분한 "연습"을 시키지 않았기 때문이라는 것을 발견했습니다. 마치 2분짜리 곡 전체를 하루에 딱 한 번씩만 연습하며 춤 동작을 배우려는 것과 같습니다. 그러면 개별 동작을 제대로 익힐 수 없을 것입니다. SEAR는 **인과적 트랜스포머 비평가(Causal Transformer Critic)**라고 불리는 특별한 종류의 선생님을 사용하여 이 문제를 해결합니다. 이 선생님은 단순히 전체 춤의 최종 결과만을 채점하는 것이 아니라, 시퀀스가 진행되는 동안 매 단계마다 로봇을 채점합니다. 이는 마치 음악이 끝날 때마다 멈춰서 "발놀림이 좋았어!"라거나 "팔꿈치를 조심해!"라고 말해주는 무용 강사와 같습니다. 이를 통해 로봇은 매 시도마다 엄청난 양의 피드백을 얻게 되며, 훨씬 더 빠르고 효율적으로 학습하게 됩니다.

하지만 큰 청크를 배우는 것은 절반의 과제일 뿐입니다. 로봇은 또한 빠르게 반응할 수 있어야 합니다. 이를 해결하기 위해 SEAR는 **무작위 재계획(Random Replanning)**이라는 영리한 전략을 사용합니다. SEAR는 로봇에게 계획한 모든 동작을 다 실행하라고 강요하는 대신, 목록의 무작위한 일부—예를 들어 처음 세 동작만—를 실행한 뒤 멈추고, 현재 실제 위치를 바탕으로 "좋아, 이제 계획이 뭐야?"라고 묻도록 합니다. 이는 단순히 경로를 알려주고 "운전해"라고 말하는 GPS가 아니라, 교통 체증을 피하기 위해 몇 블록마다 경로를 다시 계산하는 GPS와 같습니다. 이를 통해 로봇의 "상태-행동 커버리지(state-action coverage)"를 높게 유지하여, 완벽하게 계획한 상황뿐만 아니라 온갖 종류의 상황을 처리하는 법을 배우게 합니다.

결과는 인상적입니다. 20가지의 매우 어려운 로봇 조작 작업(물건 집기, 버튼 누르기 등)이 담긴 Metaworld 벤치마크에서 테스트했을 때, SE-AR은 80% 이상의 성공률을 달로성했습니다. 이는 기존 방식들이 약 60% 정도에 머물렀던 것에 비해 엄청난 도약입니다. 더욱 흥러운 점은, 연구진이 SEAR가 훈련 중에는 이러한 큰 청크를 사용하여 학습할 수 있지만, 실제 테스트 시에는 단일 단계 결정으로 전환하여, 결과적으로 '큰 덩이로 생각하며 훈련받은 초고속 단일 단계 학습자'가 될 수 있다는 것을 발견했다는 것입니다.

또한 연구진은 SEAR를 "오프라인 투 온라인(offline-to-online)" 설정에서도 테스트했습니다. 여기서 로봇은 먼저 방대한 과거 영상 데이터셋(오프라인)으로부터 학습한 다음, 실제로 과업을 수행하며(온라인) 성능을 개선합니다. QC라는 기존 방식에 SEAR의 기술을 적용함으로써, 연구진은 OGBench 큐브-트리플(cube-triple) 작업에서 상당한 성능 향상을 확인했으며, 이는 로봇이 과거의 데이터라는 출발점을 가지고 있을 때도 이 아이디어들이 효과적임을 입증했습니다.

하지만 저자들은 이것이 모든 로봇을 위한 마법의 해결책은 아니라고 주의를 기울입니다. 그들은 SE-AR이 가구 조립이나 물체 이동처럼 시간이 걸리고 순식간의 반사 신경이 필요하지 않은 작업에 가장 적합하다고 지적합니다. 숲속을 달리는 로봇 개처럼 즉각적인 반응이 필요한 일에는 적합하지 않을 수 있는데, 이는 "청킹" 방식이 너무 빠른 반응을 요구할 경우 데이터 품질을 떨어뜨릴 수 있기 때문입니다. 그러나 느리고 신중하며 복잡한 로봇 조작 작업에 있어서, SEAR는 기계가 앞을 내다보고, 더 빨리 배우며, 기민함을 유지하도록 가르치는 강력한 새로운 방법을 제시합니다.

기술 요약: SEAR (Sample Efficient Action Chunking Reinforcement Learning)

문제 정의

액션 청킹(Action chunking)은 정책이 단일 단계가 아닌 미래의 액션 시퀀스를 예측하는 기법으로, 모방 학습(Imitation Learning)과 오프라인 강화학습(Offline RL)에서 탁월한 성공을 보여주었습니다. 강화학습(RL)에서 이는 가치 전파(Value propagation)를 가속화하고 구조화된 탐색을 용이하게 하여, 희소 보상(Sparse reward)이 발생하는 장기 호라이즌(Long-horizon) 과업에 특히 유익합니다. 그러나 특정 설계 고려사항 없이 표준적인 온폴리시(Off-policy) 온라인 RL 알고리즘에 액션 청킹을 적용하면 샘플 효율성과 성능 저하 문제가 발생합니다.

본 논문은 액션 청킹을 온라인 RL로 확장할 때 발생하는 두 가지 주요 실패 모드를 식별합니다:

크리틱 근사 오류 (Critic Approximation Errors): 확장된 액션 공간(N개의 액션 시퀀스)은 Q-함수 근사를 어렵게 만듭니다. 기존 방식들은 전체 청크에 대해 단일 Q-값을 예측하도록 크리틱을 학습시키는 경우가 많습니다. 이는 액션 공간의 차원은 청크 크기 $N$ 에 따라 증가하지만, 학습 타겟의 수는 일정하게 유지되어 액터 업데이트가 제대로 이루어지지 않는 불일치를 초래합니다.
상태-액션 커버리지 감소 (Reduced State-Action Coverage): 액션 청크를 오픈 루프(Open-loop) 방식으로 실행하면 정책의 의사결정 빈도가 줄어듭니다. 만약 정책이 $N$ 개의 액션을 예측하지만 매 $N$ 단계마다 환경을 쿼리한다면, 중간 상태들에 대한 평가가 드물게 이루어집니다. 이는 특히 초기 상태 분포가 좁은 환경에서 상태 커버리지에 "구멍(Holes)"을 만듭니다. 이러한 정책을 리세딩 호라이즌(Receding horizon, 예측된 일부만 실행) 방식으로 배포할 경우, 분포 외(Out-of-distribution) 상태에 직면하게 되어 성능이 하락하고 청킹의 이점이 상쇄됩니다.

방법론: SEAR

저자들은 최대 엔트로피 강화학습(MaxEnt-RL) 프레임워크 내에서 이러한 한계를 극복하기 위해 설계된 오프폴리시 알고리즘인 SEAR(Sample Efficient Action Chunking Reinforcement Learning)를 소개합니다. SEAR는 세 가지 핵심 구성 요소를 통합합니다:

1. 멀티 호라이즌 Q-함수 타겟 (Multi-Horizon Q-Function Targets)

크리틱 근사 문제를 해결하기 위해, SEAR는 멀티 호라이즌 타겟 전략을 채택합니다. 전체 $N$ -스텝 리턴에 대한 단일 타겟을 학습하는 대신, 액션 청크의 모든 접두사(Prefix)( $k=1$ 부터 $N$ 까지)에 대한 타겟을 생성합니다.

메커니즘: 액션 청크 $a_{t:t+N}$ 에 대해, 크리틱은 모든 접두사에 대한 Q-값 $Q^{(k)}(s_t, a_{t:t+k})$ 를 예측하도록 학습됩니다.
이점: 이는 샘플당 학습 타겟의 수를 효과적으로 증가시켜, 액션 공간 차원과 학습 타겟 수 사이의 비율을 청크 크기 $N$ 과 무관하게 만듭니다. 이는 더 조밀한 학습 신호를 제공하여 큰 청크 크기에서도 학습을 안정화합니다.

2. 인과적 트랜스포머 크리틱 (Causal Transformer Critic)

액션 시퀀스에 내재된 시간적 의존성과 멀티 호라이즌 타겟을 처리하기 위해, SEAR는 크리틱 백본으로 **인과적 트랜스포머(Causal Transformer)**를 사용합니다.

아키텍처: 트랜스포머는 상태와 액션 시퀀스를 처리하여 모든 접두사에 대한 Q-값을 동시에 예측합니다.
정당성: 인과적 구조는 $k$ -스텝 타겟 $G^{(k)}$ 가 오직 첫 $k$ 개의 액션에만 의존하도록 보장하며, 이는 멀티 호라이즌 학습 목표와 완벽하게 일치합니다. 이 아키텍처는 이러한 설정에서 표준 MLP 크리틱보다 우수한 성능을 보입니다.

3. 랜덤 리플래닝을 통한 상태 커버리지 확보 (Random Replanning for State Coverage)

상태-액션 커버리지를 복구하고 효과적인 리세딩 호라이즌 제어를 가능하게 하기 위해, SEAR은 데이터 수집 과정에서 **랜덤 리플래닝(Random replanning)**을 도입합니다.

메커니즘: 에이전트는 고정된 접두사 길이 $k$ 또는 전체 청크를 실행하는 대신, 재계획(Re-planning)을 수행하기 전 랜덤한 길이 $k \sim \text{Uniform}(1, N)$ 의 접두사를 실행합니다.
이점: 이는 액터를 매 $N$ 단계마다 평가하는 경직된 패턴을 깨뜨립니다. 이를 통해 에이전트가 다양한 중간 상태에서 쿼리되도록 하여 균등한 상태 커버리지 분포를 생성합니다. 결과적으로 테스트 시 짧은 리세딩 호라이즌을 사용하여 배포하더라도 분포 변화(Distribution shift) 없이 강건하게 평가될 수 있습니다.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

SEAR 알고리즘: MaxEnt-RL 프레임워크에 기반하여 액션 청킹을 위해 특별히 설계된 오프폴리시 RL 방법론입니다.
멀티 호라이즌 타겟 및 인과적 크리틱: 인과적 트랜스포머 크리틱을 멀티 호라이즌 $N$ -스텝 리턴과 결합하여, 청크 내의 액션별 학습 타겟을 제공함으로써 샘플 효율성을 크게 향상시켰습니다.
랜덤 리플래닝: 액션 청크의 랜덤 접두사를 실행하여 상태-액션 커버리지를 복구하고, 효과적인 리세딩 호라이즌 제어를 가능하게 하는 새로운 데이터 수집 전략입니다.
실증적 검증: SEAR가 최신 온라인 및 오프라인-투-온라인(Offline-to-online) RL 방법들을 일관되게 능가함을 광범로한 실험을 통해 입증했습니다.

실험 결과

저자들은 Metaworld 온라인 RL 벤치마크와 OGBench 오프라인-투-온라인 벤치마크 두 가지에서 SEAR를 평가했습니다.

Metaworld (Online RL):
- SEAR는 Metaworld의 가장 어려운 20개 환경에서 테스트되었습니다.
- SEAR는 IQM(Interquartile Mean) 성공률 80% 이상을 달s성하였으며, 이는 약 60% 수준에서 정체된 SimbaV2(최신 비-청킹 방식) 및 CQN-AS(최신 청킹 방식)를 실질적으로 압도한 수치입니다.
- SimbaV2에 액션 청킹을 적용한 버전은 약 20%의 성공률만을 기록하여, SEAR의 특정 설계 선택 없이는 오프라인 청킹 기술을 온라인 설정으로 전이하는 것이 어렵다는 점을 보여주었습니다.
- 어블레이션 연구(Ablation studies)를 통해 멀티 호라이즌 타겟이나 랜덤 리플래닝을 제거할 경우 성능이 베이스라인 수준(~20%)으로 급락함을 확인했습니다.
OGBench (Offline-to-Online RL):
- SEAR의 구성 요소(멀티 호라이즌 타겟 및 랜덤 리플래닝)를 QC 프레임워크에 적용했을 때, 까다로운 cube-triple 과업에서 표준 QC 및 QC-FQL보다 향상된 성능을 보였습니다.
- 이러한 개선은 온라인 학습 초기 단계에서 가장 두드러졌습니다.
리세딩 호라이즌 분석 (Receding Horizon Analysis):
- 큰 청크(예: $N=10$ 또는 $20$)로 학습되었지만 짧은 리세딩 호라이즌(예: 3~5 스텝)으로 배포된 SEAR 정책이 가장 좋은 성능을 보였습니다.
- 주목할 점은, 청킹으로 학습되고 리세딩 호라이즌 1(사실상 단일 단계 정책)로 배포된 SEAR가 비-청킹 방식인 SEAR-1과 SimbaV2를 모두 능가했다는 것입니다. 이는 청킹이 더 나은 단일 단계 정책을 학습하기 위한 '학습 전용 메커니즘'으로 사용될 수 있음을 시사합니다.

의의 및 주장

본 논문은 SEAR를 온라인 강화학습에 액션 청킹을 적용할 때 발생하는 특정 과제들을 해결하는 솔루션으로 규정합니다. 저자들은 기존 방법들이 크리틱의 고차원 액션 공간 근사 문제와 오픈 루프 실행으로 인한 상태 커버리지 부족이라는 이중 과제를 해결하지 못했기 때문에 온라인 환경에서 실패했다고 주장합니다.

SEAR의 의의는 다음과 같습니다:

학습과 평가의 분리: 가치 전파와 구조화된 탐색을 가속화하기 위해 학습 시에는 큰 액션 청크를 사용할 수 있게 하면서도, 평가 시에는 리세딩 호프론 제어를 통해 높은 반응성을 유지할 수 있게 합니다.
온라인 청킹 가능성 입증: 크리틱을 멀티 호라이즌 타겟으로 학습시키고 랜덤 리플래닝을 통해 액터의 상태 커버리지를 유지한다면, 사전 오프라인 데이터 없이도 순수 온라인 설정에서 액션 청킹이 가능하다는 것을 보여줍니다.
일반적 적용성: 멀티 호라이즌 타겟과 랜덤 리플래닝이라는 핵심 아이디어가 오프라인-투-온라인 설정에서도 효과적으로 전이됨을 보여줌으로써, 이들이 액션 청킹 방법론 전반에 걸친 근본적인 개선책임을 시사합니다.

저자들은 한계점에 대해 겸허한 태도를 유지하며, 액션 청킹이 장기 호라이즌 과업(로봇 조작 등)에는 적합하지만, 오픈 루프 실행으로 인한 데이터 품질 저하가 너무 심한 고반응성 도메인(보행/Locomotion 등)에는 적합하지 않을 수 있다고 언급했습니다. 또한 트랜스포머 크리틱 사용에 따른 계산 비용 증가에 대해서도 인정하였습니다.