🤖 machine learning

Active Offline-to-Online Reinforcement Learning

이 논문은 국소적 선형 성능 예측에서 유도된 상한 신뢰 구간을 사용하여 후보 정책을 평가하는 것과 가장 유망한 정책을 미세 조정하는 것 사이의 절충안을 동적으로 균형 있게 조절함으로써 제한된 상호작 작용 예산을 최적화하는 오프라인-투-온라인 강화 학습을 위한 새로운 능동적 정책 선택 프레임워크를 소개한다.

원저자: Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alper Kamil Bozkurt, Shangtong Zhang, Yuichi Motai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 마라톤을 배우려는 신인 선수들을 가르치는 로봇 코치라고 상상해 보십시오. 당신에게는 과거 다른 러너들이 어떻게 움직였는지를 보여주는 방대한 양의 오래된 경기 영상(오프라인 데이터셋)이 있습니다. 또한, 당신에게는 매우 엄격한 규칙이 하나 있습니다. 실제 트랙은 위험하거나, 비용이 많이 들거나, 혹은 날씨가 나쁘기 때문에 신인들이 실제 트랙에서 달릴 수 있는 시간(온라인 상호작용 예산)이 아주 적고 제한적이라는 것입니다.

큰 문제는, 영상 속의 러너가 훌륭해 보였다고 해서 실제 트랙에서도 잘할 것이라는 보장이 없다는 점입니다. 실제로 어떤 이들은 시작하자마자 넘어질 수도 있습니다. 이것이 바로 **오프라인-투-온라인 강화 학습(Offline-to-Online Reinforcement Learning, O2O-RL)**의 세계입니다.

기존 방식: 너무 빨리 승자를 선택하기

전통적으로 코치들은 영상을 보고, 추측을 통해 가장 "잘 달려 보이는" 신인 한 명을 뽑은 뒤, 그 한 사람을 훈련하는 데 모든 제한된 트랙 시간을 쏟아부었습니다. 만약 그 추측이 틀렸거나, 혹은 그 선수가 진정한 잠재력을 보여주기 위해 약간의 준비 운동 시간이 더 필요했던 것이라면, 코치는 전체 예산을 낭비하게 된 것입니다.

다른 코치들은 다른 실수를 저지르기도 했습니다. 그들은 아주 적은 트랙 시간을 모든 사람에게 똑같이 나누어 주었습니다. 이 방식은 만약 누군가 타고난 챔피언이라 할지라도, 그 누구도 충분히 숙련될 만큼의 시간을 갖지 못하게 만들었습니다.

새로운 아이디어: "스마트 스위치" 코치

이 논문의 저자인 알퍼 카밀 보즈쿠르트(Alper Kamil Bozkurt), 샹통 장(Shangtong Zhang), 유이치 모타이(Yuichi Motai)는 더 똑똑한 방법을 제안합니다. 그들은 이 과정을 수정구슬이 있는 의자 뺏기 게임처럼 다룹니다.

스쿼드(팀): 먼저, 그들은 오래된 영상들을 사용하여 다양하고 거대한 후보 그룹(각 환경당 16명의 서로 다른 "신인")을 훈련시킵니다. 각 후보는 약간씩 다른 훈련 규칙(알고리즘 및 설정)을 사용합니다.
수정구슬: 신인들이 실제 트랙을 달릴 때, 코치는 단순히 지켜보기만 하는 것이 아니라 **국소 선형 회귀 모델(local linear regression model)**을 사용합니다. 이것은 수정구슬과 같은데, 러너가 방금 수행한 몇 단계의 움직임을 보고 미래에 어디에 있을지 예측하여 직선을 그립니다. 또한, 예측에 대한 불확실성을 보여주기 위해 예측 주변에 "모호한 구역"(신뢰 구간)을 그립니다.
스위치(전환): 코치는 한 명의 러너에게 계속 머물러 있지 않습니다. 대신, 코치는 끊임없이 다음과 같이 질문합니다: "현재의 속도와 향후 얼마나 개선될 가능성을 고려했을 때, 지금 가장 높은 잠재력 점수를 가진 사람은 누구인가?"
- 만약 어떤 러너가 빠르게 발전하고 있다면, 코치는 그를 계속 훈련시킵니다.
- 만약 어떤 러너가 정체되거나 속도가 줄어들기 시작하면, 코치는 즉시 더 나은 미래가 보이는 다른 신인으로 **전환(switch)**합니다.
- 그들은 **상한 신뢰 경계(Upper Confidence Bounds, UCB)**라는 수학적 기법을 사용합니다. 이것은 위험 부담이 있지만 슈퍼스타가 될 수도 있는 러너들에게 보너스 점수를 주는 것과 같으며, 이를 통해 코치가 단지 운이 나쁜 날이라는 이유만으로 그들을 너무 일찍 포기하지 않도록 보장합니다.

실험 결과가 보여준 것

연구진은 컴퓨터 시뮬레이션 환경(Swimmer, Hopper, Ant, Maze 등)에서 이 "스마트 스위치" 방법을 테스트했습니다. 그들은 물리적인 로봇을 만든 것이 아니라, 16개의 프로세서 코어를 사용하여 컴퓨터로 이 테스트를 수행했습니다.

결과는 다음과 같습니다:

더 효과적입니다: 거의 모든 테스트에서 그들의 "스마트 스위치" 방식이 기존 방식들을 이겼습니다. 예를 들어, Maze 작업에서 그들의 방식은 97.3%(최고 점수를 100%로 잡았을 때)의 점수에 도달한 반면, 기존의 "한 명 뽑기" 방식은 **67.0%**에 그쳤습니다.
"준비 운동"을 처리합니다: 어떤 로봇들(Hopper나 Ant 같은 경우)은 빠르게 달리기 시작하기 전까지 긴 시간이 필요합니다. 기존의 "시간을 나누는" 방식은 여기서 실패했는데, 왜냐하면 어떤 단일 로봇에게도 충분한 준비 운동 시간을 주지 못했기 때문입니다. "스마트 스위치" 방식은 기다리면서 누가 준비 운동을 하고 있는지 파악한 뒤, 그 한 명에게 모든 시간을 쏟아부었습니다.
완벽하지는 않습니다: 예산이 매우 타이트할 때, 그들의 방식은 Swimmer와 Ant 환경에서 어려움을 겪었습니다. 때때로 "수정구슬"이 러너가 단순히 시작이 안 좋은 것인지 아니면 정말로 실력이 없는 것인지 구분하지 못해, 코치가 구제할 수 없는 러너를 고치느라 시간을 낭비하게 만들기도 했습니다.

그들이 "아니오"라고 말한 것들

저자들은 자신들의 방법이 무엇이 아닌지를 매우 명확히 했습니다:

그들은 로봇을 처음부터 훈련시키는 새로운 방법을 발명한 것이 아닙니다. 그들은 기존의 훈련 알고리즘(CalQL, ReBRAC, IQL, AWAK 등)을 사용했고, 그 위에 자신들의 "스마트 스위치" 레이어를 추가했을 뿐입니다.
그들은 (시작부터 가장 좋은 러너를 고르는 것이) 좋은 아이디어라고 주장하지 않았습니다. 그들의 데이터에 따르면, 테이프 상에서 가장 좋아 보였던 러너가 실제 트랙에 들어섰을 때 무작위 추측보다 성능이 떨어지는 경우가 많았습니다.
그들은 이 방법이 그 자체로 "분포 변화(distributional shift, 로봇이 훈련된 데이터와 다르게 행동하는 현상)" 문제를 해결한다고 말하지 않았습니다. 그들은 단지 능동적으로 전략을 전환하는 것이 리스크를 관리하는 데 도움이 된다는 것을 보여주었을 뿐입니다.

얼마나 확신하나요?

저자들은 자신들이 수행한 시뮬레이션 내에서의 결과에 대해 확신합니다. 그들은 다양한 로봇 작업(항해, 균형 잡기, 걷기)에 걸쳐 실험을 테스트했으며, 결과가 단순히 운이 아니라는 것을 확인하기 위해 네 가지 서로 다른 무작위 시드(random seed)로 실험을 반복했습니다.

하지만 그들은 이것이 시뮬레이션이라는 점을 주의 깊게 언급합니다. 그들은 아직 이 방법을 실제 공장이나 위험한 환경에 있는 실제 물리적 로봇에 테스트하지 않았습니다. 그들은 자신들의 방법이 오프라인 학습을 실용적으로 만드는 데 큰 진전이지만, 복잡하고 예측 불가능한 실제 세계에 견딜 만큼 견고하게 만들기 위해서는 여전히 할 일이 남아 있다고 제안합니다.

요약하자면, 로봇을 훈련하기 위한 예산이 한정되어 있다면, 하나의 추측에 모든 것을 걸지도 말고, 그렇다고 돈을 너무 잘게 나누지도 마십시오. 대신, 옵션을 열어두고, 누가 발전하고 있는지 관찰하며, 가장 좋은 미래 잠재력을 가진 쪽으로 베팅을 바꿀 준비를 하십시오.

기술 요약: 능동적 오프라인-투-온라인 강화학습 (Active Offline-to-Online Reinforcement Learning)

문제 정의
오프라인 강화학습(Offline RL)은 정적인 데이터셋으로부터 정책을 학습할 수 있게 하여, 초기 온라인 탐색에 따르는 비용과 위험을 방지합니다. 그러나 오프라인으로 사전 학습된 정책은 분포 변화(distributional shift)로 인해 실제 환경에서 예측 불가능하거나 저조한 성능을 보일 수 있습니다. 오프라인-투-온라인(O2O-RL) 패러다임은 제한된 온라인 상호작용 예산을 사용하여 사전 학습된 정책을 미세 조정(fine-tuning)함으로써 이 문제를 해결합니다.

기존의 O2O-RL 접근 방식은 대개 오프라인 사전 학습 단계를 개선하는 데 집중하거나, 미세 조정을 위해 단일 정책이 선택된다고 가정합니다. 하지만 제한된 상호작용 예산 하에서의 능동적 정책 선택에는 중요한 공백이 존재합니다. 표준 파이프라인은 종종 하나의 정책을 미세 조정에 확정적으로 할당하거나, 모든 후보군에 예산을 균등하게 배분합니다. 이는 다음과 같은 이유로 위험합니다:

사전 학습된 정책은 실제 환경에서 임의로 형편없는 성능을 보일 수 있습니다.
미세 조정 성능은 알고리즘 선택, 하이퍼파라미터, 무작위 시드(random seed)에 매우 민밀합니다.
미세 조정 궤적은 비단조적(non-monotonic)입니다. 즉, 정체되거나, 퇴보하거나, 높은 분산을 보일 수 있으며, 이로 인해 어떤 정책이 궁극적으로 성공할지를 전체 예산을 낭비하지 않고 식별하기가 어렵습니다.

핵적인 과제는 고성능 후보를 식별하기 위해 여러 후보를 평가하는 것과, 특정 후보의 성능을 향상시키기 위해 미세 조정하는 것 사이의 트레이드오프입니다.

방법론
저자들은 정책 선택과 미세 조정을 공동으로 수행하는 능동적 O2O-RL 프레임워크를 제안합니다. 이 접근 방식은 두 단계로 작동합니다:

오프라인 단계: 다양한 오프라인 RL 알고리즘(예: AWAC, IQL, CalQL, ReBRAC)과 하이퍼파라미터 설정(예: 학습률, 배치 크기)을 사용하여 정적 데이터셋에 대해 $K$ 개의 다양한 후보 정책 풀을 학습시킵了.
온라인 단계 (능동적 선택 및 미세 조정):
- 국소 선형 예측 (Local Linear Forecasting): 각 후보 정책 계보(lineage)에 대해, 시스템은 온라인 평가를 통해 얻은 가치 추정치의 이력을 유지합니다. 최근 $w$ 개의 가치 추정치에 국소 선형 회귀 모델을 적합시켜 미래 성능 추세를 예측합니다. 이 모델은 단기적인 상승 또는 하락 추세를 포착하고 시간 가변적 불확실성(잔차 분산)을 추정합니다.
- 상한 신뢰 구간 (UCB) 선택: 시스템은 각 정책의 미래 성능에 대한 상한 신뢰 구간(UCB)을 계산합니다. UCB는 예측된 가치에 스케일링된 예측 구간을 더하여 도출됩니다.
- 적응형 탐색: 고정된 탐색 파라미터를 사용하는 대신, 방법론은 현재 관측된 최적 가치( $v^*_j$ )를 기반으로 탐색 정도를 동적으로 조정합니다. 시스템은 현재 최적 가치에 도달하기 위해 최소한의 "스케일"이 필요한 정책을 선택하며, 이를 통해 불확실하지만 유망한 정책을 탐색해야 하는 필요성과 이미 잘 알려진 고성능 정책을 활용(exploit)해야 하는 필요성 사이의 균형을 효과적으로 맞춥니다.
- 반복 루프: 각 반복마다 가장 높은 UCB를 가진 정책이 선택되어 한 단계 동안 미세 조정되고 온라인으로 평가됩니다. 가치 추정치가 계보에 추가되고, 국소 선형 모델이 업데이트되며, UCB가 재계산됩니다. 만약 다른 정책의 UCB가 현재 최적치를 초과하면 시스템은 해당 정책으로 전환합니다.

주요 기여

새로운 문제 정식화: 저자들의 지식 범위 내에서, 이 연구는 O2O-RL 환경에서 제한된 상호작용 예산 하의 미세 조정을 위한 능동적 정책 선택을 다룬 최초의 작업입니다. 이는 평가와 미세 조정 사이의 트레이드오프를 명시적으로 모델링합니다.
능동적 선택 알고리즘: 미래 성능을 예측하기 위해 국소 선형 회귀를 사용하고, 어떤 정책을 미세 조정할지 능동적으로 선택하기 위해 UCB 기준을 사용하는 방법을 제안합니다. 이는 부적절한 후보에 대한 조기 확정을 방지합니다.
경험적 검증: 제안된 방법은 내비게이션(Point Maze), 고전 제어(Inverted Pendulum, Swimmer, Reacher, Pusher), 그리고 보행 로코모션(Hopper, HalfCheetah, Walker2d, Ant)을 포함한 다양한 시뮬레이션 로봇 벤치마크 세트에서 평가되었습니다.

결과
실험은 1,000K 트랜지션의 온라인 상호작용 예산(및 절제 연구를 위한 750K의 더 작은 예산)을 사용하여 수행되었습니다. 제안된 ACTIVE 방법은 다음과 같은 여러 베이스라인과 비교되었습니다:

RANDOM: 미세 조정 없이 무작위로 정책을 선택함.
BEST: 미세 조정 없이 오프라인 추정치가 가장 높은 정책을 선택함.
FTS (Fine-Tuning Single): 무작위로 선택된 단일 정책에 전체 예산을 사용하여 미세 조정함.
FTA (Fine-Tuning All): 모든 후보에게 예산을 균등하게 배분함.

결과 요약:

지속적인 우위: ACTIVE 접근 방식은 대부분의 환경에서 모든 베이스라인보다 일관되게 우수한 성능을 보였으며, FTS(64.3%)와 FTA(63.1%)에 비해 높은 **82.3%**의 전체 평균 정규화 리턴을 달-성했습니다.
적응성: 정책이 느리게 개선되거나 긴 웜업 기간이 필요한 환경(예: 보행 로코모션)에서, ACTIVE는 유망한 계보를 성공적으로 식별하고 예산의 대부분을 할당하여, 약한 후보에 자원을 낭비한 FTA보다 우수한 성능을 보였습니다. 반대로, 정책이 퇴보하거나 정체될 수 있는 환경에서는 ACTIVE가 실패하는 계보로부터 전환하였으며, 이는 로컬 옵티마에 갇히게 되는 FTS보다 뛰어난 결과였습니다.
한계점: 정책 계보가 장기간 개선의 징후를 거의 보이지 않는 Swimmer 및 Ant와 같은 특정 환경에서는 어려움을 겪었습니다. 이러한 경우, 시스템은 개선되는 계보를 찾으려고 시도하다가 예산을 모두 소진하기도 했습니다.
민감도: 국소 선형 모델의 윈도우 크기( $w$ )에 대한 절제 연구에 따르면, $w=3$ 이 일반적으로 효과적이지만, Ant와 같이 고차원이고 노이즈가 많은 환경에서는 더 큰 윈도우가 더 노이즈가 적은 예측을 생성하여 성능을 높일 수 있으나, 급격한 변화에 대한 민감도는 낮아질 수 있음을 보여주었습니다.

의의 및 주장
본 논문은 이 프레임워크가 온라인 상호작용이 비용이 많이 들거나 위험한 실제 시스템에 오프라인 RL을 실제 배포하는 데 있어 진전이 있다고 주장합니다. 단일 정책에 전념하거나 자원을 균등하게 나누는 것보다 능동적 선택과 동적 예산 할당이 더 효과적임을 입증함으로써, 본 연구는 사전 학습된 정책의 변동성을 다루는 강력한 메커즘을 제공합니다.

저자들은 자신의 접근 방식이 강력한 베이스라인들보다 우수하지만 개선의 여지가 있다고 겸허히 언급했습니다. 그들은 탐색 롤아웃을 활용한 진행 상황 모니터링, 정책 유사성 통합, 그리고 부적절한 후보를 더 조기에 제거하기 위해 O2O-RL에 특화된 OPE(Off-Policy Evaluation) 방법 개발 등을 향후 연구 방향으로 제시했습니다. 이 작업은 더 포괄적인 분석, 더 많은 태스크에 걸친 확장된 실험, 그리고 상세한 절제 연구를 제공함으로써 이전 컨퍼런스 논문을 확장한 것입니다.

기존 방식: 너무 빨리 승자를 선택하기

새로운 아이디어: "스마트 스위치" 코치

실험 결과가 보여준 것

그들이 "아니오"라고 말한 것들

얼마나 확신하나요?

유사한 논문