🤖 machine learning

Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

본 논문은 오프라인 성능 추정과 상한 신뢰구간 전략을 결합하여 오프폴리시 평가의 불신뢰성과 포괄적인 온라인 테스트의 비실용성을 극복하면서 제한된 상호작용 예산 하에서 후보 정책을 효율적으로 선택하고 미세 조정하는 오프라인-온라인 강화학습을 위한 새로운 적응형 접근법을 제안한다.

원저자: Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

게시일 2026-05-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alper Kamil Bozkurt, Xiaoan Xu, Shangtong Zhang, Miroslav Pajic, Yuichi Motai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마치 큰 경기를 앞두고 운동선수 팀을 준비시키는 코치라고 상상해 보세요. 여러분에게는 과거 다양한 선수들의 경기 모습을 보여주는 방대한 양의 오래된 훈련 영상 (즉, 오프라인 데이터) 이 있습니다. 여러분의 목표는 최고의 선수를 선발하여 실제 경기에 대비시키는 것이지만, 엄격한 규칙이 하나 있습니다: 경기 시작 전 실제 트랙에서 뛰게 할 수 있는 시간은 매우 짧고 제한적입니다 (즉, 상호작용 예산).

이 논문은 강화 학습 (RL) 의 특정 문제를 다룹니다. 강화 학습은 본질적으로 시행착오를 통해 컴퓨터에게 의사결정을 가르치는 것입니다. 저자들은 이를 다음과 같이 간단한 비유로 설명합니다:

문제: "추측 게임"의 함정

과거 코치들 (알고리즘) 은 우승자를 선발하기 위해 두 가지 방식을 시도했는데, 둘 다 결함이 있었습니다:

"비디오 분석가" 접근법 (오프라인 평가): 그들은 오래된 훈련 영상을 시청하고 통계에 기반하여 누가 우승할지 추측했습니다.
- 결함: 영상은 오해의 소지가 있을 수 있습니다. 영상에서는 훌륭해 보였던 선수도 실제 트랙에 서면 조건이 달라져 무너질 수 있습니다. 오직 영상에만 의존하는 것은 위험합니다.
"모두 시도해 보기" 접근법 (온라인 평가): 그들은 모든 선수가 실제 트랙에서 조금씩 뛰게 하여 누가 가장 빠른지 확인한 후 우승자를 선발했습니다.
- 결함: 여러분에게는 트랙을 사용할 시간이 극히 적습니다. 그 시간을 20 명의 선수에게 나누어 주면, 아무도 실제로 실력을 향상시킬 만큼 충분한 연습을 하지 못합니다. 여러분은 더 많은 연습이 필요하면 빛을 발할 수 있었던 잠재력 있는 선수들을 테스트하는 데 제한된 시간을 낭비하게 됩니다.

실제 문제: 때로는 영상에서는 형편없어 보였던 선수가 조금만 연습하면 챔피언이 되기도 합니다. 반면, 영상에서는 놀라울 정도로 훌륭해 보였던 선수가 연습 후 오히려 실력이 떨어지기도 합니다 (아마도 피로하거나 트랙이 다르기 때문일 것입니다). 어떤 선수가 발전하고 어떤 선수가 악화될지 미리 알 수 없습니다.

해결책: "현명한 코치" 전략

저자들은 적응형 정책 선택 및 미세 조정 (Adaptive Policy Selection and Fine-Tuning) 이라는 새로운 방법을 제안합니다. 이는 제한된 트랙 시간을 역동적으로 관리하는 현명한 코치라고 생각하시면 됩니다.

그들의 "현명한 코치"는 다음과 같이 작동합니다:

워밍업 (오프라인 훈련): 먼저 코치는 오래된 영상을 이용해 대규모 선수 풀 (후보 정책들) 을 훈련시킵니다. 다양한 훈련 스타일과 설정을 시도하여 다양한 그룹을 만듭니다.
초기 추측 (OPE): 코치는 영상을 살펴보고 누가 아마도 좋을지 대략적인 아이디어를 얻습니다. 이는 최종 결정이 아닌 시작점일 뿐입니다.
"수정구" (예측 및 신뢰도): 이것이 핵심 혁신입니다. 단순히 현재 선두 주자를 선택하는 대신, 코치는 수학적 "수정구" (통계 모델) 를 사용하여 미래를 예측합니다.
- 코치는 이렇게 묻습니다: "만약 선수 A 에게 10 분 더 뛰게 한다면, 실력이 향상될까요, 아니면 무너질까요?"
- 코치는 신뢰도 점수 (Upper Confidence Bound) 를 계산합니다. 이 점수는 단순히 현재 얼마나 좋은지에 관한 것이 아니라, 시간이 더 주어진다면 얼마나 향상될 수 있는지에 관한 것입니다.
동적 전환 ("뜨거운 감자" 규칙):
- 코치는 가장 높은 "잠재력 점수"를 가진 선수를 선택하여 트랙에서 뛰게 합니다.
- 짧은 주파 후 코치는 결과를 확인합니다.
- 선수가 향상되고 있다면: 코치는 그 선수를 트랙에 머물게 하여 더 많은 성과를 끌어냅니다.
- 선수가 정체되거나 악화되고 있다면: 코치는 즉시 그 선수를 멈춥니다. 시간을 낭비하지 않습니다. 대신, 높은 "잠재력 점수"를 가진 다음 선수를 선택하여 전환합니다.
- 이는 현재는 이기고 있지만 더 이상 발전할 여지가 없는 선수를 고집하는 대신, 성장 여지가 가장 많아 보이는 주자에게 즉시 계주봉을 넘기는 릴레이 경기와 같습니다.

왜 이것이 중요한가

이 논문은 시뮬레이션된 세계에서 가상 로봇 (걷는 로봇과 달리는 치타 등) 을 대상으로 이를 테스트했습니다. 그들은 그들의 "현명한 코치"를 기존 방법들과 비교했습니다.

기존 방법들: 나쁜 영상 추측에 기반하여 잘못된 로봇을 선택하거나, 아무것도 제대로 배우게 하지 않은 채 모두를 테스트하는 데 시간을 낭비했습니다.
새로운 방법: "이 로봇이 나아지고 있는가?"를 끊임없이 확인하고 답이 "아니오"라면 새로운 후보로 전환함으로써, 팀은 훨씬 더 효율적으로 최상의 로봇을 찾아냈습니다.

결론

이 논문은 제한된 연습 시간을 유연한 자원으로 간주하여, 단순히 현재 점수가 아닌 예측된 미래 잠재력에 기반하여 후보들 사이를 전환함으로써 훨씬 더 나은 최종 결과를 얻을 수 있다고 주장합니다. 이는 제한된 시간을 현명하게 활용하는 것입니다: 정점에 도달한 선수를 계속 훈련시키지 말고, 단지 조금 더 시간이 필요해 자신의 리듬을 찾기를 기다리는 선수에게 포기하지 않는 것입니다.

간단히 말해: 오늘 보이는 최고의 선수를 선택하지 말고, 내일이 가장 좋은 선수를 선택하세요. 그리고 실제로 경기를 이길 수 있는 선수를 찾을 때까지 계속 전환하세요.

기술적 요약: 오프라인에서 온라인으로의 강화학습을 위한 상호작용 예산 하의 적응적 정책 선택 및 미세 조정

1. 문제 정의

본 논문은 오프라인에서 온라인으로의 강화학습 (O2O-RL) 에서의 중요한 과제를 다룹니다: 제한된 온라인 상호작용 예산을 효율적으로 활용하여 오프라인으로 사전 훈련된 후보 정책 집합 중 최상의 정책을 선택하고 정제하는 방법입니다.

표준 O2O-RL 파이프라인에서는 다양한 알고리즘과 하이퍼파라미터를 사용하여 여러 후보 정책을 오프라인으로 훈련합니다. 그런 다음 일반적으로 오프-폴리시 평가 (OPE) 를 통해 단일 정책을 배포용으로 선택한 후 미세 조정합니다. 저자들은 이 접근 방식에 두 가지 주요 결함이 있음을 지적합니다:

OPE 의 신뢰성 부족: 분포 변화로 인해 OPE 추정치는 종종 부정확하여, 이러한 점수만을 기반으로 정책을 배포하는 것은 위험합니다.
온라인 평가 (OE) 및 단순한 미세 조정의 비효율성: 모든 후보를 온라인으로 철저히 평가하면 상호작용 예산을 소모할 뿐 어떤 정책도 정제되지 않습니다. 반면, 미세 조정을 위해 단일 정책에 전념하는 것은 위험합니다. 사전 훈련된 정책은 온라인 상호작용 중, 특히 비정상적인 환경에서 정체되거나 퇴보할 수 있기 때문입니다. 또한, 어떤 정책이 미세 조정으로부터 가장 큰 혜택을 볼지 사전에 알기 어려운 경우가 많습니다.

핵심 문제는 고정된 상호작용 예산 $N$ 내에서 후회 (regret) 를 최소화하는 것입니다. 목표는 단순히 최상의 초기 후보를 선택하거나 모든 후보를 동등하게 평가하는 것이 아니라, $K$ 개의 후보 정책 (각각 여러 번의 미세 조정 반복을 거칠 수 있음) 에 걸쳐 $N$ 개의 온라인 전이를 할당하여 최종 선택된 정책의 가치를 극대화하는 절차를 찾는 것입니다.

2. 방법론

제안된 프레임워크인 적응적 정책 선택 및 미세 조정은 두 단계로 운영됩니다:

A. 오프라인 단계

다양한 오프라인 RL 알고리즘 (예: AWAC, IQL, CalQL, ReBRAC) 과 하이퍼파라미터 설정을 사용하여 $K$ 개의 다양한 후보 정책 풀을 훈련합니다.
초기 성능 추정을 생성하기 위해 오프-폴리시 평가 (OPE) 를 수행합니다. 이러한 추정치는 정책을 순위 매기는 데 사용되지만, 온라인 단계에서 가치 추정의 기준 (ground truth) 으로 간주되지 않습니다.
온라인 단계의 초기 가치 추정치는 데이터셋에서 유도된 행동 정책의 가치 ( $\hat{v}_B$ ) 로 설정되며, 초기 단계 식별 문제를 처리하기 위해 의사 관찰 (pseudo-observations) 이 추가됩니다.

B. 온라인 단계 (적응 루프)
온라인 단계는 상호작용 예산 $N$ 을 동적으로 할당하기 위해 상한 신뢰 구간 (Upper Confidence Bound, UCB) 접근 방식을 사용합니다. 과정은 다음과 같이 반복됩니다:

선택: 우선순위 큐 (최대 힙) 가 가장 높은 max-UCB를 가진 정책을 선택합니다. UCB 는 정책의 미래 성능 예측을 기반으로 계산됩니다.
미세 조정 및 평가: 선택된 정책은 예산의 일부를 사용하여 한 번의 미세 조정 반복을 거친 후, 새로운 가치 추정을 얻기 위해 온라인 평가를 받습니다.
가치 예측 모델: 저자들은 미세 조정 중 정책 가치의 변화를 선형 자기회귀 (AR(2)) 과정과 조건부 이분산 (ARCH(1)) 과정을 결합하여 모델링합니다. 이는 미세 조정 곡선이 불규칙하거나 정체되거나 퇴보할 수 있기 때문에 필수적인 단기 추세 (상승/하락) 와 시간별 변동성 (volatility) 을 모두 포착합니다.
예측 및 업데이트: 적합된 AR-ARCH 모델을 사용하여 시스템이 미래 $R$ 단계에 대한 95 백분위수 (UCB) 를 계산하기 위해 $R$ 개의 미래 가치 궤적을 시뮬레이션합니다. max-UCB(잔여 예산 기간 동안의 최대 UCB) 가 계산됩니다.
재큐잉: 정책은 새로운 가치와 max-UCB 로 업데이트되어 우선순위 큐로 다시 삽입됩니다.
전환: 다른 후보의 max-UCB 가 현재 선택된 정책의 max-UCB 를 초과하면 시스템은 새로운 후보로 초점을 전환합니다. 이를 통해 알고리즘은 퇴보하거나 정체되는 정책을 포기하고 더 유망한 후보에 자원을 할당할 수 있습니다.

이 과정은 상호작용 예산이 소진될 때까지 계속되며, 평가된 모든 정책 집합 중 추정 가치가 가장 높은 정책을 반환합니다.

3. 주요 기여

새로운 프레임워크: 본 논문은 엄격한 온라인 상호작용 예산 하에서 적응적 정책 선택과 미세 조정을 결합한 최초의 접근 방식을 제안합니다. 이는 "선택 후 조정" 또는 "모두 평가"라는 이분법적 선택을 넘어 동적 할당 전략으로 나아갑니다.
미세 조정 변동성 모델링: 저자들은 미세 조정 중 정책 가치의 비정상적 진화를 예측하기 위해 AR(2)-ARCH(1) 모델을 도입합니다. 이는 표준 회귀 모델이 종종 놓치는 성능 퇴보와 변동성의 가능성을 명시적으로 고려합니다.
UCB 기반 할당: 예측된 미래 성능에 대한 UCB 기준을 사용하여, 이 방법은 새로운 후보 평가 (탐색) 와 유망한 후보 미세 조정 (활용) 을 효율적으로 균형 있게 조정하여 개선 가능성이 낮은 정책에 예산이 낭비되지 않도록 보장합니다.

4. 실험 결과

이 접근 방식은 D4RL 벤치마크의 네 가지 표준 다족 로봇 이동 작업 (Hopper, Cheetah, Walker, Ant) 에서 네 가지 데이터셋 품질 수준 (Random, Medium, Medium-Replay, Medium-Expert) 으로 평가되었습니다.

베이스라인: 이 방법은 다음과 비교되었습니다:
- OPE: 오프라인 추정치만을 기반으로 최상의 정책을 선택.
- OE: 미세 조정 없이 모든 후보를 온라인으로 평가하기 위해 예산을 균등하게 공유.
- FT: OPE 최상 정책을 선택하고 전체 예산으로 이를 미세 조정.
- Best: 진정한 최상 정책을 사용하는 가상의 상한선.
성능:
- 제안된 방법은 모든 환경과 예산 크기 (160K 및 320K 전이) 에서 일관되게 최고의 평균 점수를 달성했습니다.
- 전체 예산을 단일 정책에 할당하여 퇴보할 수 있는 정책 (예: Walker-Medium-Expert) 에 종속되는 경우가 많았던 FT보다 훨씬 뛰어난 성과를 보였습니다.
- 미세 조정의 기회 손실이나 잘못된 정책 미세 조정으로 인한 후회를 피하면서 예산을 활용하여 잠재력이 높은 후보를 식별하고 정제함으로써 OPE 및 OE보다 우월한 성능을 보였습니다.
- 결과는 적응적 할당이 시스템이 나쁜 초기 OPE 순위에서 회복하고 온라인 상호작용으로 개선되지 않는 정책에 자원을 낭비하지 않도록 함을 입증했습니다.

5. 중요성 및 주장

저자들은 이 작업이 온라인 상호작용이 비용이 많이 들거나 위험하거나 시간이 많이 소요되는 실제 시스템에서 RL 을 배포하기 위한 실용적인 해결책을 제공한다고 주장합니다. 사전 훈련된 정책이 임의로 나쁘게 수행될 수 있고 미세 조정 결과가 변동성이 있음을 인정함으로써, 제안된 프레임워크는 이러한 불확실성을 탐색하기 위한 강력한 메커니즘을 제공합니다.

본 논문은 이 접근 방식이 강력한 베이스라인보다 우월하지만 최종 해결책은 아니라고 겸손하게 지적합니다. 제한 사항으로는 빈번한 온라인 평가의 계산 비용과 특정 하이퍼파라미터 설정에 대한 의존성이 포함됩니다. 저자들은 명시적 평가 비용을 줄이기 위해 탐색 롤아웃을 활용하고, 정책 유사성 지표를 통합하며, O2O-RL 순위 평가를 위해 특별히 맞춤화된 OPE 방법을 개발하는 것과 같은 향후 방향을 제안합니다. 궁극적으로 이 프레임워크는 이론적 오프라인 RL 과 실제 배포 가능한 시스템 간의 격차를 해소하는 것을 목표로 합니다.