🤖 machine learning

Leveraging Offline Supervision for Efficient and Generalizable Reinforcement Learning in Large-Scale Vision-Language-Action Models

이 논문은 온라인 강화 학습을 오프라인 감독으로 정규화하는 하이브리드 학습 방법이 표준 강화 학습에 근접한 분포 외(out-of-distribution) 성능을 달면서도 훈련 효율성을 크게 향상시켜, 실질적으로 단 절반의 훈련 예산만을 요구한다는 것을 입증한다.

원저자: Dmitriy Poyarkov, Aleksei Staroverov, Aleksandr I. Panov

게시일 2026-07-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dmitriy Poyarkov, Aleksei Staroverov, Aleksandr I. Panov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 샌드위치를 만들거나 빨래를 접는 것과 같은 복잡한 과업을 가르치려 한다고 상상해 보세요. 인공지능의 세계에는 로봇을 가르치는 두 가지 주요 방법이 있습니다. 첫 번째 방법은 **모방 학습(Imitation Learning)**으로, 이는 로봇에게 사람이 완벽하게 과업을 수행하는 영상을 건네주며 "이것을 똑같이 따라 해"라고 말하는 것과 같습니다. 이 방법은 저렴하고 쉽지만, 상황이 조금만 바뀌어도—예를 들어 빵이 오른쪽 대신 왼쪽에 놓여 있는 경우처럼—로봇이 혼란에 빠지기 쉽습니다. 두 번째 방법은 **강화 학습(Reinforcement Learning, RL)**으로, 이는 로봇이 과업을 반복해서 시도하게 하고, 잘했을 때는 하이파이브(보상)를 주고, 실패했을 때는 "다시 해봐"라는 부드러운 격려를 주는 것과 같습니다. 이 방식은 로봇이 낯설고 이상한 상황을 다루는 법을 배우는 데 매우 뛰어나지만, 로봇이 숙련되기 전까지 가상 세계에서 수백만 번 연습해야 하므로 엄청나게 비용이 많이 들고 느립니다.

현재 과학자들이 던지는 핵심 질문은 이것입니다. "우리는 두 세계의 장점만을 취할 수 있을까? 저렴하고 쉬운 연습 영상으로 로봇의 기초를 다진 다음, 그 후 비싸고 느린 연습 세션을 통해 미세하게 조정하여, 시간과 돈을 낭비하지 않고 완성할 수 있을까?" 이 논문은 바로 이 문제, 특히 '시각-언어-행동(Vision-Language-Action)' 모델이라는 새로운 유형의 초지능형 로봇 뇌를 대상으로 깊이 있게 다룹니다. 이 모델들은 이미지를 보고, 문장을 이해하며, 무엇을 할지 결정할 수 있습니다. 연구진은 "따라 하기" 스타일과 "시행착오" 스타일을 결합하면 로봇이 놀라운 상황에 대처하는 능력을 잃지 않으면서도 더 빠르게 학습할 수 있는지 확인하고자 했습니다.

"코치" vs "독학자"

연구진은 로봇이 연습하는 동안 지켜보는 "코치"가 있다면 더 잘 배울 수 있는지 테스트하기 위해 영리한 실험을 설계했습니다. 그들은 세상이 어떻게 돌아가는지에 대한 거대한 사전 학습 지식 라이브러리와 같은 특정 유형의 로봇 뇌인 OpenVLA를 사용했습니다.

먼저, 그들은 "따라 하기" 방식(이를 지도 미세 조정 또는 SFT라고 부릅니다)을 사용하여 로봇을 가르쳤습니다. 그들은 인간이 과업을 수행하는 2,000개의 사례를 보여주었습니다. 이를 통해 로봇은 교과서를 암기한 학생처럼 탄탄한 기초를 갖추게 되었습니다. 하지만 예상대로, 이 로봇은 다소 경직되어 있었습니다. 방의 구조나 도구가 바뀌면 어려움을 겪었습니다.

다음으로, 그들은 "시행착오" 방식(이를 강화 학습 또는 RL이라고 부릅니다)을 시도했습니다. 그들은 시뮬레이션된 세계에서 로봇이 스스로 연습하게 했습니다. 이 로봇은 결국 낯선 상황(새로운 형태의 컵이나 다른 조명 등)을 다루는 데 매우 능숙해졌지만, 그 단계에 도달하기까지 아주 오랜 시간이 걸렸습니다. 정점에 도달하기 위해 약 200만 번의 연습 단계가 필요했습니다.

결정적 발견: 하이브리드 접근법

연구팀은 다음과 같은 질문을 던졌습니다. "만약 로봇이 혼자 연습하되, 옆에서 힌트를 속삭여주는 '코치'를 둔다면 어떨까?" 그들은 두 가지 유형의 코치를 테스트했습니다.

참조 코치(The Reference Coach): 변하지 않는, 고정된 버전의 "따라 하기" 로봇입니다. 연습 중인 로봇은 "나처럼 행동하려고 노력하되, 필요하다면 변해도 좋아"라는 지침을 받습니다.
데이터 코치(The Data Coach): 연습하는 동안 원래의 영상 사례들을 반복해서 보여주며, "여기서 인간이 무엇을 했는지 기억해?"라고 말해줍니다.

결과는 판도를 바꾸는 것이었습니다. 코치가 있는 로봇은 혼자 연습하는 로봇보다 두 배 빠르게 학습했습니다.

여기 마법의 숫자가 있습니다. "코칭을 받은" 로봇은 단 100만 단계 만에 "독학" 로봇과 동일한 숙련도에 도달했습니다. 독학 로봇은 그곳에 도달하기 위해 200만 단계가 필요했습니다. 더욱 인상적인 점은, 코칭을 받은 로봇이 낯선 새로운 상황(분포 외 과업 또는 OOD 과업)을 처리하는 능력이 독학 로봇만큼 뛰어났음에도 불구하고, 그 목표에 도달하는 데는 절반의 시간밖에 걸리지 않았다는 것입니다.

왜 "참조 코치"가 가장 효과적이었나

연구진은 한 가지 유형의 코치가 더 효과적이라는 것을 발견했습니다. 참조 코치(고정된 모델)가 가장 효과적이었습니다. 이 코치는 로봇의 초기 움직임을 안내하는 안정적인 손길 역할을 했습니다. 로 {봇이 새로운 게임의 규칙을 파악하는 동안 나쁜 습관에 빠지지 않도록 잡아주었습니다.

데이터 코치(영상을 다시 읽어주는 방식) 역시 도움이 되었지만, 다소 경직되어 있었습니다. 이 코치는 로봇이 지나치게 예전 영상을 복사하는 데만 집중하게 만들어, 상황이 정말 이상해졌을 때 로봇이 적응하는 것을 약간 어렵게 만드는 것처럼 보였습니다.

흥미롭게도, 그들은 "따라 하기" 로봇의 뇌에서 바로 "독학" 연습을 시작하는 것도 시도해 보았습니다. 이 로봇은 초반에는 강하게 시작했지만, 중간에 막혀버렸습니다. 마치 교과서를 너무 잘 알고 있어서 새로운 방식으로 문제를 푸는 것을 두려워하는 학생과 같았습니다. 이 로봇은 코칭을 받은 로봇들에 비해 매우 느리게 발전했습니다.

이것이 미래에 의미하는 바

이 논문은 우리가 "저렴하지만 적응이 느린 것"과 "비싸지만 적응이 빠른 것" 사이에서 하나를 선택할 필요가 없음을 시사합니다. 기초를 잘 다진 후, "코치"를 통해 값비싼 연습을 유도하는 하이브리드 접근 방식을 사용함으로써, 우리는 두 세계의 장점을 모두 취할 수 있습니다.

연구진은 이 실험이 특정 제어된 환경(특정 과업을 가진 시뮬레이션)에서 테스트되었다는 점을 명시했습니다. 그들이 우주의 모든 로봇 문제를 해결했다고 주장하는 것은 아니지만, 매우 유망한 길을 보여주었습니다. 그들은 오프라인 감독(코치)이 단순히 더 좋은 시작을 제공하는 것뿐만 아니라, 로봇이 유연해지는 법을 배우는 동안 자신이 알던 것을 잊어버리지 않도록 학습 과정을 능동적으로 안정화한다는 것을 발견했습니다.

요약하자면, 만약 당신이 똑똑하면서도 적응력이 뛰어난 로봇을 원한다면, 단순히 어둠 속에서 허우적거리게 두지 마세요. 좋은 선생님을 주고, 연습하게 하며, 로봇이 자신만의 리듬을 찾을 때까지 어깨 위에 안정적인 손을 얹어주세요. 이 방법은 첨단 로봇 훈련을 훨씬 더 저렴하고 빠르게 만들어, 우리 집과 일터에 도움을 주는 로봇이 오는 데 한 걸음 더 다가가게 할 것입니다.

기술 요약: 대규모 시각-언어-행동(VLA) 모델의 효율적이고 일반화 가능한 강화 학습을 위한 오프라인 감독 활용

1. 문제 정의

시각-언어-행동(VLA) 모델 영역에서는 훈련 효율성과 정책 강건성(robustness) 사이에 근본적인 트레이드오프가 존재한다. 온라인 강화 학습(RL)은 일반적으로 지도 미세 조정(SFT)이나 모방 학습과 같은 오프라인 방식에 비해 우수한 분포 외(Out-of-Distribution, OOD) 일반화 및 강건성을 제공한다. 그러나 온라인 RL은 광범위한 환경 상호작용을 필요로 하므로 계산 비용이 많이 든다. 반면, 오프라인 훈련은 비용 효율적이지만 분포 변화(distribution shifts) 문제에 취약한 경우가 많다.

최근 연구(예: Liu et al., 2025)는 대규모 VLA 모델(구체적으로 LoRA를 적용한 OpenVLA)의 RL 미세 조정이 SFT보다 OOD 성능을 크게 향러시키지만, 높은 온라인 훈련 비용이 발생한다는 점을 입증했다. 이는 다음과 같은 중요한 질문을 제기한다: 오프라인 감독을 단순히 초기화 용도로 사용하는 것을 넘어, 온라인 적응의 강건성 이점을 희생하지 않으면서 효율성을 높일 수 있는 구조화된 훈련 신호로서 RL 최적화 과정에 통합할 수 있는가?

2. 방법론

저자들은 대규모 VLA 모델의 파라미터 효율적 RL 미세 조정을 위한 하이브리드 오프라인-온라인 훈련 전략을 조사한다. 실험에는 OpenVLA 아키텍처를 사용하며, 베이스 모델은 동결된 상태로 유지하고 LoRA 어댑터만을 최적화한다. 본 연구는 표준 근사 정책 최적화(Proximal Policy Optimization, PPO)를 오프라인 감독이 포함된 두 가지 가이드 변형 모델과 비교한다:

참조 정책 정규화 (RefKL): 이 변형은 표준 PPO 목적 함수에 쿨백-라이블러(Kullback–Leibler, KL) 발산 페널티를 추가한다. 정책은 온라인 업데이트 중에 동결된 SFT 참조 모델( $\pi_{ref}$ )에 가깝게 유지되도록 정규화된다. 손실 함수는 다음과 같다:
$L(\theta) = L_{PPO}(\theta) + \beta L_{RefKL}(\theta)$
여기서 $L_{RefKL}$ 은 현재 정책과 동결된 SFT 모델 사이의 발산을 페널티한다.
오프라인 행동 복제 (DataBC): 이 변형은 오프라인 데모 데이터셋( $D_{off}$ )에서 직접 계산된 행동 복제 손실을 PPO에 추가한다. 손실 함수는 다음과 같다:
$L(\theta) = L_{PPO}(\theta) + \beta L_{DataBC}(\theta)$
여기서 $L_{DataBC}$ 는 오프라인 데이터셋 내 전문가 행동의 가능도(likelihood)를 최대화한다.
커리큘럼 스케줄링 (Curriculum Scheduling): 오프라인 감독이 후기 단계의 RL 적응을 방해하는 것을 방지하기 위해, 저자들은 정규화 가중치 $\beta$ 에 대한 커리큘럼 스케줄을 채택한다. $\beta$ 값은 초기 단계(100k 스텝) 동안 일정하게 유지되고, 다음 200k 스텝 동안 선형적으로 감쇠(annealing)된 후, 그 이후에는 0으로 설정되어 정책이 순수 RL 최적화로 전환될 수 있도록 한다.
베이스라인 (Baselines): 본 연구는 표준 PPO 베이스라인과, 훈련 중 추가적인 가이드 항 없이 SFT LoRA 어댑터로부터 직접 PPO를 초기화한 변형(SFT-init)을 포함한다.

3. 주요 기여

하이브리드 훈련 프레임워크: 본 논문은 대규모 VLA 모델의 LoRA 기반 미세 조정을 위해 두 가지 단순한 오프라인 가이드형 PPO 변형(RefKL 및 DataBC)을 공식화하고 평가한다.
효율성-강건성 트레이드오프 해결: 저자들은 오프라인 가이드가 순수 RL과 관련된 OOD 일반화 이점을 유지하면서도 훈련 효율성을 크게 개선할 수 있음을 입증한다.
경험적 분석: 본 연구는 가이드 메커니즘에 대한 통제된 비교를 제공하며, 정규화 강도( $\beta$ )에 대한 민감도와 커리큘럼 스케줄링의 영향을 분석한다. 또한, 참조 정책 가이드(RefKL)가 직접적인 오프라인 데이터 기반의 행동 복제보다 더 안정적인 최적화 신호를 제공함을 강조한다.

4. 결과

실험은 OpenVLA 모델을 사용하여 RL4VLA 벤치마크에서 수행되었으며, 시각, 언어, 행동 변화를 모두 포함하는 인-디스트리뷰션(In-Distribution, IND) 및 OOD 태스크에 대해 평가되었다.

훈련 효율성: 100만 환경 스텝 시점에서, 두 가지 가이드 변형(RefKL 및 DataBC) 모두 모든 지표에서 동일한 기간 동안 훈련된 표준 PPO를 능가했다. 특히, RefKL 변형은 200만 스텝을 훈련한 표준 PPO 모델의 최종 성능(0.77)과 대등한 OOD 성능을 달성하여, 필요한 온라인 훈련 예산을 효과적으로 절반으로 줄였다.
성능 지표:
- RefKL (1M 스텝): 평균 OOD 성공률 0.77을 달 기록하여, 2M 스텝 PPO 베이스라인의 최종 성능(0.77)과 일치했다.
- DataBC (1M 스텝): 평균 OOD 성공률 0.74를 기록하여, 1M 스텝 표준 PPO(0.64)를 상회했다.
- SFT-Init: 표준 PPO보다 높은 베이스라인에서 시작했음에도 불구하고, SFT 초기화 PPO는 적응 속도가 느렸으며 1M 스텝 시점에서 가이드 방식들보다 낮은 성능을 보였다.
정규화 민감도: 더 강한 초기 정규화( $\beta$ )는 더 높은 성공률과 상관관계가 있었다. 그러나 일정한 $\beta$ 스케줄은 커리큘럼 스케줄보다 우수하지 않았으며 불필요한 계산 오버헤드를 초래했다.
일반화: 가이드 방식들은 특히 순수 오프라인 방식이 처리하기 어려운 행동 변화(action shifts)에 대해 강력한 OOD 능력을 유지했다.

5. 의의 및 주장

본 논문은 VLA 적응의 맥점에서 오프라인 감독과 RL이 경쟁하는 신호가 아니라 상호 보완적인 신호라고 주장한다. 이 연구의 주요 의의는 오프라인 가이드가 효과적인 최적화 사전 정보(prior) 역할을 한다는 것을 보여준 데 있다. 이는 온-폴리시(on-policy) 신호가 약한 RL 훈련의 초기 단계를 안정화하여, 정책이 사전 훈련된 표현을 더 효과적으로 활용할 수 있게 한다.

저자들은 이 하이브리드 접근 방식이 높은 비용이 드는 온라인 RL의 실질적인 해결책을 제공한다고 결론짓는다. 즉, RL의 강건한 이점을 유지하면서도 강력한 정책 행동에 도달하기 위해 필요한 값비싼 환경 상호작용의 양을 줄여준다. 참조 정책 가이드(RefKL)가 이 설정에서 가장 효과적이고 일관된 공식으로 확인되었다. 본 연구는 대규모 모델의 파라미터 효율적 적응을 위해, 구조화된 오프라인 사전 정보가 파괴적 망각(catastrophic forgetting)을 유발하거나 OOD 일반화를 제한하지 않으면서 효과적인 온라인 전략의 발견을 가속화할 수 있음을 시사한다.