🤖 machine learning

Learning More from Less: Reinforcement Learning from Hindsight

이 논문은 시각-언어-행동 모델의 학습에서 샘플 효율성을 높이기 위해 시각-언어 모델을 사용하여 실패한 롤아웃을 실제로 달성한 과업으로 재라벨링함으로써, 정책이 희소한 보상으로부터 학습할 수 있게 하여 조작 과업에서 표준 베이스라인을 능가하는 강화 학습 방법인 Learning from Hindsight (LfH)를 소개한다.

원저자: Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

게시일 2026-07-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Iris Xu, Sunshine Jiang, John Marangola, Nitish Dashora, Richard Li, Thomas Liu, Zexue He, Yuheng Zhi, Alex Pentland, Pulkit Agrawal, Zhang-Wei Hong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 요리를 가르치고 있다고 상상해 보세요. 당신은 로봇에게 "초록색 용기를 그릇에 넣어라"라는 구체적인 명령을 내립니다. 하지만 로봇이 조금 서투르거나 혹은 혼란스러워서, 용기 대신 테이프 조각을 집어 들더니 테이블에 붙여버립니다.

기존의 로봇 학습 방식(표준 강화 학습이라고 불리는 방식)에서 이것은 완전한 재앙입니다. 로봇은 시도 전체에 대해 커다리한 'F' 학점을 받게 됩니다. 컴퓨터는 "실패했습니다. 이 데이터는 쓸모없으니 버리세요"라고 말합니다. 로봇은 테이프를 성공적으로 집어서 어딘가에 붙였음에도 불구하고, 그 엉뚱한 테이프 사건으로부터 아무것도 배우지 못합니다. 이는 마치 개 사진을 요청했는데 고양이 사진이 나왔다고 해서 그 멋진 고양이 사진을 그냥 버려버리는 것과 같습니다.

"Learning from Hindsight (LfH)"라는 영리하고 새로운 기술을 소개하는 논문 "Learning More from Less"는 이 문제를 해결합니다. 이것은 마치 모든 것을 꿰뚫어 보는 똑똑한 심판(시각-언어 모델, VLM)이 로봇의 "실패"를 지켜보며 이렇게 말하는 것과 같습니다. "잠깐만! 너는 용기를 그릇에 넣지는 못했지만, 테이프를 집는 데는 성공했잖아! 그건 다른 게임에서는 승리야!"

그 작동 방식은 다음과 같습니다:

"사후 학습(Hindsight)"의 마법
심판은 단순히 "실패"라고 말하는 대신, 이야기를 다시 씁니다. 심판은 로봇의 엉뚱한 시도를 살펴보고, 실제로 일어난 일에 맞춰 새로운 지시를 내립니다: "테이프를 집어라." 이제, 그 실패했던 시도는 '테이프를 집는 법'에 대한 완벽한 예시가 됩니다. 로봇은 원래 목표를 달성하지 못했더라도, 자신이 실제로 해낸 일에 대해 보상을 받게 됩니다.

이 논문은 이 방식을 통해 로봇이 보통 막히게 되는 까다로운 새로운 작업에서 5배 더 빠르게(샘플 효율성 5배 향상) 학습할 수 있음을 보여줍니다. 이는 마치 스케이트보드를 타는 연습을 하다가 갑자기 자전거를 타게 되었을 때, 이미 균형 잡는 법을 알고 있었기에 자전거가 쉽게 느껴지는 것과 같습니다.

이것이 '아닌' 것들
저자들은 이 방법이 무엇이 아닌지를 매우 명확하게 밝히고 있습니다.

이것은 단순히 로봇에게 더 많은 "힌트"나 "부분 점수"를 주는 것(예: "거의 다 왔어, 잘하고 있어"라고 말하는 것)이 아닙니다. 논문은 단순히 보상을 "조밀하게(dense)" 만드는 것(작은 단계마다 점수를 주는 것)이 목표를 통째로 바꾸는 것만큼 효과적이지 않다고 주장합니다.
이것은 단순히 로봇이 무작위로 움직이게 만드는 것도 아닙니다. 저자들은 로봇이 그저 무작위로 허우적거린다면 이 방식이 도움이 되지 않는다는 것을 발견했습니다. 로봇은 원래의 목표와는 다르더라도 실제로 '무언가 의미 있는 행동'을 해야 합니다.
이것은 모든 것을 해결해 주는 마법 지팡이가 아닙니다. 만약 로봇이 아무것도 하지 않고 가만히 있거나 지루하고 반복적인 루프 속에서 움직인다면, 심판은 새로운 게임을 찾아낼 수 없으며 이 방식은 도움이 되지 않습니다.

얼마나 확실한가요?
연구팀은 두 가지 방식으로 테스트를 진행했습니다:

시뮬레이션 환경: 컴퓨터 세상인 LIBERO-PRO에서 가상의 로봇을 대상으로 수천 번의 테스트를 수행했습니다. 여기서 LfH가 표준 학습과 동일한 성공 수준에 도달하는 데 단 1/5의 단계만 필요했다는 것을 측정했습니다. 이는 엄청난 도약입니다.
실제 환경: 실험실의 실제 Franka 로봇 팔에 적용했습니다. 결과는 유효했습니다! 로봇이 초록색 용기를 그릇에 넣어야 했을 때, 표준 방식은 160번의 시도 후 **22%**의 성공률에서 멈췄습니다. 반면 LfH 방식은 **56%**까지 뛰어올랐습니다.

함정
논문은 이 방법이 로봇이 실제로 흥미로운 행동을 한다는 전제하에 작동한다는 점을 인정합니다. 만약 로봇이 물체를 만지지도 않고 근처에서 "떠 있기만" 한다면, 심판은 새로운 게임을 찾아낼 수 없습니다. 또한, 심판(지시를 다시 써주는 AI)이 제 역할을 잘 수행해야 합니다. 만약 심판이 혼란을 겪거나 일어나지 않은 일을 지어낸다면, 로봇은 잘못된 교훈을 배울 수도 있습니다.

큰 그림
핵자의 핵심은 간단합니다: 실수를 버리지 마세요. 한 가지 작업에서의 실패는 종종 다른 작업에서의 성공이 됩니다. 똑똑한 AI를 사용하여 "헤이, 너 사실은 이것을 했잖아"라고 뒤를 돌아보게 함으로써, 우리는 거의 모든 시도로부터 배울 수 있으며, 낭비되는 시간을 가치 있는 교훈으로 바꿀 수 있습니다. 이는 달리기를 하다가 넘어질 때마다, 사실은 다른 스포츠를 위한 균형 잡기 연습을 하고 있다는 것을 깨닫는 것과 같습니다.

기술 요약: 적은 데이터로 더 많이 배우기: 힌드사이트를 통한 강화학습 (Learning More from Less: Reinforcement Learning from Hindsight)

문제 정의

강화학습(RL)은 로봇 제어를 개선하기 위해 사후 학습(post-training) 단계의 시각-언어-행동(VLA) 모델에 점점 더 많이 활용되고 있습니다. 그러나 결정적인 병목 현상이 존재합니다: RL 업데이트는 물리적 로봇 롤아웃(rollout)에 의존하는데, 이는 속도가 느리고 비용이 많이 들며 확장하기 어렵습니다. 이로 인해 **샘플 효율성(sample efficiency)**이 주요 관심사가 됩니다.

이 문제는 조작(manipulation) 작업에서 보상이 일반적으로 **희소(sparse)**할 때 더욱 악화됩니다. 로봇이 명령된 지시를 정확히 완수했을 때만 보상(성공)을 받으며, 그 외의 모든 행동은 0의 보상을 받습니다. 훈련 초기에는 정책(policy)이 약하기 때문에 거의 모든 롤아웃이 실패합니다. 표준 RL은 이러한 전체 궤적(trajectory)을 실패로 간주하여 "쓸모없는" 데이터로 버립니다. 이는 실패한 롤아웃이 종종 다른 작업에 유효한 일관되고 의미 있는 행동을 실행하고 있다는 사실을 무시하는 것입니다 (예: 로봇에게 "전자레인지를 닫으라"고 지시했을 때 로봇이 성공적으로 "컵을 집어 올릴" 수 있음). 표준 RL은 이러한 "실패"로부터 학습 신호를 추출하지 못하며, 이는 수렴 속도를 늦추거나 OOD(out-of-distribution) 설정에서 정체를 유발합니다.

방법론: 힌드사이트로부터의 학습 (Learning from Hindsight, LfH)

저자들은 Hindsight Experience Replay(HER)의 개념을 VLA의 RL 사후 학습에 적응시킨 방법인 **Learning from Hindsight (LfH)**를 제안합니다. LfH는 실패한 롤아웃을 버리는 대신, 시각-언어 모델(VLM)을 사용하여 로봇이 실제로 달성한 바를 기준으로 이를 재라벨링(relabeling)합니다.

핵심 메커니즘

LfH는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 프레임워크 내에서 작동합니다. 과정은 원래 지시를 실패한 궤적 그룹에 대해 두 가지 주요 단계로 나뉩니다.

지시문 재라벨링 (Instruction Relabeling):
- 명령된 지시 $g$ 에 실패한 궤적 그룹에 대해, 시스템은 "앵커(anchor)" 궤적(실패한 롤아웃)을 선택합니다.
- VLM( $M_\psi$ )은 앵커의 시각적 관찰값과 행동을 분석하여 실제로 실행된 행동을 설명하는 힌드사이트 지시문( $g'$ )을 생성합니다 (예: "전자레인지를 닫으라"를 "머그컵을 집어 올리라"로 변경).
- VLM은 노이즈가 섞인 프롬프트를 방지하기 위해 "흥미롭지 않은" 궤적(예: 물리적 객체 접촉이 없는 경우)을 먼저 필터링합니다.
보상 재라벨링 (Reward Relabeling):
- 동일한 VLM이 새로운 힌드사이트 지시문 $g'$ 에 대해 그룹 내의 모든 궤적을 평가합니다.
- VLM은 $\tilde{R}_i \in \{0, 0.5, 1\}$ 의 보상을 할당하며, 1은 $g'$ 달성 성공, 0은 실패, 0.5는 모호한 결과를 나타냅니다.
- 결정적으로, 어드밴티지(advantage) 계산 시 보상을 비교 가능하게 만들기 위해 그룹 전체에 대해 단일한 공유 힌드사이트 지시문을 사용합니다.

최적화 목적 함수

정책은 원래의 롤아웃과 힌드사이트로 재라벨링된 대응물을 함께 학습합니다. 손실 함수는 표준 GRPO 목적 함수( $L_{GRPO}$ )와 힌드사이트 목적 함수( $L_{H-GRPO}$ )를 결합합니다:
$L_{LfH}(\theta) = L_{GRPO}(\theta) + \lambda L_{H-GRPO}(\theta)$

분포 변화(distribution shift, $g$ 하에서 롤아웃되었으나 $g'$ 를 위해 최적화되는 궤적)를 처리하기 위해, LfH는 중요도 수정 비율(importance correction ratio)을 적용합니다:
$\tilde{r}_{i,t}(\theta) = \frac{\pi_\theta(a_{i,t} | o_{i,t}, g')}{\pi_{\theta_{old}}(a_{i,t} | o_{i,t}, g)}$
이를 통해 정책은 원래의 작업 분포와 정렬을 유지하면서도 "의도치 않았지만 의미 있는" 행동으로부터 학습할 수 있습니다.

주요 기여

VLA를 위한 힌드사이트 재라벨링: 본 논문은 실패한 롤아웃을 언어 공간에서 재라벨링하여, 0 보상의 실패를 대안적 작업의 성공적인 데모로 변환하는 고유한 알고리즘을 소개합니다. 이는 VLA의 언어 일반화 능력을 활용합니다.
지시문 및 보상 공동 재라벨링: 이전 연구들이 지시문을 재구성하거나 보상을 형성(shaping)하는 데 그쳤던 것과 달리, LfH는 이 둘을 결합합니다. 저자들은 지시문 증강이나 보상 재라벨링 중 하나만으로는 충분하지 않으며, 상당한 이득을 위해서는 두 요소의 시너지가 필요함을 입증했습니다.
희소 보상 체계에서의 샘플 효율성: 이 방법은 정책의 성공률이 거의 0에 가까운 "콜드 스타트(cold start)" 문제를 구체적으로 겨냥하여, 표준 RL이 버렸을 데이터로부터 학습 신호를 회복합니다.

실험 결과

저자들은 LIBERO-PRO 데이터셋의 OOD 작업과 물리적인 Franka FR3 로봇에서 LfH를 평가했습니다.

샘플 효율성: LIBERO-PRO 작업에서 LfH는 표준 GRPO에 비해 5배 향상된 샘플 효율성을 달 나타냈습니다. LfH는 표준 GRPO가 도달하는 최종 성공률에 약 5분의 1의 학습 단계만으로 도달했습니다.
조밀한 보상(Dense Rewards)과의 비교: LfH는 조밀한 진행 보상(progress rewards, RoboMETER)을 사용하는 베이스라인보다 우수한 성능을 보였습니다. 이는 낮은 성공률 구간에서는 원래의 명령에 대해 피드백을 밀집시키는 것보다, 롤아웃이 어떤 작업에 대한 공로를 인정받을지를 바꾸는 것이 더 가치 있음을 시사합니다.
데이터 활용도: 표준 GRPO는 보상 분산이 0인 궤적 그룹의 약 60~~80%를 버리는 반면, LfH는 실패를 재라벨링함으로써 그룹의 **70~~80%**를 유지하여 수집된 데이터를 효과적으로 활용합니다.
일반화: 이러한 개선 사항은 다양한 VLA 백본(GR00T 및 OpenVLA-OFT 포함)에서 유지되었으며, 실제 물리 로봇 실험에서도 성공적으로 전이되었습니다. L-Hf는 128회의 롤아웃 시점에서 표준 GRPO의 성공률을 두 배로 높였습니다.
절제 연구(Ablation Studies): 실험을 통해 이 이득이 무작위 보상 주입이나 단순한 지시문 재구성에 의한 것이 아님을 확인했습니다. 또한 LfH가 훈련 중 다양한 행동 분포를 유지하고 정책이 반복적인 실패 모드로 붕괴하는 것을 방지하는 데 도움이 된다는 점을 보여주었습니다.

의의 및 주장

논문은 LfH가 RL 사후 학습에서 로봇 데이터의 유용성을 근본적으로 변화시킨다고 주장합니다. 궤적을 관찰된 행동과 일치하는 모든 언어 목표에 대한 증거로 취급함으로써, LfH는 "로봇 샘플당 더 많은 비트(more bits per robot sample)"를 추출합니다.

저자들은 이 접근 방식이 이미 언어 지시어 전반에 걸쳐 일반화 능력을 갖춘 사전 학습된 VLA에 특히 자연스럽다는 점을 강조합니다. LfH는 모델이 단지 "요청받은 것"이 아니라, "실제로 수행한 것"으로부터 학습할 수 있게 합니다. 이는 VLA 사후 학습을 위한 실질적인 경로를 제공합니다. 즉, 더 많은 롤아웃을 수집하거나 동일한 라벨에 대해 더 오래 최적화하는 대신, 언어를 통해 각 롤아웃을 재해석함으로써 지원되는 작업 간의 학습 전이를 달성할 수 있습니다.

논문은 한계점도 인정하는데, LfH는 수집된 데이터 내 실패의 다양성과 해석 가능성에 의존한다는 점입니다. 만약 정책이 반복적이거나 정보가 없는 궤적을 생성한다면, 회복할 수 있는 의미 있는 힌드사이트 목표가 적어집니다. 또한, 이 방법은 VLM 재라벨러의 품질에 의존하며, 부정확하거나 지나치게 일반적인 프롬프트는 노이즈가 섞인 감독(supervision)을 도입할 수 있습니다.