🤖 machine learning

Automating Potential-based Reward Shaping with Vision Language Model Guidance

본 논문은 경량 시각-언어 모델로부터의 선호도 피드백을 활용하여 보상 형성(reward shaping)을 위한 잠재 함수를 자동으로 학습함으로써, 최적 정책을 보존하고 보상 해킹을 방지하는 동시에 희소 보상 환경에서의 강화 학습을 가속화하는 프레임워크인 VLM-PBRS를 소개한다.

원저자: Henrik Müller, Daniel Kudenko

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Henrik Müller, Daniel Kudenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 서랍을 열거나 가스레인지를 켜는 것과 같은 복잡한 과업을 수행하도록 가르치고 있다고 상상해 보십시오. 로보틱스와 AI의 세계에서 이것을 **강화 학습(Reinforcement Learning)**이라고 부릅니다.

문제점: "침묵하는 스승"

보통 우리는 로봇이 과업을 완벽하게 마쳤을 때만 보상을 주어 가르칩니다. 이는 마치 학생이 수학 문제를 푸는 내내 침묵하다가, 답이 맞았을 때만 마지막에 "잘했어!"라고 말하는 선생님과 같습니다.

문제점: 만약 로봇이 수백만 번의 시도를 하고 순전히 운 좋게 단 한 번 "잘했어!"라는 말을 듣는다면, 로봇은 그 수백만 번의 시도 중 어떤 것이 도움이 되었는지 알 방법이 없습니다. 이는 어둠 속에서 건초더미 속의 바늘을 찾는 것과 같습니다. 이를 **희소 보상(sparse reward)**이라고 하며, 이는 학습을 매우 느리게 만듭니다.

기존의 해결책: "지나치게 열정적인 코치"

이를 해결하기 위해 인간은 종종 로봇에게 과정 중에 작은 보상을 주려고 노력합니다 (예: "좋아, 손을 손잡이에 더 가까이 가져갔어!" 또는 "잘했어, 손잡이를 잡았구나!"). 이를 **보상 형성(Reward Shaping)**이라고 합니다.

위험 요소: 만약 코치가 너무 열정적이거나 잘못된 힌트를 준다면, 로봇은 주의가 산만해질 수 있습니다. 로봇은 실제로 서랍을 여는 대신, 단지 "잘했어!"라는 소리를 듣기 위해 손잡이 근처에서 손을 흔드는 법을 배울 수도 있습니다. 이를 **보상 해킹(Reward Hacking)**이라고 합니다. 로봇이 과업이 아닌 '힌트'를 해결해 버리는 것입니다.

새로운 해결책: "똑똑하고 저렴한 가이드"

이 논문은 VLM-PBRS라고 불리는 새로운 방법을 소개합니다. 이 방법은 **시각-언어 모델(Vision-Language Model, VLM)**이라는 특수한 유형의 AI를 사용합니다. VLM을 사진을 볼 수도 있고 지시 사항을 읽을 수도 있는 로봇이라고 생각하십시오.

저자들이 제안한 방법은 다음과 같은 간단한 비유를 통해 작동합니다:

1. "두 장의 사진" 게임

VLM에게 복잡한 규칙 세트를 작성하도록 요청하는 대신(이는 어렵고 비용이 많이 듭니다), 시스템은 간단한 게임을 수행합니다:

VLM에게 서로 다른 순간의 로봇 사진 두 장을 보여줍니다.
그리고 묻습니다: "목표는 서랍을 여는 것입니다. 로봇이 승리에 더 가까워진 사진은 어느 쪽입니까?"
VLM은 "사진 A" 또는 "사진 B"라고 대답합니다.

2. "안전한 지도" (잠재 기반 보상 형성, Potential-Based Reward Shaping)

이 부분이 영리한 부분입니다. 저자들은 VLM의 답변이 유일한 보상이 되도록 두지 않습니다. 대신, VLM의 답변을 사용하여 **정신적 지도(잠재 함수, potential function)**를 구축합니다.

비유: VLM이 당신에게 나침반을 주는 등산객이라고 상상해 보십시오. 나침반은 대략적으로 목표를 향해 가리킵니다.
안전망: 이 논문은 **잠재 기반 보상 형성(Potential-Based Reward Shaping)**이라는 수학적 보증을 사용합니다. 이는 다음과 같이 말합니다: "설령 나침반이 약간 틀리더라도, 당신을 절벽 아래로 떨어뜨리거나 영원히 잘못된 방향으로 걷게 만들지는 않을 것입니다. 단지 당신을 더 빨리 혹은 더 느리게 걷게 할 뿐입니다."
이 안전망 덕분에 로봇은 더 저렴하고, 작고, 빠른 VLM을 사용할 수 있습니다. VLM이 완벽하기 위해 초지능적이거나 값비싼 AI일 필요는 없습니다. 그저 길을 안내할 수 있을 만큼 "충분히 좋은" 수준이면 됩니다.

3. 결과

로봇은 VLM의 "나침반"으로부터 지속적인 힌트를 받기 때문에 훨씬 빠르게 학습하지만, 수학적으로 여전히 올바른 방식으로 과업을 해결하도록 보장됩니다.

저자들이 실제로 발견한 것

연구진은 두 가지 가상 세계에서 이를 테스트했습니다:

Meta-World: 버튼 누르기나 문 열기와 같은 간단한 로봇 과업들의 집합.
Franka Kitchen: 많은 방해 요소가 있는 더 복잡하고 어수선한 주방 환경.

주요 연구 결과:

속도: 로봇은 "침묵하는 스승"(희소 보상)을 기다릴 때보다 이 방법을 사용했을 때 훨씬 더 빠르게 학습했습니다.
안전성: VLM이 완벽하지 않을 때도(가끔 잘못 예측할 때도), 로봇은 "해킹"당하거나 혼란에 빠지지 않았습니다. 로봇은 여전히 올바른 과업을 학습했으며, 단지 조금 더 느리게 진행되었을 뿐입니다.
비용: 그들은 가장 크고 비싼 AI 모델이 필요하지 않다는 것을 증명했습니다. 작은 규모의 저렴한 모델들도 충분히 잘 작동하는데, 이는 "안전망"이 학습 과정을 보호해주기 때문입니다.
비교: 일부 과업에서는 그들의 방법이 인간 전문가가 수동으로 설계한 보상 힌트보다 더 효과적이었습니다. 다른 과업에서는 인간이 설계한 힌트와 비슷하면서도 인간의 노력이 전혀 필요하지 않았습니다.

요 요약

이 논문은 "이것이 저것보다 낫다"라는 식의 간단한 힌트를 주는 "저렴한" AI를 사용하여 로봇을 더 빠르게 가르치는 방법을 제시합니다. 특수한 수학적 안전 규칙 덕분에, 이러한 힌트들은 로봇이 잘못된 행동을 하도록 속이지 않으면서도 학습 속도를 높여줍니다. 이는 학생에게 빈 종이 대신 약간은 불완전하더라도 방향이 적힌 지도를 주는 것과 같습니다. 학생은 목적지에 도달할 것이며, 다만 훨씬 더 빨리 도착할 뿐입니다.

기술 요약: 시각-언어 모델(VLM) 가이드를 통한 잠재 기반 보상 형성(Potential-based Reward Shaping) 자동화

문제 정의

강화 학습(RL) 에이전트는 작업 완료 시에만 피드백이 제공되는 희소 보상(sparse rewards) 환경에서 상당한 어려움에 직면합니다. 이러한 중간 가이드의 부재는 탐색을 저해하고, 성공의 원인을 특정 궤적의 특정 부분으로 귀속시키는 것을 어렵게 만듭니다. 보상 형성(Reward Shaping)(탐색을 유도하기 위해 보조 신호를 추가하는 것)은 흔히 사용되는 해결책이지만, 임의적인 보상 형성은 에이전트가 의도된 작업을 해결하지 않고 보조 신호만을 극대화하려는 보상 해킹(reward hacking) 현상을 초래할 수 있습니다.

**잠재 기반 보상 형성(Potential-Based Reward Shaping, PBRS)**은 연속적인 상태 사이의 잠재 함수 $\Phi(s)$ 의 차이를 보상에 더함으로써 이론적으로 견고한 대안을 제공합니다. PBRS는 원래 작업의 최적 정책 집합을 보존한다는 것을 보장합니다. 그러나 효과적인 잠재 함수를 정의하는 것은 일반적으로 광범위한 전문가 지식과 수동 엔지니어링을 필요로 하며, 이는 확장성을 제한합니다.

최근 **시각-언어 모델(Vision Language Models, VLMs)**을 사용하여 보상 함수를 직접 학습하는 방식(예: RL-VLM-F)은 인간의 설계 필요성을 줄여주지만, VLM이 실제 보상 함수를 완벽하게 근사해야 한다는 엄격한 요구 사항에 의존합니다. 이는 레이블 정확도에 대한 높은 제약을 부과합니다. 즉, VLM 출력의 오류는 하위 최적(sub-optimal) 정책으로 이어질 수 있습니다. 또한, 훈련 중에 대규모의 최첨단 VLM을 반복적으로 쿼리하는 것은 계산적으로 매우 비용이 많이 듭니다.

방법론: VLM-PBRS

저자들은 VLM 생성 선호도 레이블을 사용하여 PBRS를 위한 잠재 함수 구축을 자동화하는 프레임워크인 VLM-PBRS를 제안합니다. 핵심 혁신은 PBRS의 정책 불변성(policy invariance) 특성을 활용하여 VLM의 정확도 요구 사항을 완화함으로써, 더 작고 효율적인 모델을 사용할 수 있도록 하는 데 있습니다.

핵심 구성 요소

선호도 기반 학습 루프:
- 시스템은 정책 개선, 데이터 수집, VLM 쿼리를 포함하는 반복 루프로 작동합니다.
- 데이터 수집: 에이전트가 환경과 상호작용하며 궤적과 이미지 관측치를 수집합니다.
- VLM 쿼리: 버퍼에서 이미지 쌍( $\sigma_i, \sigma_j$ )을 샘용합니다. 목표에 대한 자연어 설명을 포함한 프롬프트가 구성됩니다. VLM은 어떤 이미지가 목표를 더 잘 달성하는지 결정하도록 쿼리됩니다.
- 프롬프트 구조: 프롬프트는 VLM에게 공통 요소를 식별하고, 목표와 비교하여 차이점을 설명하며, 선호도를 나타내는 기계 판독 가능한 레이블( $y \in \{-1, 0, 1\}$ )을 출력하도록 요청합니다.
- 레이블 추출: 이전 연구들(예: RL-VLM-F)이 상세한 VLM 출력으로부터 레이블을 추출하기 위해 두 번째 LLM 호출을 사용하는 것과 달리, VLM-PBRS는 계산 효율성을 높이기 위해 단일 VLM 호출에서 레이블을 직접 추출합니다.
잠재 함수 구축:
- 수집된 VLM 레이블을 사용하여 손실 함수(Cross-Entropy 또는 Mean Absolute Error)를 통해 선호도 모델 $r_\psi$ 를 학습시킵니다.
- 학습된 모델은 다음과 같이 잠재 함수 $\Phi(s)$ 로 변환됩니다:
  $\Phi(s) = \begin{cases} 0 & \text{if } s \text{ is terminal} \\ \lambda \sigma(r_\psi(s)) & \text{otherwise} \end{cases}$
  여기서 $\sigma$ 는 시그모이드 활성화 함수이며, $\lambda$ 는 보상이 양수이고 목표 보상보다 낮게 유지되도록 보장하는 스케일링 인자(0.9로 설정)입니다.
보상 형성:
- 형성된 보상 $R'$ 은 $R'(s, a, s') = R(s, a, s') + (\gamma \Phi(s') - \Phi(s))$ 로 계산됩니다.
- 이 형성된 보상은 SAC를 사용하는 RL 에이전트의 탐색 과정 동안 가이드 역할을 합니다. 잠재 함수가 개선됨에 따라 리플레이 버퍼의 보상도 재계산됩니다.

주요 설계 선택

소형 VLM: 프레임워크는 계산 효율적인 소형 오픈 웨이트 VLM(예: Ovis2-16B, Qwen3-VL-8B)을 활용합니다. 저자들은 이러한 모델들이 더 큰 모델보다 정확도가 낮을 수 있지만, PBRS 프레임워크가 이러한 노이즈에 강건하다고 주장합니다.
단일 단계 레이블링: 레이블 생성을 위한 두 번째 LLM 호출을 피함으로써 계산 오버헤드를 크게 줄였습니다.

주요 기여

VLM 선호도 학습의 첫 PBRS 적용: 본 논문은 텍스트 형태의 목표 설명과 시각적 관측치만을 사용하여 PBRs를 위한 잠재 함수를 직접 합성하는 최초의 프레임워크를 소개합니다.
소형 VLM의 원칙적 사용: 저자들은 PBRS의 정책 불변성 보장이 직접적인 보상 모델링의 엄격한 레이블 정확도 요구 사항을 완화한다는 점을 입증했습니다. 이를 통해 레이블에 노이즈가 있더라도 학습된 정책의 최적성을 해치지 않으면서도 더 작고 계산 효율적인 VLM을 사용할 수 있게 합니다.
실증적 검증: 이 방법은 Meta-World 및 Franka Kitchen 환경에서 검증되었으며, 희소 보상 및 단순한 VLM 보상 학습에 비해 향상된 샘플 효율성과 보상 해킹에 대한 강건성을 보여주었습니다.

결과

저자들은 VLM-PBRS를 네 가지 베이스라인(Sparse Rewards, Human-Designed Dense Rewards, RL-VLM-F)과 비교 평가했습니다.

샘플 효율성: VLM-PBRS는 테스트된 모든 작업(예: 버튼 누르기, 창 열기, 마이크로웨이브, 스위치 켜기)에서 희소 보상 베이스라인보다 일관되게 학습 속도를 가속화했습니다.
RL-VLM-F와의 비교: RL-VLM-F는 일부 작업에서는 희소 보상보다 개선된 모습을 보였으나, VLM 레이블링 오류가 잘못된 동기를 부여함에 따라 다른 작업(예: 버튼 누르기, 상단 버너)에서는 하위 최적 정책으로 수렴하는 경우가 잦았습니다. 반면, VLM-PBRS는 PBRS 특성 덕분에 노이즈가 있는 레이블에서도 최적 정책 수렴을 유지했습니다.
인간 설계 대비 성능: 버튼 누르기 작업에서 약 59%의 VLM 정확도를 가진 VLM-PBRS는 보상 해킹 문제를 겪는 인간 설계 밀집 보상(human-designed dense reward) 베이스라인보다 우수한 성능을 보였습니다.
레이블 정확도 민감도:
- 오라클 레이블러(oracle labeler)를 사용한 실험 결과, 샘플 효율성 개선은 레이블 정확도와 상관관계가 있었습니다.
- 정확도가 무작위 확률(0.0) 미만인 경우에도 VLM-PBRS는 희소 보상 이하로 성능이 저하되지 않았으며, 근본적인 RL 탐색에 의존했습니다.
- VLM 정확도가 무작위 수준에 가까운 작업(예: 서랍 열기)에서는 VLM-PBRS가 희소 보상보다는 약간의 개선을 보였으나, 인간 설계 밀집 보상에는 미치지 못했습니다.
절제 연구(Ablation Studies):
- 배치 크기: VLM 쿼리 배치당 20개의 레이블을 사용하는 것이 성능과 계산 비용 사이의 균형을 맞추는 데 충분한 것으로 나타났습니다.
- 손실 함수: Cross-Entropy와 MAE(Mean Absolute Error) 손실은 유사한 성능을 보였으며, Cross-Entropy가 기본값으로 선택되었습니다.

의의 및 주장

본 논문은 VLM-PBRS가 자원이 제한된 환경에서 보상 형성을 자동화하기 위한 실용적이고 확장 가능한 경로를 제공한다고 주장합니다. VLM의 완벽한 추론 능력과 정책 최적성 보장 사이의 결합을 분리함으로써, 이 방법은 더 작고 저렴한 VLM을 사용할 수 있게 합니다.

저자들은 다음과 같은 점을 강조합니다:

최적성 보존: 직접적인 보상 학습과 달리, VLM 오류로 인해 하위 최적 정책을 학습할 위험이 없습니다.
엔지니어링 부담 감소: 전문가가 설계한 잠재 함수나 밀집 보상 항이 필요하지 않으며, 고수준의 텍스트 설명만 있으면 됩니다.
강건성 향 향상: 임의적인 보상 형사의 흔한 실패 모드인 보상 해킹에 대해 본질적으로 내성이 있습니다.

이 연구는 멀티모달 파운데이션 모델이 발전함에 따라 VLM-PBRS의 일반성과 이점이 자연스럽게 증가할 것이며, 복잡한 로봇 작업을 위한 수작업 보상 엔지니어링의 실행 가능한 대안을 제공할 것임을 시사합니다.