기술 요약: 프롬프트 기반 탐색 (Prompt-Driven Exploration, PDE)

1. 문제 정의

파운데이션 모델, 특히 시각-언어-행동(VLA) 모델을 위한 강화 학습(RL) 사후 훈련(post-training)은 **탐색(exploration)**에 의해 병목 현상이 발생합니다. 표준 RL 방법론은 새로운 행동을 발견하기 위해 행동 공간(action space)에 확률성을 주입하는 방식(예: 액션 노이즈 또는 파라미터 노이즈)에 의존합니다. 그러나 저자들은 이러한 노이즈가 **국소적 섭동(local perturbations)**만을 유발하여, 결과적으로 롤아웃(rollout)이 현재 정책의 기존 행동 근처에 머물게 된다고 주장합니다.

이러한 한계는 초기 정책이 취약한 경우(예: 조작 작업에서 성공률이 거의 0에 가까운 경우) 매우 치명적입니다. 최적이 아닌 정책에서 벗어나기 위해서는 전체 궤적과 전략을 변화시키는 **전역적 섭동(global perturbations)**이 필요하지만, 단계별 액션 노이즈는 이를 달성할 수 없습니다. 또한, 초기 정책이 거의 성공하지 못하는 희소 보상(sparse-reward) 환경에서는 보상 신호가 너무 희소하여 유용한 탐색 행동을 선택하도록 유도하기 어렵습니다.

2. 방법론: 프롬프트 기반 탐색 (PDE)

본 논문은 탐색의 축을 행동 공간에서 **프롬프트 공간(prompt space)**으로 전환하는 전략인 **프롬프트 기반 탐색(PDE)**을 제안합니다. 파운데이션 모델(LLM 및 VLA)은 자연어 프롬프트에 따라 조건화되므로, 프롬프트를 수정함으로써 가중치 업데이트 없이도 정책의 행동에 전역적인 변화를 유도할 수 있습니다.

핵심 메커니즘

PDE는 프롬프트 분포를 정책 분포의 대리물(proxy)로 취급합니다. 이는 프롬프트 수준에서의 사후 샘플링(posterior sampling) 형태를 구현합니다:

1. 암묵적 사후 샘플링 (Implicit Posterior Sampling): 대규모 모델에 대해 신경망 파라미터에 대한 베이지안 사후 분포를 유지하는 것은 불가능하므로(intractable), PDE는 프롬프트에 대한 분포 $\rho(\cdot | g, H)$를 유지합니다. 여기서 $g$는 태스크이고 $H$는 상호작용 이력입니다.
2. VLM을 이용한 아마티즈드 사후 업데이트 (VLM as an Amortized Posterior Update): 시각-언어 모델(VLM)이 감독관 역할을 수행합니다. VLM은 다양한 프롬프트 하에서 현재 정책이 생성한 롤아웃 비디오를 분석하여 실패 모드를 진단하고, 더 나은 행동을 이끌어내도록 프롬프트를 재작성합니다. 이 과정은 성공적인 롤아웃을 생성하는 프롬프트에 집중하도록 프롬프트 분포 $\rho$를 업데이트합니다.
3. 2단계 훈련 루프:
   • 프롬프트 발견 (Prompt Discovery): 정책 가중치는 동결된 상태로 유지됩니다. VLM은 후보 프롬프트를 샘플링하고, 관찰된 궤적과 보상을 바탕으로 프롬프트 풀(pool)을 정제합니다.
   • 정책 최적화 (Policy Optimization): 효과적인 프롬프트 풀이 식별되면, 근사 정책 최적화(PPO)를 사용하여 정책을 미세 조정합니다.

주요 기술 구성 요소

• 혼합 샘플링 (Mixture Sampling): RL 훈련 중, 표준 태스크 프롬프트($p_g$)와 발견된 탐색적 프롬프트($\rho$)의 혼합물에서 프롬프트를 샘플링합니다. 혼합 가중치 $\alpha$는 정책이 표준 프롬프트에서 개선됨에 따라 적응적으로 증가합니다.
• 혼합 역전파 (Mixed Backpropagation): 탐색적 프롬프트로부터 얻은 개선 사항이 표준 프롬프트로 전이되도록 하기 위해 PPO 손실 함수를 수정합니다. 어드밴티지 비율(advantage ratio)은 탐색적 프롬프트와 표준 프롬프트 모두에서의 액션 평균 로그 확률을 사용합니다. 이는 학습 신호를 결합하여, 정책이 프롬프트 변화에도 강건한 행동을 학습하도록 보장합니다.
• 프롬프트 정제 (Prompt Refinement): VLM은 단순히 무작위로 유사한 문장을 생성하는 것이 아니라, 특정 실패 모드(예: "로봇이 엉뚱한 물체를 잡았다")를 바탕으로 추론하여 타겟팅된 지시문(예: "머그컵이 아니라 초록색 용기를 잡아라")을 생성합니다.

3. 주요 기여

• 새로운 탐색 축 제시: 본 논문은 프롬프트 공간 탐색이 액션 노이즈가 도달할 수 없는 전역적 행동 변화를 유도할 수 있는 유효한 대안임을 소개합니다.
• 제로샷에서 비제로 보상으로 (Zero-Shot to Non-Zero Reward): PDE는 RL이 초기 성공률이 0인 정책으로부터 학습을 시작할 수 있게 합니다. 성공률이 0인 영역에서 비제로 보상 궤적을 이끌어내는 프롬프트를 발견함으로써, PDE는 표준 방법론들이 실패하는 지점에서 RL이 진행될 수 있도록 필요한 학습 신호를 제공합니다.
• 샘플 효율성: 이 방법은 조작 및 추론 작업에서 샘플 효율성을 크게 향상시키며, 베이스라인 모델들에 비해 높은 성공률에 도달하기 위해 훨씬 적은 환경 상호작용을 요구합니다.
• 일반화 가능성: 이 접근 방식은 VLA 제어뿐만 아니라 LLM 기반의 추론 및 코딩 작업에서도 효과적임이 입증되었으며, 이는 프롬프트 공간 탐색이 파운데이션 모델 미세 조정을 위한 일반적인 메커니즘임을 시사합니다.

4. 실험 결과

저자들은 여러 벤치마크에서 PDE를 평가했습니다:

• LIBERO 및 LIBERO-PRO:

  • "Hard" 태스크(초기 성공률 < 10%)에서 PDE는 표준 액션 노이즈 대비 60%의 상대적 개선을 달ermo 합니다.
  • "전자레인지 닫기" 사례 연구에서, 표준 프롬프트 하에서 성공률이 0%였던 정책이 PDE의 유도를 통해 성공을 이끌어내는 프롬프트(예: "전자레인지 문이 닫힐 때까지 밀어라")를 발견하였고, 결국 표준 프롬프트에서도 약 100%의 성공률에 도달했습니다.
  • PDE는 액션 노이즈, 파라미터 노이즈, RND(Random Network Distillation), 밀집 보상 모델(Robometer)을 포함한 베이스라인들을 능가했습니다.

• ManiSkill:

  • PDE는 모든 난이도 계층(Hard, Medium, Easy)과 일반화 축(Visual, Semantic, Execution)에서 성공률을 향상시켰습니다.
  • 액션 노이즈가 진전을 보이지 못하는 어려운 태스크에서도 PDE는 성공적으로 학습을 부트스트래핑했습니다.

• 실제 환경 조작 (Real-World Manipulation):

  • Franka FR3 암을 사용하여, PDE는 물리적 환경에서 우수한 샘플 효율성을 보여주었습니다. 128회의 실제 롤아웃 후, PPO+PDE는 45%의 성공률을 달성하여, 표준 액션 노이즈를 사용한 PPO의 20%보다 두 배 이상 높은 성과를 기록했습니다.

• LLM 태스크 (LiveCodeBench & AIME 2026):

  • 코딩 및 수학적 추론 작업에서, PDE는 초기 샘플 효율성을 개선하여 표준 RL 미세 조정(RLOO 및 GRPO)에 비해 더 적은 훈련 단계 내에 더 높은 정확도 수준에 도달했습니다.

5. 의의 및 주장

본 논문은 파운데이션 모델 정책의 경우, 효과적인 탐색이 반드시 모델의 내부 파라미터나 행동을 섭동시킬 필요는 없다고 주장합니다. 대신, 효과적인 탐색은 정책을 조건화하는 맥락(프롬프트)으로부터 올 수 있습니다.

저자들은 PDE를 RL 미세 조정의 "희소 보상" 및 "취약한 초기화" 문제를 해결하기 위한 솔루션으로 제시합니다. VLM의 사전 학습된 언어적 지식(prior)을 활용하여 실패를 추론하고 지시문을 재작성함으로써, PDE는 고전적인 RL 프레임워크(사후 샘플링)를 다루기 쉬운 고수준 공간에서 실현합니다. 이 연구는 롤아웃이 프롬프트로부터 파생되는 모델의 경우, 프롬프트를 수정하는 것이 단계별 노이즈보다 전역적 탐색을 위한 더 강력한 메커즘임을 시사합니다.

논문은 PDE가 "제로 보상 시작점에서도 성공적인 정책을 학습할 수 있게 하고", "샘플 효율성을 광범위하게 개선한다"고 명시하며, RL의 모든 탐색 과제를 해결한다고 주장하기보다는 PDE가 정책이 '무엇을 하는지'를 바꾸는 보완적 전략임을 강조하며 마무리합니다.