VP-VLA: Visual Prompting as an Interface for Vision-Language-Action Models

이 논문은 고수준 추론과 저수준 실행을 구조화된 시각적 프롬프트 인터페이스를 통해 분리하는 'VP-VLA' 프레임워크를 제안하여, 기존 비전 - 언어 - 행동 (VLA) 모델의 공간 정밀도 및 강건성 문제를 해결하고 성공률을 크게 향상시켰음을 보여줍니다.

핵심

VP-VLA: 로봇에게 '눈'과 '손'을 따로 가르치는 혁신적인 방법

이 논문은 로봇이 복잡한 지시를 듣고 물건을 옮기는 일을 할 때, 기존 방식의 한계를 깨고 더 똑똑하게 행동할 수 있게 해주는 새로운 방법 VP-VLA를 소개합니다.

기존 로봇들은 "병을 줍고 초록색 상자에 넣어"라는 말을 들으면, 머릿속에서 이 말을 해석하고, 병을 찾고, 손으로 잡는 동작까지 한 번에 동시에 처리하려고 했습니다. 마치 한 사람이 동시에 통역사, 지도 보는 사람, 그리고 운전사를 모두 맡아서 하다가, 길을 잃거나 실수를 하는 것과 비슷합니다.

VP-VLA 는 이 문제를 해결하기 위해 **"두 명의 전문가"**가 팀을 이루어 일하는 방식을 도입했습니다.

---

🧠 1. 두 명의 전문가: "생각하는 두뇌"와 "손이 빠른 사수"

이 시스템은 인간의 뇌가 '느린 사고 (System 2)'와 '빠른 반응 (System 1)'으로 나뉘는 것처럼, 두 개의 시스템으로 나뉩니다.

① System 2 Planner (생각하는 두뇌 - 기획자)

• 역할: 복잡한 지시를 받아서 작은 단계로 나누고, 무엇을 잡아야 하는지 어디에 놓아야 하는지 결정합니다.
• 비유: 마치 요리사가 "오늘 저녁 메뉴는 파스타야!"라는 주문을 받자마자, "먼저 면을 삶고, 소스를 만들고, 그릇에 담아야지"라고 계획을 세우는 역할입니다.
• 특징: 이 기획자는 로봇이 보는 화면에 **직접 눈금자나 화살표 (시각적 프롬프트)**를 그려 넣습니다. 예를 들어, "병을 잡으라"면 병 위에 **십자선 (+)**을 그리고, "상자에 넣어라"면 상자 위에 **네모 박스 (□)**를 그립니다.

② System 1 Controller (손이 빠른 사수 - 실행자)

• 역할: 기획자가 그려준 화살표와 박스만 보고, 로봇 팔을 움직여 정확한 위치를 잡습니다.
• 비유: 이제 요리사가 "면은 이 그릇에, 소스는 저 그릇에"라고 화살표로 가리켜 주면, 요리 보조 (로봇 팔) 는 그 화살표만 보고 재빨리 정확하게 움직입니다. 더 이상 "어디에 놓아야 하지?"라고 고민할 필요가 없습니다.

---

🎨 2. 핵심 아이디어: "눈에 보이는 지시" (Visual Prompting)

기존 로봇들은 말 (텍스트) 만 듣고 움직였기 때문에, "초록색 상자에 넣어"라고 해도 상자가 어디 있는지, 어떤 모양인지 정확히 이해하지 못해 실수하곤 했습니다.

VP-VLA 는 이미지 위에 직접 그림을 그려서 로봇에게 알려줍니다.

• 기존 방식: "저기 있는 병을 가져와." (로봇: "어디에 있지?")
• VP-VLA 방식: "저기 이 병 위에 빨간 십자가가 있잖아. 그걸 잡아서 초록색 박스 안에 그려진 네모에 넣어." (로봇: "아! 여기 있네! 바로 잡을게!")

이렇게 시각적인 힌트를 주면 로봇은 언어를 해석하는 데 에너지를 쓰지 않고, 오직 정확한 동작에만 집중할 수 있게 됩니다.

---

🏆 3. 왜 이것이 중요한가요? (실제 효과)

이 방법은 로봇이 처음 보는 물건이나 생소한 위치에서도 훨씬 잘 작동하게 만들었습니다.

• 새로운 물건: 훈련하지 않은 '이상한 모양의 병'이 나와도, 기획자가 그 위에 십자선을 그려주면 로봇은 그 모양과 상관없이 정확히 잡습니다.
• 새로운 위치: 물건을 놓을 위치가 훈련 데이터에 없어도, 기획자가 그 위치에 박스를 그려주면 로봇은 그 박스 안으로 정확히 넣습니다.
• 성공률 향상: 시뮬레이션과 실제 로봇 실험에서 기존 최고의 로봇 모델들보다 성공률이 5~8% 이상 높아졌습니다. 이는 로봇이 실수를 줄이고 훨씬 더 신뢰할 수 있게 된다는 뜻입니다.

---

💡 요약: 한 줄로 정리하면?

"로봇에게 복잡한 지시를 직접 내리기보다, '이것을 잡으세요 (화살표)', '저기에 놓으세요 (박스)'라고 그림으로 알려주면, 로봇은 훨씬 더 똑똑하고 정확하게 일을 해냅니다."

이 기술은 로봇이 우리 집이나 공장, 병원 등 다양한 환경에서 인간과 더 자연스럽게 협력할 수 있는 미래를 앞당겨 줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델들은 시각적 관찰과 언어 지시를 직접 로봇 제어 신호로 매핑하는 '블랙박스' 방식을 주로 사용합니다. 이 방식은 다음과 같은 근본적인 한계를 가집니다.

• 단일 프론트패스의 과부하: 지시 해석, 공간적 정렬 (Grounding), 저수준 제어라는 세 가지 복잡한 작업을 하나의 네트워크가 동시에 수행해야 하므로, 공간적 정밀도가 떨어집니다.
• 분포 외 (OOD) 상황에서의 취약성: 훈련 데이터의 특정 분포에 과적합 (Overfitting) 되어, 새로운 물체 카테고리나 훈련되지 않은 공간적 위치가 등장하면 성능이 급격히 저하됩니다.
• 구체적 위치 파악의 부재: 텍스트 지시만으로는 복잡한 공간 관계 (예: "선 3 번, 열 4 번") 나 구체적인 물체 위치를 정밀하게 파악하기 어렵습니다.

2. 제안 방법론: VP-VLA (Methodology)

저자들은 VP-VLA를 제안하며, 이는 고수준 추론 (High-level Reasoning) 과 저수준 실행 (Low-level Execution) 을 구조화된 비주얼 프롬프트 (Structured Visual Prompting) 인터페이스를 통해 분리하는 이중 시스템 (Dual-System) 아키텍처입니다.

A. 전체 아키텍처

1. System 2 Planner (고수준 계획자):

   • 역할: 복잡한 언어 지시를 하위 작업 (Sub-tasks) 으로 분해하고, 관련 대상 물체와 목표 위치를 식별합니다.
   • 동작: 사전 훈련된 VLM(Visual Language Model, 예: Qwen3-VL) 을 사용합니다.
   • 이벤트 기반 실행: 로봇의 상태 변화 (예: 그리퍼의 열림/닫힘) 를 감지하여 '전환 이벤트 (Transition Event)'가 발생할 때만 재평가 및 프롬프트 생성을 수행하여 계산 효율성을 높입니다.
   • 출력: 대상 물체의 중심에 **크로스헤어 (Crosshair)**와 배치 영역을 나타내는 **바운딩 박스 (Bounding Box)**를 포함한 시각적 인터페이스 이미지를 생성합니다.

2. System 1 Controller (저수준 실행기):

   • 역할: Planner 가 생성한 시각적 프롬프트를 기반으로 정밀한 로봇 제어 신호 (Action Chunk) 를 생성합니다.
   • 동작: 원본 시각 관찰 (Original Image) 과 **비주얼 프롬프트가 중첩된 이미지 (Visual Prompt Overlay)**를 함께 입력받아 학습된 VLA 정책 (Policy) 이 실행합니다.
   • 효과: 추상적인 언어 지시를 "시각적 추적 (Visuomotor Tracking)" 문제로 변환하여, 정책이 탐색 공간을 줄이고 정확한 위치를 파악하도록 돕습니다.

B. 학습 전략: 보조 시각 정렬 목적 함수 (Auxiliary Visual Grounding Objective)

• 문제: 모델이 이미지 위에 덧입힌 프롬프트를 단순한 노이즈로 인식하거나 무시할 수 있습니다.
• 해결: 학습 과정에서 Grounding Loss를 도입합니다.
  • Planner 가 식정한 대상 물체의 크로스헤어 위치 $(x, y)$와 목표 위치의 바운딩 박스 좌표 $[x_1, y_1, x_2, y_2]$를 VLM 이 예측하도록 강제합니다.
  • 이 손실 함수는 행동 예측 손실 (Action Loss) 과 함께 최적화되며, 특히 VLM 파라미터에 대한 그라디언트 역전파를 통해 모델이 시각적 프롬프트의 공간적 의미를 내재화하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 구조화된 비주얼 프롬프트 인터페이스: 고수준 추론과 저수준 제어를 분리하여, 복잡한 지시를 정밀한 공간적 앵커 (Anchor) 로 변환하는 새로운 프레임워크를 제안했습니다.
2. 시각 정렬 (Grounding) 목적 함수: 학습 중 명시적인 공간 인식 능력을 강화하여, OOD(분포 외) 상황에서도 강인한 성능을 발휘하도록 했습니다.
3. 이벤트 기반 계층적 계획: 불필요한 계산을 줄이기 위해 로봇 상태 변화 시에만 하위 작업을 재계획하는 효율적인 메커니즘을 도입했습니다.

4. 실험 결과 (Results)

VP-VLA 는 시뮬레이션 및 실제 로봇 환경에서 기존 최첨단 (SOTA) 모델들을 압도하는 성능을 입증했습니다.

• Robocasa-GR1-Tabletop Benchmark:
  • 평균 성공률 **53.8%**를 기록하여, 주요 베이스라인인 QwenOFT (48.8%) 보다 5.0%p 향상되었습니다.
  • 특히 복잡한 다단계 작업 (물건 집기 → 이동 → 서랍/문 닫기) 과 새로운 물체/배치 위치가 포함된 OOD 설정에서 큰 개선을 보였습니다.
• SimplerEnv Benchmark:
  • 평균 성공률 **58.3%**를 달성하여, 베이스라인 (QwenOFT, 50.0%) 대비 8.3%p 향상되었습니다.
  • 기존 모델들 (π0.5, Isaac-GR00T 등) 보다 우수한 성능을 보였습니다.
• 실제 로봇 환경 (Real-world Scenarios):
  • 쓰레기 분류 (Cluttered Sorting): 훈련되지 않은 새로운 물체 (OOD Objects) 에 대해 85% 의 성공률을 기록하며, 베이스라인 (63.3%) 대비 OOD 성능 격차를 크게 줄였습니다.
  • 속성 기반 참조 (Attribute Grounding): "파란색 달걀"과 같이 색상 속성에 기반한 작업에서 새로운 색상에 대해 75% 성공률을 보였으나, 베이스라인은 29.2% 로 급감했습니다.
  • 공간적 정밀도 (Spatial Grounding): "3 번 줄, 4 번 열"과 같은 좌표 기반 배치 작업에서 91.25% 의 정확도를 보이며, 텍스트만으로는 해결하기 어려운 공간 추론 문제를 시각적 프롬프트로 성공적으로 해결했습니다.

5. 의의 및 결론 (Significance)

• 블랙박스 문제 해결: VLA 모델이 단순히 텍스트를 제어 신호로 매핑하는 것을 넘어, 시각적 프롬프트를 매개로 하여 추론과 제어를 명확하게 분리함으로써 해석 가능성과 정밀도를 동시에 높였습니다.
• OOD 일반화 능력 향상: 훈련 데이터에 존재하지 않는 새로운 물체나 공간적 배치에서도 시각적 단서 (크로스헤어, 박스) 에 의존하여 안정적인 작업을 수행함으로써, 실제 환경 적용 가능성을 크게 높였습니다.
• 효율적인 학습: 고수준 Planner 와 저수준 Controller 의 분리는 대규모 로봇 데이터에 대한 추가적인 전제 학습 (Pre-training) 없이도 기존 VLM 을 기반으로 강력한 성능을 끌어낼 수 있음을 증명했습니다.

결론적으로, VP-VLA 는 복잡한 로봇 조작 작업에서 고수준의 추론 능력과 저수준의 정밀한 제어를 효과적으로 결합하여, 기존 VLA 모델의 한계를 극복하고 보다 일반화되고 강인한 로봇 제어 정책을 실현하는 중요한 진전을 이루었습니다.