기술 요약: V-VLAPS – 비전 - 언어 - 행동 모델을 위한 가치 기반 계획

1. 문제 제기

Octo 와 같은 비전 - 언어 - 행동 (VLA) 모델은 다중 모달 관찰과 언어 지시를 기반으로 행동 시퀀스를 예측함으로써 로봇 조작을 위한 강력한 행동 사전 지식 (action priors) 을 제공합니다. 그러나 이러한 모델은 행동 복제 (behavior cloning) 에 의존하기 때문에, 분포 외 (OOD) 상태나 장기 과제에 직면할 때 취약합니다. VLAPS(Neary et al., 2025) 와 같은 최근 방법들은 VLA 에 몬테카를로 트리 탐색 (MCTS) 을 추가하여 견고성을 개선하지만, 중요한 한계를 겪고 있습니다: 즉, 이 탐색은 오직 VLA 의 정책 사전 지식과 방문 횟수 기반 탐색 휴리스틱 (PUCT) 에만 의존한다는 점입니다.

VLA 사전 지식이 비최적 행동을 선호할 때, 계획기는 이러한 편향을 수정할 수 있는 기대 미래 보상의 근거 있는 추정을 갖추지 못합니다. 결과적으로 탐색은 가치 기반 최적화가 아닌 포괄적인 횟수 기반 탐색으로 전락합니다. 선행 연구 (Gu et al., 2025) 는 VLA 잠재 특징이 이진성 성공/실패 신호를 인코딩함을 보였으나, 이러한 신호는 사후 모니터링에만 사용되었습니다. 본 논문이 다루는 핵심 문제는 이러한 내부 표현들을 학습된 연속 가치 함수로 활용하여 계획 중 탐색 과정을 능동적으로 유도할 수 있는지 여부입니다.

2. 방법론: V-VLAPS

저자들은 학습된 가치 헤드를 MCTS 점수 규칙에 통합한 V-VLAPS(가치 유도 비전 - 언어 - 행동 계획 및 탐색) 를 소개합니다. 이는 VLAPS 의 확장판이며, 세 단계로 구성된 방법론을 따릅니다:

2.1. 데이터 수집 및 목표 정의

학습 데이터는 계획 없이 LIBERO 탁상 조작 작업에서 고정된 사전 학습 VLA(Octo) 를 롤아웃하여 구성됩니다.

• 롤아웃: VLA 는 관찰과 지시를 기반으로 행동 청크를 생성합니다. 에피소드는 작업 성공이나 시간 초과 시 종료됩니다.
• 보상 구조: 희소 말단 보상이 사용됩니다 (성공 시 $R=1$, 실패/시간 초과 시 $R=0$).
• 가치 목표: 각 결정 단계 $t$에서, 할인 계수 $\gamma=0.99$로 말단 보상을 역방향으로 전파하여 몬테카를로 가치 목표 $G_t$를 계산합니다. 에피소드가 성공하면 $G_t = \gamma^{T-t}$이며, 그렇지 않으면 $G_t = 0$입니다.
• 재균형: 목표 분포가 0(실패 에피소드 및 성공 에피소드의 초기 단계) 으로 크게 치우쳐 있으므로, 0 값 빈을 다운샘플링하여 비 0 값 빈들의 합계 크기와 일치하도록 데이터를 재균형합니다.

2.2. 가치 헤드 학습

가벼운 가치 헤드는 VLA 의 잠재 상태로부터 이러한 몬테카를로 반환을 예측하도록 학습됩니다.

• 아키텍처: 3072 개의 ReLU 유닛을 가진 단일 은닉층을 갖춘 3 층 MLP 입니다. 768 차원의 Octo 판독 벡터를 입력으로 받아 스칼라 가치 추정을 출력합니다.
• 학습 목적: 모델은 예측 가치와 몬테카를로 목표 간의 평균 제곱 오차 (MSE) 를 최소화합니다. 근본적인 Octo VLA 매개변수는 고정된 채 유지되며, 가치 헤드만 학습됩니다.
• 일반화: 가치 헤드는 각 작업당 10 개 중 4 개의 초기 상태에서 학습되며, 평가 시 나머지 6 개의 보이지 않는 초기 상태에 대한 일반화 능력을 테스트합니다.

2.3. MCTS 통합

학습된 가치는 노드 선택 점수를 수정함으로써 VLAPS 탐색 절차에 통합됩니다.

• 점수 규칙: 표준 VLAPS 점수는 VLA 사전 지식과 방문 횟수 기반 탐색을 결합합니다. V-VLAPS 는 학습된 가치 항 $Q_\theta$를 추가합니다:
  $$\text{SCORE}(v, a_i) = \lambda_V Q_\theta(v, a_i) + U_{\text{VLAPS}}(v, a_i)$$
  여기서 $Q_\theta(v, a_i)$는 행동 청크 $a_i$로 인한 후속 상태의 가치 추정치이며, $\lambda_V$는 고정된 계수 (1 로 설정됨) 입니다.
• 메커니즘: MCTS 확장 중 시뮬레이터는 행동 청크를 후속 상태로 롤아웃하고 Octo 판독을 계산한 후 가치 헤드를 쿼리합니다. 이 가치는 예측된 반환이 더 높은 가지로 선택을 편향시킵니다.

3. 주요 기여

1. 능동적 가치 유도: 이 논문은 수동적 실패 감지에만 사용되던 VLA 특징 프로빙 (probing) 의 개념을 능동적 탐색 유도로 확장합니다. VLA 표현이 이진성 성공 예측뿐만 아니라 연속 가치 추정도 지원할 수 있음을 보여줍니다.
2. 경량화 증강: 이 방법은 계획 과정에 최소한의 오버헤드를 추가하면서 탐색 행동을 크게 변화시키는 작고 학습 가능한 가치 헤드 (약 240 만 개 매개변수) 를 도입합니다.
3. 실증적 검증: 이 접근법은 5 개의 LIBERO 스위트 (Object, Spatial, Goal, 10, 90) 에서 평가되었으며, 가치 기반 계획이 MCTS 가 가치 차별화가 가능한 더 깊은 상태에 도달할 수 있는 탐색 예산이 허용될 때 특히 성능을 향상시킨다는 것을 입증했습니다.

4. 실험 결과

이 방법은 두 가지 기준선 (반응형 Octo VLA 및 가치 헤드가 없는 VLAPS) 에 대해 5 개의 LIBERO 스위트 (Object, Spatial, Goal, 10, 90) 에서 평가되었습니다. 두 가지 탐색 예산 (600 초 기본값 및 1800 초 확장) 이 테스트되었습니다.

• 기본 예산 (600 초): V-VLAPS 와 VLAPS 는 거의 동일하게 수행되어 모든 스위트에서 평균 **87.4%**의 성공률을 보였습니다.
  • 분석: 실패 분석 결과, 대부분의 실패는 "루트 레벨 시간 초과"였습니다. 어려운 작업에서 탐색은 첫 번째 결정 단계에서 시간 예산을 소진했습니다. 이 단계에서 후보 가지들은 완료로부터 멀어 가치 추정치가 0 에 가깝고 분리가 약합니다. 따라서 가치 헤드는 가지들 사이를 효과적으로 구별하지 못했습니다.
• 확장 예산 (1800 초): 트리를 더 깊이 탐색할 시간이 더 주어짐에 따라 V-VLAPS 가 VLAPS 를 능가했습니다.
  • 집계: V-VLAPS 는 **91.6%**를 달성한 반면 VLAPS 는 **88.4%**였습니다.
  • 구체적 향상: 개선은 LIBERO-Object(6 퍼센트 포인트 증가, 93% 대 87%) 와 LIBERO-10(4 퍼센트 포인트 증가, 85% 대 81%) 에 집중되었습니다.
  • 사례 연구: LIBERO-Object 작업 7 에서 V-VLAPS 는 1800 초 시점에 85% 성공률 (20 개 중 17 개) 을 기록한 반면, VLAPS 는 65%(20 개 중 13 개) 를 기록했습니다.
• 천장 효과: LIBERO-Spatial 및 LIBERO-Goal 과 같은 스위트는 600 초 예산에서 이미 천장 성능 (≥90%) 에 근접하여 가치 헤드나 확장된 시간으로 인한 최소한의 향상만 보였습니다.

5. 중요성 및 주장

이 논문은 VLA 표현이 반응형 제어나 사후 모니터링에 유용할 뿐만 아니라 가치 기반 계획의 기초가 될 수 있다고 주장합니다.

• 정세 의존성: 저자들은 가치 헤드의 유용성이 정세에 의존한다고 강조합니다. 가치 신호가 약하고 구별 불가능한 루트 근처 상태를 넘어설 수 있는 충분한 탐색 예산이 있을 때 가장 효과적입니다.
• 상호 보완성: 가치 헤드는 VLA 사전 지식을 대체하는 것이 아니라 보완합니다. 이는 모방 사전 지식뿐만 아니라 근본적인 보상 구조가 결정 요인이 되는 상태에 탐색이 도달했을 때 정책 사전 지식의 편향을 수정할 수 있는 메커니즘을 제공합니다.
• 겸손한 범위: 저자들은 개선이 가치 기반 순위 매김을 위한 "남은 여유 공간"이 있는 작업에 국한된다는 점을 인정하며 주장을 겸손하게 제시합니다. 단일 VLA 백본 (Octo) 사용, 오프-폴리시 학습 데이터 (유도되지 않은 롤아웃으로 학습됨) 의 특성, 모델 매개변수에 비해 작은 학습 데이터셋 크기 등의 한계를 인정합니다.

결론적으로, V-VLAPS 는 학습된 가치 함수로 VLA 유도 MCTS 를 증강하면 탐색 알고리즘이 가지 순위 매김을 위해 가치 신호를 활용할 수 있는 충분한 계산 예산을 가진 경우 장기 과제의 성공을 향상시킬 수 있음을 보여줍니다.