기술 요약: Premover – 지시 완료 전 행동으로 구현하는 고속 비전 - 언어 - 액션 제어

문제 정의

현재의 비전 - 언어 - 액션 (VLA) 정책들은 일반적으로 사용자가 전체 지시를 입력한 후 로봇이 계산을 시작한다는 가정 하에 평가됩니다. 그러나 실제 배포 환경에서는 사용자가 요청을 입력하거나 말하기 위해 몇 초가 소요됩니다. 이 '스트리밍 접두사 (streaming prefix)' 구간 동안 VLA 정책은 유휴 상태로 남아 있어 상당한 지연 시간 격차를 초래합니다. LIBERO 와 같은 벤치마크에서 이 입력 구간은 총 상호작용 시간의 약 39% 를 차지하며 (에피소드당 평균 약 17.7 초의 유휴 시간 발생) 합니다.

기존의 효율성 연구는 지시가 수신된 후의 추론 지연 시간을 줄이는 데 초점을 맞추고 있습니다 (예: 조기 종료 게이트 또는 토큰 가지치기를 통한 방법). 이러한 방법들은 사용자 입력 중 발생하는 유휴 시간을 해결하지 못합니다. 핵심적인 과제는 안전성이나 성공률을 훼손하지 않으면서 이 구간을 계산에 활용하는 것입니다. 불완전한 지시에 대해 너무 일찍 행동하면 로봇이 잘못된 목표에 고정될 위험이 있으며, 전체 지시를 기다리면 지연 시간 단축의 이점을 상실하게 됩니다.

방법론: Premover

Premover 는 동결된 VLA 백본 (실험에서는 구체적으로 $\pi0.5$) 위에 작동하도록 설계된 경량 모듈입니다. 이는 유휴 입력 구간을 유용한 사전 계산으로 전환하기 위해 **포커스 맵 (Focus Map)**과 **액션 준비도 게이트 (Action Readiness Gate)**라는 두 개의 결합된 구성 요소를 도입합니다.

1. 비전 - 언어 포커스 맵

첫 번째 과제는 부분 지시 (예: "케첩을 집어...") 가 주어졌을 때 어디에 주의를 기울여야 하는지 결정하는 것입니다. 행동 모방을 통해 훈련된 동결된 백본은 종종 부분적 프롬프트의 참조 대상을 국소화하기보다는 배경 영역 전체에 주의를 분산시키는 경향이 있습니다.

• 메커니즘: Premover 는 동결된 백본의 중간 레이어에 두 개의 작은 학습 가능한 프로젝션 헤드 (이미지 패치용 하나, 언어 토큰용 하나) 를 부착합니다. 이러한 헤드는 은닉 상태를 공유 잠재 공간으로 매핑합니다.
• 계산: 이미지 패치 임베딩과 현재 스트리밍 언어 토큰 간의 코사인 유사도를 계산합니다. 토큰 시퀀스 전체에 걸친 최대 유사도는 패치별 확률 점수를 생성하여 포커스 맵을 형성합니다.
• 감독: 이 맵은 클래스 균형 이진 교차 엔트로피 (BCE) 손실 함수를 통해 시뮬레이터 렌더링된 목표 객체 분할 마스크를 사용하여 감독됩니다.
• 주입: 백본을 재훈련하지 않고도 영향을 미치기 위해, 포커스 맵은 다음 추론 단계 ($t+1$) 를 위한 이미지 토큰을 재가중치하는 데 사용됩니다. 바닥 스케일 파라미터 $\alpha$는 포커스 맵과 균일 가중치 사이를 보간하여, 지시 관련 영역을 증폭시키면서도 장애물 회피와 같은 장면 컨텍스트를 보존합니다.

2. 액션 준비도 게이트

두 번째 과제는 부분 지시가 행동하기에 충분한 정보를 제공하는지 언제 결정하는 것입니다.

• 메커니즘: 시스템은 포커스 맵의 집중도를 기반으로 **액션 준비도 점수 ($r_t$)**를 계산합니다. 이는 상위 $K$개 패치의 평균 확률과 전체 평균 확률 간의 차이를 측정합니다. 높은 점수는 접두사가 특정 목표를 국소화했음을 나타내고, 낮은 점수는 주위가 분산되었음을 나타냅니다.
• 의사 결정 논리: 학습 가능한 스칼라 임계값 $\tau$가 게이트 역할을 합니다. 정책은 $r_t \geq \tau$일 때만 행동을 실행합니다.
• 감독: 임계값은 현재 접두사에 목표 객체가 나타났는지를 나타내는 이진 레이블을 사용하여 훈련됩니다. 결정의 미분 가능성을 위해 온도 스케일링된 BCE 손실이 적용됩니다.

훈련

두 구성 요소는 단일 순전파 (forward pass) 에서 공동으로 훈련됩니다. 백본 파라미터는 동결된 상태로 유지되며, 기울기는 두 개의 프로젝션 헤드와 준비도 임계값을 통해서만 흐릅니다. 이는 백본의 총 파라미터의 1% 미만을 차지하므로 대규모 재훈련 없이 효율적인 적응이 가능합니다.

주요 기여

1. 유휴 시간의 재정의: 이 논문은 사용자 입력 구간을 계산에 활용할 수 있는 자원으로 간주하며, 정책들이 스트리밍 접두사에 시각적 주의를 고정시키는 체제를 제안합니다.
2. 경량 아키텍처: Premover 는 동결된 VLA 에 최소한의 학습 가능한 파라미터 (두 개의 프로젝션 헤드와 하나의 스칼라) 만 추가하여 이를 달성하며, 사전 훈련된 가중치를 정확히 보존합니다.
3. 이중 구성 요소 설계: 어디에 초점을 맞출지 (포커스 맵) 와 언제 행동할지 (준비도 게이트) 의 문제를 명시적으로 분리하여, 조기 실행과 안전성 간의 트레이드오프를 해결합니다.
4. 스트리밍 평가 프로토콜: 저자들은 표준 타이핑 속도 (52.24 WPM) 와 동기화된 실시간 토큰 도착을 시뮬레이션하는 스트리밍 평가 프로토콜을 도입하여, 표준 전체 프롬프트 베이스라인보다 더 현실적인 지연 시간 지표를 제공합니다.

실험 결과

이 방법은 $\pi0.5$ 백본을 사용하여 LIBERO 스위트 (Spatial, Object, Goal, LIBERO-10) 와 VLA-arena (Level-1 스위트) 에서 평가되었습니다.

• 성공률: Premover 는 LIBERO 에서 전체 프롬프트 베이스라인의 성공률 (95.1% 대 95.0%) 과 일치하며, 모든 토큰에 대해 즉시 행동하는 'Naive Premoving'(66.4% 로 붕괴됨) 보다 훨씬 뛰어납니다. VLA-arena 에서는 전체 프롬프트의 33.0% 대비 30.9% 의 성공률을 유지하는 반면, Naive Premoving 은 27.0% 로 하락합니다.
• 지연 시간 감소:
  • LIBERO 에서 Premover 는 평균 엔드 - 투 - 엔드 월 - 클락 시간을 34.0 초에서 29.4 초로 줄여 13.6% 의 감소를 달성했습니다.
  • VLA-arena 에서는 월 - 클락 시간을 약 10.3% 감소시켰습니다.
• 애블레이션 연구:
  • 준비도 게이트만으로도 Naive 스트리밍 대비 성공률 21.9 퍼센트 포인트를 회복하여, 조기 행동을 방지하는 데 있어 그 결정적인 역할을 입증했습니다.
  • 포커스 맵은 추가 6.7 퍼센트 포인트를 더해 방해 요소의 모호성을 해결하는 능력을 향상시켰습니다.
  • 바닥 스케일 $\alpha$는 다양한 값 범위에서 견고하며, 목표 증폭과 장면 컨텍스트 보존 사이의 균형을 맞추기 위해 $\alpha=0.2$가 최적값으로 선택되었습니다.

중요성과 주장

이 논문은 Premover 가 효율적이고 반응형인 실제 세계 VLA 응용 분야로 나아가는 중요한 단계라고 주장합니다. 그 주요한 중요성은 다음을 입증하는 데 있습니다:

1. 사용자 입력 시간은 자원이다: 완성될 때까지 기다리는 대신 타이핑 구간 동안 계산을 수행함으로써 지연 시간을 줄일 수 있습니다.
2. 경량 변조로 충분하다: 조기 고정을 가능하게 하기 위해 복잡한 재훈련이 필요하지 않으며, 작은 모듈이 스트리밍 지시를 처리하도록 동결된 정책을 효과적으로 변조할 수 있습니다.
3. 게이팅을 통한 안전성: 학습된 준비도 기준은 Naive 조기 실행과 관련된 치명적인 실패 모드 없이도 시스템이 일찍 행동할 수 있게 합니다.

저자들은 한계를 인정하며, 포커스 맵 감독이 현재 시뮬레이터 렌더링 마스크 (실제 로봇에서는 직접 사용 불가) 에 의존하고 있으며, 프로젝션 헤드는 제로샷 전이가 아닌 벤치마크별로 훈련된다고 지적합니다. 향후 연구는 오픈 - 보캐불러리 검출기를 통한 실제 로봇 고정을 해결하고, 사용자 수정과 같은 비단조적 접두사 역학을 처리하는 방향으로 제안됩니다.