기술 요약: TapSampling

문제 제기

embodied control(구체적 제어) 분야의 기존 연구는 주로 로봇 조작 정책을 개선하기 위해 학습 데이터와 모델 크기를 확장하는 데 집중해 왔습니다. 비결정적 생성 모델 (예: 확산 모델과 자기회귀형 대규모 언어 모델) 이 뛰어난 능력을 입증해 왔음에도, 그 성능은 근본적으로 **단일 추론 패러다임 (single-shot inference paradigm)**에 의해 제한받습니다. 이러한 모델의 확률적 특성으로 인해 동일한 환경 조건에서도 일부 사례에서는 성공적인 결과가 도출되는 반면, 다른 사례에서는 실패가 발생할 수 있습니다. 로봇 공학의 현재 추론 시간 전략들은 주로 두 가지 주요 한계를 겪고 있습니다:

1. 샘플링 비효율성 또는 충실도: 정책 모델에서 직접 반복적으로 샘플링하면 추론 지연 시간이 크게 증가합니다 (약 10 배). 반면, 단순한 가우시안 분포에서 샘플링하면 액션 청크 내의 차원 간 상관관계를 무시하여 실제 액션 분포에서 벗어난 후보들을 생성합니다.
2. 검증의 어려움: 저수준 로봇 행동을 이해하고 해석할 수 있는 즉시 사용 가능한 (off-the-shelf) 모델이 부족합니다. 기존 검증 방법들은 종종 수동으로 설계된 함수, 오프라인 강화 학습, 또는 선호도 학습에 의존하는데, 이는 해석 가능성이 부족하거나 특정 정책 아키텍처에 밀접하게 결합되어 있어 플러그 앤 플레이 적용성을 제한합니다.

방법론

저자들은 추가적인 미세 조정 없이 범용 로봇 정책을 개선하도록 설계된 플러그 앤 플레이, 정책 무관성 추론 시간 샘플링 프레임워크인 TapSampling을 제안합니다. 이 프레임워크는 두 가지 주요 구성 요소를 통해 작동합니다:

1. 학습된 사후 분포를 통한 효율적인 액션 샘플링

샘플링 효율성과 액션 품질 간의 트레이드오프를 해결하기 위해 TapSampling 은 Action-VAE(변분 오토인코더) 를 도입합니다.

• 아키텍처: Action-VAE 는 트랜스포머 기반의 인코더와 디코더를 사용합니다.
• 과정:
  • 기본 정책 $\pi$에서 초기 액션의 작은 집합 ($N$) 이 샘플링됩니다.
  • 인코더는 이러한 액션들을 잠재 가우시안 분포 (평균 $\mu$ 및 대각 공분산 $\sigma^2$) 로 압축합니다.
  • 초기 샘플들의 잠재 분포를 평균화하여 **혼합 사후 분포 (mixed posterior distribution)**를 구성합니다.
  • 임의의 수의 새로운 잠재 샘플이 이 압축된 사후 분포에서 추출되어 후보 액션으로 디코딩됩니다.
• 이점: 이 접근법은 액션 차원 간의 청크 내 상관관계를 포착하여, 생성된 후보들이 실제 정책 분포에 가깝게 유지되도록 보장하면서도 반복적인 정책 샘플링보다 훨씬 빠릅니다 (약 5 배 빠름).

2. 작업 진행도 검증을 통한 해석 가능한 액션 선택

후보들 사이에서 최적의 액션을 선택하기 위해 TapSampling 은 **작업 진행도 이해 검증기 (Task-Progress-Understanding Verifier)**를 사용합니다.

• 학습 데이터 구성: 검증기는 전문가 로봇 궤적의 고유한 순차적 구조를 활용하여 학습됩니다. 작업 진행도가 시간에 따라 선형적으로 증가한다고 가정함으로써, 저자들은 기존 데이터셋에서 직접 긍정 샘플 (진행으로 이어지는 순방향 액션 시퀀스) 과 부정 샘플 (후퇴로 이어지는 역방향 액션 시퀀스) 을 구성하며 추가적인 수동 주석이 필요하지 않습니다.
• 아키텍처: 검증기는 비전 - 언어 - 액션 (VLA) 백본 (특히 Qwen2.5-0.5B) 을 기반으로 구축됩니다. 현재 상태, 작업 지시문, 그리고 쿼리 액션을 입력받아 작업 진행도의 예상 변화 ($\Delta p$) 를 예측합니다.
• 선택 메커니즘: 예측된 점수는 명시적인 의미적 의미를 지닙니다 (예: 음수 점수는 방해를 나타내고, 큰 양수 점수는 빠른 진행을 나타냄). 추론 중에는 임계값 이하의 점수를 가진 후보들은 폐기되고, 나머지 후보들에 대한 점수 가중 평균이 계산되어 최종 액션을 생성합니다.
• 효율성: VLM 백본은 관찰 - 지시문 쌍당 한 번만 실행됩니다. 숨겨진 상태는 모든 후보 간에 공유되며, 경량 액션 헤드를 통해 병렬로 평가되므로 높은 처리량을 가진 검증이 가능합니다.

주요 기여

1. 정책 무관성 프레임워크: 추가적인 미세 조정 없이 사전 훈련된 범용 정책을 강화하는 플러그 앤 플레이 시스템.
2. 학습된 사후 샘플링: 액션을 압축된 분포로 인코딩하여 정책의 분포를 준수하는 다양하고 고품질의 액션 후보를 효율적으로 생성하는 Action-VAE 기반 전략.
3. 작업 진행도 검증: 불투명한 보상 신호 대신 명시적인 의미 점수에 기반한 해석 가능한 액션 선택을 가능하게 하는, 저수준 액션이 작업 진행도에 미치는 영향을 예측하도록 학습된 검증기.
4. 실증적 검증: 다양한 시뮬레이션 및 실제 환경에서 상당한 성능 향상을 입증.

실험 결과

저자들은 TapSampling 을 시뮬레이션 벤치마크 (CALVIN, LIBERO) 와 실제 로봇 설정 모두에서 평가했습니다.

• CALVIN 벤치마크 (시뮬레이션): TapSampling 은 여러 비결정적 정책의 평균 성공 길이를 향상시켰습니다:
  • Diffusion Policy: 2.41 에서 2.58 로 증가.
  • OpenVLA: 3.30 에서 3.51 로 증가.
  • VPP: 4.39 에서 4.46 로 증가.
  • 개선은 다양한 작업 단계 (1–5) 에서 일관되어 장기적 안정성이 더 좋음을 나타냅니다.
• LIBERO-Long 벤치마크 (시뮬레이션): $\pi0.5$ 정책에 적용된 결과, 성공률이 96.8% 에서 98.0% 로 향상되었습니다.
• 실제 환경 실험: Franka Research 3 암을 사용하여 TapSampling 은 $\pi0$ 정책의 평균 성공률을 78.3% 에서 83.3% 로 향상시켰습니다. 특히 공간 정렬과 접촉 인식 배치가 필요한 작업 (예: 물체 쌓기 및 배치) 에서 정밀도가 향상되었습니다.
• 효율성 분석:
  • 샘플링: 학습된 사후 샘플링은 가우시안 샘플링에 비해 무시할 만한 추가 지연 시간 (<0.01 초) 을 발생시켰으며, 반복적인 정책 샘플링보다 훨씬 빨랐습니다.
  • 검증: TapSampling 은 16 개의 후보를 평가할 때 RoboMonkey(LLaVA-7B 사용) 대비 약 12 배의 검증 지연 시간 단축을 달성했는데, 이는 배치 평가 아키텍처 덕분입니다.
  • 충실도: 최대 평균 불일치 (MMD) 분석은 학습된 사후 샘플링을 통해 생성된 액션들이 가우시안 샘플링에서 생성된 액션들보다 실제 정책 분포와 더 밀접하게 일치함을 확인했습니다.

중요성 및 주장

이 논문은 추론 시간에 컴퓨팅 자원을 할당하는 것이 범용 로봇 정책의 신뢰성과 성능을 개선하는 효과적이고 모델 무관적인 경로이며, 학습 데이터 확장을 보완하는 축으로 작용한다고 주장합니다.

저자들은 TapSampling 이 다음과 같은 방식으로 단일 추론에 내재된 불안정성을 해결한다고 주장합니다:

1. 정책을 재학습하지 않고도 확률적 변동으로 인한 실패를 수정할 수 있는 메커니즘 제공.
2. 블랙박스 점수화에 의존하지 않고 작업 진행도를 이해하는 검증기를 통한 해석 가능한 액션 선택 가능.
3. 높은 액션 충실도를 유지하면서 반복적인 정책 쿼리의 높은 지연 시간을 피하는 학습된 사후 샘플링 전략을 통한 효율성과 효과성의 균형 달성.

이 연구는 특히 작업 진행도 이해에 기반한 추론 시간 전략이 복잡하고 실제적인 시나리오에서 견고한 로봇 조작 시스템을 배포하기 위한 실현 가능하고 필수적인 방향임을 시사합니다.