기술 요약: Hide-and-Seek in Trajectories (궤적 내 숨바꼭질)

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 로봇이 자연어 지시를 따르고 다양한 작업에 걸쳐 일반화할 수 있도록 하는 데 있어 상당한 잠재력을 보여주었습니다. 그러나 이러한 모델의 실제 환경 배포는 실행 실패(예: 물체를 떨어뜨리는 것)로 인한 치명적인 결과에 취약하다는 점에 의해 저해됩니다. 실행 중 이러한 실패를 감지하는 것은 견고성을 확보하는 데 매우 중요합니다.

현재의 실패 감지 방법들은 두 가지 주요 한계점에 직면해 있습니다:

1. 감독 비용: 단계별 실패 주석(실패가 발생하는 정확한 타임스탬프를 식별하는 것)을 얻는 것은 비용이 많이 들고 확장이 어렵습니다. 특히 장기적(long-horizon)이고 확률적인 궤적의 경우 더욱 그러합니다. 기존 방식은 궤적 수준의 레이블에 의존하며, 이를 모든 타임스텝에 균일하게 전파하는 경향이 있습니다. 이러한 "균일한 전파(uniform propagation)"는 실패 전의 정상적인 행동을 실패로 잘못 레이블링하여 상당한 레이블 노이즈를 유발하고 국소적인 실패 신호를 가립니다.
2. 계산적 실용성: 액션 리샘플링이나 외부 시각-언어 모델(VLM) 판별자에 의존하는 방법은 과도한 추론 오버헤드를 발생시켜 실시간 배포를 불가능하게 합니다. 또한, 많은 기존 감지기들은 고정된 작업에 특화된 정책을 위해 설계되어, 오픈 월드 환경에서의 범용 VLA에 적용하기에는 한계가 있습니다.

본 연구가 다루는 핵심 과제는 **조사 감독 실패 감지(Coarsely Supervised Failure Detection)**입니다. 즉, 단계별 주석 없이 오직 궤적 수준의 결과 레이블(성공/실패)만을 사용하여 미세한 단계별 실패 감지기를 학습하는 것입니다.

방법론: Hide-and-Seek

저자들은 실패 문제를 조사 감독 학습 과제로 취급하는 경량 런타임 실패 감지 프레임워크인 Hide-and-Seek를 제안합니다. 이 방법은 실패 신호가 궤적 내의 대부분의 정상적인 행동 사이에 "숨겨져" 있으며, 감지기는 궤적 수준의 결과라는 단서만을 사용하여 이를 "찾아내야(seek)" 한다는 비유에서 이름을 따왔습니다.

핵심 프레임워크

프레임워크는 궤적 접두사 $\tau_{\le t}$ (내부 액션 임베딩으로 구성됨)를 스칼라 실패 점수 $s_t \in [0, 1]$로 매핑하는 순차적 감지기 $f_\phi$를 학습합니다. 이 방법은 레이블을 균일하게 할당하는 대신, 실패를 나타내는 액션을 국소화하기 위해 두 가지 상보적인 입도(granularity)에서 **대조적 목적 함수(contrastive objective)**를 채택합니다:

1. 궤적 간 대조 손실 ($\mathcal{L}_{inter}$):

   • 목표: 실패 궤적에서의 가장 실패를 잘 나타내는 액션과 성공 궤적에서의 가장 실패와 유사한 액션(가장 어려운 거짓 양성)을 구별합니다.
   • 메커니즘: 실패($\tau_f$)와 성공($\tau_s$) 궤적 쌍에 대해, 이 손실은 $\tau_f$의 최대 실패 점수가 $\tau_s$의 최대 점수보다 마진 $m_r$만큼 크도록 강제합니다.
   • 효과: 이 방식은 모델이 실패가 어디에서 발생하는지 가정하지 않고도 가장 돌출된 실패 신호에 집중하도록 유도하여, 결정적인 단계를 적응적으로 찾아내게 합니다.

2. 궤적 내 대조 손실 ($\mathcal{L}_{intra}$):

   • 목표: 실패 궤적 내의 시간적 역학을 형성하여 실패 전(정상) 단계와 실패 후 단계를 분리합니다.
   • 메커니즘: 방법론은 점수의 급격한 증가가 발생하는 지점($\arg\max_t (s_t - s_{t-1})$)을 대리 실패 발생 시점 $t_{onset}$으로 정의합니다. 손실은 $t_{onset}$ 이후의 평균 점수가 $t_{onset}$ 이전의 평균 점수보다 마진 $m_o$만큼 높도록 유도합니다.
   • 효과: 이는 조잡한 궤적 수준의 감독을 시간적으로 구조화된 신호로 변환하여, 점수가 정상적인 실행 중에는 낮게 유지되다가 실패 발생 시점에 급격히 상승하도록 보장합니다.

전체 목적 함수는 $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$입니다.

런타임 모니터링

추론 중에는 감지기가 각 타임스텝에서 점수 $s_t$를 생성합니다. 실패 알람을 결정하기 위해, 시스템은 **함수적 공리적 예측(Functional Conformal Prediction, CP)**을 사용합니다. 홀드아웃된 성공 궤적 캘리브레이션 세트로부터 시간 가변적 임계값 $\zeta_t$를 구축합니다. 이는 새로운 성공적인 롤아웃에 대해 궤적 수준의 거짓 알람율이 사용자가 지정한 유의 수준 $\alpha$ 내에 있도록 보장합니다. $s_t \ge \zeta_t$를 만족하는 가장 빠른 타임스텝에서 실패가 선언됩니다.

아키텍처

감지기 $f_\phi$는 VLA의 액션 토큰 또는 헤드에서 추출된 액션 임베딩을 처리하는 경량 시퀀스 모델(기본값: 단일 레이어 LSTM)입니다. 시간적 중복성을 완화하기 위해, 저자들은 평균 풀링(average pooling)을 사용하는 비중첩 슬라이딩 윈도우 집계(non-overlapping sliding window aggregation)를 사용합니다.

주요 기여

1. 새로운 프레임워크: 조사 감독 학습과 체화된 실패 감지 사이의 가교 역할을 하며, 궤적 수준의 감독만으로 실패를 나타내는 액션을 발견할 수 있게 하는 Hide-and-Seek를 도입했습니다.
2. 대조적 목적 함수 설계: 궤적 간 및 궤적 내에서 실패 신호를 구별하는 이중 손실 메커니즘을 통해, 단계별 주석 없이도 조잡한 감독을 시간적으로 구조화된 신호로 효과적으로 변환합니다.
3. 포괄적 평가: 세 가지 대표적인 VLA 정책(OpenVLA(자기회귀), $\pi_0$, $\pi_0.5$(플로우 매칭))을 사용하여 시뮬레이션 벤치마크(LIBERO-10, VLABench)와 실제 로봇 플랫폼(UFactory xArm 6)에서 광범한 평가를 수행했습니다.

실험 결과

본 방법은 OOD 탐지, 멀티 샘플링 접근법, 분류기 기반 방법(예: SAFE)을 포함한 12개의 베이스라인과 비교 평가되었습니다.

• 성능: Hide-and-Seek는 본 적 있는 작업(seen tasks)과 본 적 없는 작업(unseen tasks) 모두에서 모든 지표(Balanced Accuracy, Weighted Accuracy, Time-weighted Accuracy)에 대해 최첨단(SOTA) 성능을 달 achievement 했습니다.
  • LIBERO-10에서 OpenVLA를 사용했을 때, 본 적 있는 작업에서 가장 강력한 분류기 베이스라인인 SAFE-MLP보다 bACC 기준 +6.8%, 본 적 없는 작업에서 +7.2% 높은 성능을 보였습니다.
  • VLABench에서 $\pi_0.5$를 사용했을 때, 본 적 있는 작업에서 TWA 기준 SAFE-MLP보다 +8.1%, 본 적 없는 작업에서 +10.8% 높은 성능을 보였습니다.
  • 실제 환경 실험에서, 본 적 있는 작업과 없는 작업 모두에서 안정적인 성능을 유지하며 본 적 없는 작업에 대해 SAFE-MLP 대비 **+11.7%**의 bACC 이득을 달성했습니다.
• 효율성: VLM 기반 런타임 모니터(Qwen3-VL-8B)와 비교했을 때, Hide-and-Seek는 단계당 속도가 2,000배 이상 빠르며(0.001초 vs 2.343초), 정확도는 +13.1% 더 높습니다.
• 절제 연구(Ablation Studies):
  • 균일 레이블링: 제안된 방법은 모든 타임스텝에 궤적 레이블을 균일하게 할당하는 베이스라인보다 성능이 현저히 뛰어났으며(+OpenVLA에서 +19.4% bACC), 이는 균일한 전파가 레이블 노이즈를 유발함을 확인시켜 줍니다.
  • 아키텍처: 순환 백본(LSTM, GRU)이 MLP나 Transformer보다 우수한 성능을 보여, 시간적 문맥을 모델링하는 것의 이점을 시사했습니다.
  • 손실 구성 요소: $\mathcal{L}_{inter}$와 $\mathcal{L}_{intra}$가 모두 필요합니다. $\mathcal{L}_{inter}$ 단독으로도 성능이 좋지만, 두 가지를 결합했을 때 일관된 개선을 보였습니다.

의의 및 주장

본 논문은 Hide-and-Seek가 체화된 AI의 실시간 실패 모니터링을 위한 실용적이고 경량화된 솔루션을 제공한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 주석 비용 제거: 값비싼 단계별 실패 주석의 필요성을 없애고, 자연스럽게 얻을 수 있는 궤적 수준의 결과에만 의존합니다.
• 일반화: 본 적 없는 작업과 서로 다른 VLA 아키텍처(자기회귀 및 플로우 매칭)에 대한 강력한 일반화 능력을 입증하여, 기존의 특화된 방법들이 가진 핵심 한계를 해결합니다.
• 실제 환경 실행 가능성: (리샘플링이나 VLM 판별자와 달리) 무거운 추론 오버헤드를 피하고, 공리적 예측을 통해 유리한 정확도-적시성 트레이드오프를 달성함으로써 실제 로봇 시스템에 대한 견고한 배포를 가능하게 합니다.

저자들은 이 연구를 약한 감독 학습(weakly supervised learning) 패러다임과 체화된 에이전트의 안전이라는 특정 과제 사이의 새로운 연결 고리로 규정하며, 신뢰할 수 있는 VLA 배포를 향한 확장 가능한 경로를 제시합니다.