BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

기술 요약: BOKBO — 최악의 K개 옵션 중 최선 (Best of K Bad Options)

문제 정의
시각-언어-행동(Vision-Language-Action, VLA) 정책에 대한 테스트 타임 스케일링(test-time scaling)은 $K$개의 후보 액션 청크를 샘플링하고 검증기나 스코어러가 "최선"을 선택하는 표준적인 신뢰성 기법이 되었습니다. 그러나 이 패러다임은 $K$개의 후보 중 적어도 하나는 안전하고 과업을 완수할 수 있다는, 흔히 충족되지 않는 결정적인 가정에 의존합니다. 모든 $K$개의 후보가 안전하지 않을 때, 시스템은 절대적인 품질과 상관없이 "검증기 기준 최선"의 후보를 실행하게 되어 경고 메커니즘 없이 "조용한 실패(silent failure)"로 이어집니다. 기존 방법들은 이러한 "전부 불량(all-unsafe)" 셀을 탐지하거나 안전 보장을 갖춘 상태로 실행을 유보(abstain)할 수 있는 공식적인 메커니즘이 부족합니다. 또한, 이전 연구들은 "무료" 신호(추가 추론 비용 없이 얻을 수 있는 신호, 예: 기본 정책의 확신도 또는 $K$-샘플 불일치)가 정책의 불확실성과 상관관계가 있다고 가정했으나, 본 논문은 섭동 기반 샘플링(perturbation-based sampling) 하에서 이러한 가정이 처참하게 실패함을 입증합니다.

방법론: BOKBO
저자들은 $K$-샘플 VLA 추론을 위해 특별히 설계된 최초의 컨포멀 유보 레이어(conformal abstention layer)인 BOKBO를 소개합니다. BOKBO는 교정된 점수(calibrated score)를 기반으로 실행 여부 또는 유보 여부를 결정하며, 유보되지 않은 결정들 사이에서 안전하지 않은 실행의 비율에 대해 유한 샘플(finite-sample), 분포 비의존적(distribution-free) 상한을 제공합니다.

• 컨포멀 리스크 컨트롤 (Conformal Risk Control, CRC): 이 방법은 $K$-샘플 설정에 CRC를 적용합니다. 위반 확률($v=1$)을 추정하는 예측기를 학습시키고, 홀드아웃 교정 세트(held-out calibration set)에서 임계값 $\hat{\tau}$를 교정합니다. 시스템은 예측기 점수 $s_\theta \le \hat{\tau}$인 경우에만 실행합니다.
• 비정형성 점수 (Nonconformity Scores): 본 논문은 세 가지 스코어링 메커니즘을 평가합니다:
  1. VLA 확신도 프록시 (VLA Confidence Proxy): 선택된 청크의 기본 정책 로그 확률(log-probability).
  2. $K$-샘플 불일치 ($K$-Sample Disagreement): 후보들 사이의 최대 쌍별 $L_2$ 거리.
  3. 학습된 위반 예측기 (Learned Violation Predictor): 시각적 특징(DINOv2), 고유 수용 감각 상태(proprioceptive state), 과업 정체성을 학습하여 위반을 직접 예측하도록 훈련된 작은 MLP.
• 몬드리안 교정 (Mondrian Calibration): 다양한 과업 간의 위반율 이질성을 해결하기 위해, 저자들은 CRC의 몬드리안(과업별) 변형을 구현합니다. 이는 안전 상한이 전체 데이터셋에 대해 단순히 주변적으로(marginally) 적용되는 것이 아니라, 각 특정 과업에 대해 조건부로 유지되도록 보장합니다.
• 안전 라벨링 (Safety Labeling): 중요한 방법론적 수정 사항은 안전 라벨을 정의하는 것입니다. 저자들은 전역적으로 설정된 힘 임계값(예: 50N)이 많은 과업의 전문가 수준 조작력을 초과하여 위반율을 5배 높인다는 점을 식별했습니다. 이에 따라 저자들은 $\max(50\text{N}, p99(\text{expert max force}) + 10\text{N})$으로 정의된 과업별 전문가 교정 임계값을 제안합니다.

주요 결과 및 진단 분석
본 논문의 가장 중요한 진단적 발견은 섭동 기반 $K$-샘플링 하에서 "무료" 신호의 구조적 실패입니다.

• 섭동 vs. 불확실성: 액션 공간 가우시안 섭동(후보가 $a_k = a_0 + \sigma\xi_k$로 생성되는 경우) 하에서, VLA 확신도 프록시와 $K$-샘플 불일치는 노이즈 하이퍼파라미터 $\sigma$와 0.98의 상관관계를 보이지만, 실제 안전 위반과는 노이즈 플로어(noise floor)(Spearman $\approx -0.05$)에서 상관관계가 나타납니다.
• 메커니즘: 이러한 신호들은 정책의 내부 불확실성이 아니라 주입된 섭동의 크기를 측정합니다.
• 경계 조건: 저자들은 토큰 레벨 온도 샘플링(정책의 확률성으로부터 다양성을 생성하는 방식)을 테스트합니다. 이 메커니즘 하에서는 무료 신호와 샘플링 하이퍼파라미터 사이의 상관관계가 (0.98에서 0.41로) 감소하며, 신호가 일부 안전 정보를 다시 회복합니다. 그러나 학습된 예측기는 두 방식 모두에서 여전히 우월합니다.

실험 결과
실험은 OpenVLA-OFT 및 $\pi_0$-FAST 백본을 사용하여 LIBERO 스위트(libero_object_temp_x0.1 및 libero_spatial_temp_x0.1)에서 수행되었습니다.

• 안전 보장: 목표 위반율 $\epsilon = 0.05$에서, 조건부 CRC 상한은 libero_object에서 86%, libero_spatial에서 **83%**의 부트스트랩 분할(bootstrap splits)에서 유지되었습니다.
• 성능: 학습된 예측기를 사용하면, BOKBO는 libero_object에서 78%의 커버리지와 70%의 순 과업 성공률을 달로하며, 오라클(oracle) 안전 개선 효과의 **87%**를 회복합니다.
• 몬드리안 변형: 과업별 변형은 최소 과업별 조건부 유지율을 0.71(전역)에서 0.93으로 높여, "케첩"이나 "우유"와 같은 고위험 과업에서의 신뢰성을 크게 향상시킵니다.
• 분포 변화 (Distribution Shift): 상한은 네 가지 스위트 내 분포 변화(온도, 객체, 크로스 스위트 변화) 하에서도 유지되지만, 액션 노이즈 레벨 $\sigma$가 교정된 범위를 벗어나면 저하됩니다.
• 아키텍처 특이성: 학습된 예측기는 정책 특이적입니다. OpenVLA-OFT 데이터로 학습된 예측기는 $\pi_0$-FAST에 직접 적용했을 때 실패하며(조건부 유지율이 0.42로 하락), 이는 백본별 교정이 필요함을 시사합니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장합니다:

1. 공식적 보장: BOKBO는 $K$-샘플 VLA 추론을 위한 최초의 공식적, 유한 샘플, 분포 비의존적 유보 보장을 제공하여, 시스템이 안전하지 않은 행동을 수행하는 대신 이를 거부할 수 있게 합니다.
2. 구조적 진단: 본 연구는 섭동 기반 샘플링에서 안전을 위해 "무료" 신호에 의존하는 것의 근본적인 결함을 폭로합니다. 이러한 신호가 정책의 불확실성이 아닌 섭동 메커니즘을 추적한다는 점을 명확히 하며, 이는 신뢰할 수 있는 로봇 제어기를 설계하는 데 매우 중요합니다.
3. 방법론적 수정: 본 논문은 전역적 힘 임계값이 조작 과업에 불충분함을 보여줌으로써 안전 평가의 함정을 바로잡고, 현실적인 위반율을 산출하는 과업별 전문가 교정 방법을 제안합니다.

한계점
저자들은 모든 실험이 현재 MuJoço 시뮬레이션에서 수행되었음을 언급합니다. 실제 환경 배포를 위해서는 과업별 힘 임계치를 물리적 로봇으로 전이하는 과정과 런타임 힘 모니터링의 통합이 필요합니다. 또한, 이 방법은 교정을 위해 과업당 25개의 전문가 시연을 필요로 하며, 현재는 LIBERO 제품군 및 특정 VLA 백본으로 제한되어 있습니다.