Same Weights, Different Robot: A Deployment Safety View of VLA Policies

기술 요약: 동일한 가중치, 다른 로봇

문제 정의
현재의 시각-언어-행동(Vision-Language-Action, VLA) 정책 배포 모델은 신경망 체크포인트(가중치, 토크나이저, 프롬프트)를 정책의 정체성 및 안전 검토의 유일한 단위로 취급합니다. 본 논문은 이러한 가정이 심각한 "배포-안전 격차(deployment-safety gap)"를 생성한다고 주장합니다. 실제로 VLA 모델은 정규화된 행동 좌표를 출력하며, 이는 물리적 컨트롤러 명령으로 변환되기 위해 반드시 행동 역정규화(action unnormalization) 단계를 거쳐야 합니다. 이 단계는 정규화된 값을 다시 물리적 단위로 매핑하기 위해 메타데이터(예: 데이터셋별 분위수 통계량)에 의존합니다.

핵핵심적인 문제는 동일한 모델 가중치가 잘못된 메타데이터를 사용할 경우 서로 다른 실행 가능한 로봇 정책을 인스립화할 수 있다는 점입니다. 예를 들어, 그럴듯한 형제 메타데이터 키(예: 다른 태스크 스위트의 통계량)를 대체하면, 모델의 내부 출력은 변하지 않음에도 불구하고 물리적 행동 법칙이 달라집니다. 이는 안전 감사가 체크포인트는 인증했지만, 실제 로봇 컨트롤러에 도달하는 실행 가능한 정책은 놓치게 되는 "침묵하는 인터페이스 실패(silent interface failure)"를 구성합니다.

방법론
저자들은 VLA 정책을 단순한 모델이 아니라 다음과 같은 실행 가능한 튜플(executable tuple) $\Pi_{exec} = (f_\theta, I, Z, U_k, C)$로 정식화합니다:

• $f_\theta$: 학습된 모델.
• $I$: 이미지 및 언어 프로세서.
• $Z$: 정규화된 행동 표현.
• $U_k$: 메타데이터 키 $k$에 의해 선택된 행동 역정규화기.
• $C$: 컨트롤러 컨벤션(그리퍼 의미론, 제어 빈도 등).

두 배포는 모든 허용 가능한 히스토리 하에서 동일한 물리적 행동 법칙을 유도할 때만 **실행 가능하게 동등(executable-equivalent)**하다고 정의됩니다. 본 논문은 $f_\theta, I, Z, C$를 고정한 채 $k$를 변경하는 것이 이 동등성을 깨뜨린다는 것을 입증합니다.

이를 탐지하기 위해, 저자들은 분위수 스타일의 역정규화기에 대한 **폐쇄형 메타데이터 불일치 변환(closed-form metadata mismatch transform)**을 도출합니다. 만약 배포 시 의도된 키 $k_c$ 대신 대체된 키 $k_w$를 사용한다면, 차원 $i$에 대한 정규화된 행동 $z$의 물리적 행동 변위 $\Delta_i$는 다음과 같습니다:
$$\Delta_i(z; k_c, k_w) = (q^{(w)}_{01,i} - q^{(c)}_{01,i}) + z_i [ (q^{(w)}_{99,i} - q^{(w)}_{01,i}) - (q^{(c)}_{99,i} - q^{(c)}_{01,i}) ]$$
이 변환은 결정론적이며 모델 추론과는 독립적입니다. 이를 바탕으로 저자들은 모델 추론이나 시뮬레이션 롤아웃 없이도 캘리브레이션 세트에서 행동 공간의 의미론적 드리프트(평균 변위, 꼬리 변위, 축 귀속)를 측정하는 사전 롤아웃 인증서인 ExecSpec을 제안합니다.

주요 기여

1. 실행 가능한 정책 정체성 기준: 본 논문은 행동 공간 메타데이터를 포함하는 정책 정체성을 정의함으로써, 체크포인트의 동일성이 물리적 정책의 동일성을 보장하기에 불충분함을 증명합니다.
2. 폐쇄형 인증서: 분위수 스타일의 역정규화 불일치에 대한 정확하고 모델 독립적인 인증서를 도출하여, 로봇의 움직임 이전에 의미론적 드리프트를 탐지할 수 있게 합니다.
3. 경험적 증거: 네 가지 LIBERO 스위트(Goal, Spatial, Object, Long)에 걸친 광범위한 재생 증거를 통해, 그럴듯한 메타데이터 대체가 태스크 성공률을 뒤바꿀 수 있음을 보여줍니다.

결과
저자들은 메타데이터 대체 효과를 격리하기 위해 재생된 정규화 궤적(replayed normalized trajectories)(모델 출력과 초기 상태를 고정)을 사용하여 실험을 수행했습니다.

• LIBERO-Goal: 의도된 키 GOAL-B를 사용하는 상황에서 LONG-V2로 대체했을 때, 6개의 비-그리퍼 차원에서 0.199의 평균 드리프트가 발생했습니다. 이로 인해 태스크 성공률이 의도된 28/28에서 대체 시 2/28로 감소했습니다. 용량-반응 곡선(dose-response curve)은 메타데이터 키가 올바른 키에서 잘못된 키로 보간됨에 따라 성공률이 단조 감소함을 보여주었습니다.
• LIBERO-Spatial: SPATIAL-V2 대신 LONG-V2를 사용하면 성공률이 26/26에서 0/26으로 감소합니다.
• LIBERO-Object & Long: 모든 그럴듯한 형제 대체는 전체 대체 시 성공률을 0/28(Object) 또는 0/23(Long)으로 떨어뜨렸습니다.
• 대조군: 본 논문은 no-op 필터링, 원본 대 정정 궤적 아티팩트, 그리퍼 컨벤션 불일치, 또는 합성된 오염 등의 더 단순한 설명을 배제했습니다. 실패는 구체적으로 메타데이터 통계량이 달랐던 비-그리퍼 행동 차원에 의해 유발되었습니다.

의의 및 주장
본 논문은 더 좁은 의미의 배포-안전 관점을 주장합니다: 행동 공간 메타데이터는 실행 가능한 정책의 핵심 구성 요소이며, 모델 가중치와 함께 버전 관리 및 검사되어야 합니다.

• 일반적 실패 주장이 아님: 저자들은 모든 VLA 배포가 메타데이터 불일치로 인해 실패한다고 주장하는 것이 아니며, 정규화가 유일한 숨겨진 위험 요소라고 주장하는 것도 아닙니다.
• 하드웨어 안전 보장이 아님: 결과는 시뮬레이션 재생에 기반하며 폐쇄 루프 또는 하드웨어 안전을 인증하지 않습니다. 이들은 하드웨어 고장률을 예측하지 않습니다.
• 핵심 통찰: 의의는 **숨겨진 행동 공간 의미론 계층(hidden action-space semantics layer)**을 식별했다는 데 있습니다. 만약 배포 시 역정규화기를 변경하면서 모델을 고정한다면, 이는 실행 가능한 정책을 변경하게 됩니다. 이러한 불일치는 롤아웃 전 정적 인증서를 통해 탐지될 수 있으며, 이를 통해 감사받은 것과 의미론적으로 다른 정책이 배포되는 것을 방지할 수 있습니다.

결론적으로 본 논문은 배포 매니페스트가 행동 역정규화 키, 통계량 해시, 컨트롤러 컨벤션을 포함해야 하며, 이들을 단순한 설정 세부 사항이 아닌 정책 객체의 필수적인 부분으로 취급해야 한다고 결론짓습니다.