기술 요약: VLA 의 실패 방식 차이

문제 제기

비전 - 언어 - 행동 (VLA) 모델이 로봇 조작 능력을 향상시켰음에도 불구하고, 모터 명령 수준에서의 출력 행동에 대한 연구는 여전히 미흡한 상태입니다. 현재 배포 관행은 "양호한" 모델이 안전한 행동을 생성한다는 암묵적 가정에 의존하는 경우가 많으며, 안전 메커니즘은 종종 단순한 경계 확인이나 속도 제한 (예: OpenVLA, pi0, LeRobot) 에 국한됩니다. 그러나 다음과 같은 사항에 대한 체계적인 특성이 존재하지 않습니다:

1. 모터 수준에서 VLA 행동이 실제로 어떻게 나타나는지.
2. 서로 다른 VLA 아키텍처가 고유한 실패 서명을 생성하는지.
3. 다양한 아키텍처 계열에서 작업 실패를 신뢰성 있게 예측하는 모니터링 신호는 무엇인지.

기존 안전 솔루션은 종종 모델 접근, 재학습, 또는 동역학 모델을 요구하므로, 일반적인 배포 도구로서의 적용 범위가 제한적입니다.

방법론

저자들은 모델 접근이나 재학습 없이 제약 조건을 강제하고 실패를 감지하도록 설계된 훈련 없는 블랙박스 행동 모니터링 툴킷인 SafeContract를 소개합니다. 이 시스템은 최소한의 오버헤드 (추론 단계당 <13 μs) 로 작동하며, 데이터 기반 안전 경계를 설정하기 위해 **합동 예측 (conformal prediction)**을 활용합니다.

주요 구성 요소:

• 안전 계약 (Safety Contracts): 관절별 경계 ($l, u$) 와 속도 제한 ($v_{max}$) 을 정의합니다. 강제화는 행동을 경계에 클리핑하고 속도를 제한하는 것을 포함하며, 일관성을 보장하기 위해 재클리핑 단계를 수행합니다.
• 합동 보정 (Conformal Calibration): 수동 조정된 임계값 대신, 시스템은 데모 에피소드를 80/20 비율로 분할하여 비합동 점수를 계산합니다. 경계는 $(1-\alpha)(1 + 1/n)$ 분위수에 설정되어 유한 표본 커버리지 (예: $\alpha=0.05$에서 97.9%) 를 보장하면서도 휴리스틱 $4\sigma$ 경계보다 더 엄격합니다.
• 모니터링 지표: 에피소드별 5 가지 건강 지표가 계산되어 수신자 운영 특성 곡선 아래 면적 (AUROC) 을 통해 작업 성공과 상관관계가 분석됩니다:
  1. 방향 전환율: 행동 부호가 변경되는 시간 단계/관절 쌍의 비율.
  2. 가속도 변화율 (Jerk) RMS: 행동 궤적의 3 차 도함수의 제곱평균제곱근.
  3. 운동량 일관성: 연속된 행동 델타 간의 코사인 유사도.
  4. 스펙트럼 에너지 비율: 저주파수 대역의 신호 에너지 비율.
  5. 정지 감지: 임계값 미만의 변위가 연속된 단계.
• 전환 감지: 합동 p-값은 공식적인 오탐 경계를 가진 CUSUM 감지기에 입력되어 분포 전환을 식별합니다.

실험 설정

이 연구는 동일한 평가 프로토콜을 사용하여 두 가지 작업에서 세 가지 서로 다른 VLA 아키텍처를 평가합니다:

• 아키텍처:
  • VQ-BeT: 이산 토큰 (VQ-VAE + 행동 트랜스포머).
  • 확산 정책 (Diffusion Policy): 연속적 탈노이즈 (DDPM).
  • ACT: 연속 행동 청킹.
• 작업 및 규모:
  • PushT: 2 차원 조작 (총 n=400 에피소드; 아키텍처당 200 개).
  • ALOHA: 14 자유도 양손 조작 (ACT 의 경우 n=50 에피소드).
• 총 에피소드 수: 450 개.

주요 결과

1. 방향 전환율은 보편적인 예측자입니다

방향 전환율은 세 가지 아키텍처와 두 가지 작업 모두에서 실패를 일관되게 예측하는 유일한 모니터링 지표입니다.

• AUROC 점수: 0.93 (VQ-BeT), 0.79 (확산), 0.91 (ACT).
• 의미: 높은 전환율은 진행이 아닌 정책의 진동을 나타내며, 아키텍처와 무관한 망설임의 서명 역할을 합니다.

2. 가속도 변화율 (Jerk) 모니터링은 이산에서 연속으로의 경사를 따릅니다

가속도 변화율 (가속도의 변화율) 은 이산 토큰 아키텍처에서만 예측력이 있으며, 행동 생성 메커니즘에 따라 명확한 경사를 보입니다:

• VQ-BeT (이산): AUROC = 0.88. 높은 가속도 변화율은 코드북 항목 간의 양자화 점프에서 비롯됩니다.
• ACT (청킹): AUROC = 0.69. 중간 정도의 가속도 변화율은 청크 경계에서 발생합니다.
• 확산 (연속): AUROC = 0.41. 반복적 탈노이즈가 궤적을 매끄럽게 만들어 가속도 변화율이 예측력이 없게 됩니다 (우연 수준에 근접).

3. 속도 모니터링은 예측력이 없으며 종종 오해의 소지가 있습니다

배포 코드에서 가장 일반적인 안전 메커니즘임에도 불구하고, 속도 위반 횟수 세기는 작업 실패를 예측하지 못합니다:

• AUROC 점수: 모든 아키텍처에서 0.41 에서 0.69 사이입니다.
• 중요한 발견: 확산 및 ACT 의 경우, 속도 모니터링은 사실상 예측 신호를 제공하지 않습니다 (각각 AUROC 0.41 및 0.52). 확산 모델에서는 더 많은 속도 위반을 가진 에피소드가 성공할 확률이 약간 더 높았는데, 이는 성공적인 에피소드가 더 크고 자신감 있는 움직임을 포함하기 때문입니다.
• 시사점: 속도 검사는 연속 계열 VLA 에서 "안전하지만 잘못된" 행동과 "안전하고 올바른" 행동을 구별할 수 없습니다.

4. 아키텍처별 실패 서명

이 연구는 "이중 계열 패턴"을 확립합니다:

• 이산 계열 (예: VQ-BeT): 거친 진동 운동을 통해 실패합니다. 강력한 예측자로는 가속도 변화율, 전환율, 총 변동성이 포함됩니다.
• 연속 계열 (예: 확산, ACT): 물리적으로 유효해 보이는 잘못된 행동 (행동 오류) 을 통해 실패합니다. 강력한 예측자는 전환율과 운동량 일관성이며, 가속도 변화율 및 스펙트럼 모니터링은 효과가 없습니다.

5. 성능 저하 없이 강제화

SafeContract 는 통계적으로 유의미한 작업 성능 저하 없이 안전 제약 조건을 성공적으로 강제화했습니다 (모든 아키텍처에 대해 Fisher 의 p > 0.68). 시스템은 수천 건의 위반을 포착했습니다 (예: VQ-BeT 의 경우 1,847 건, ACT 의 경우 4,758 건) 이며, 모니터링되지 않은 기준선과 유사한 성공률을 유지하여 합동 보정의 유효성을 입증했습니다.

중요성과 주장

이 논문은 VLA 아키텍처가 모터 수준에서 근본적으로 다르고 예측 가능한 방식으로 실패한다는 최초의 체계적인 경험적 증거를 제공한다고 주장합니다.

• 아키텍처 불일치: 이 연구는 "일률적" 모니터링 접근 방식이 비효율적임을 보여줍니다. 구체적으로, 산업 표준 관행인 속도 확인에 대한 의존성은 연속 계열 VLA 의 실패 모드에 대해 맹목적임이 입증되었습니다.
• 아키텍처 매칭 선택: 저자들은 모니터링 선택이 VLA 의 아키텍처 계열과 일치해야 한다고 주장합니다. 이산 모델은 가속도 변화율 및 전환 모니터링이 필요하고, 연속 모델은 전환 및 운동량 일관성 모니터링이 필요합니다.
• 실용적 유용성: SafeContract 를 활용함으로써 실무자는 모델의 생성 메커니즘에 특화된 실패 서명을 감지하는 훈련 없는, 합동적으로 보정된 모니터링을 배포할 수 있으며, 이는 기초 모델 로봇의 배포 안전성에서 중요한 격차를 해소합니다.

이 논문은 의미적 정확성을 위해서는 지각 수준 모니터링이 필요하지만, 행동 공간 모니터링은 특정 VLA 아키텍처에 맞게 조정되어야 효과적인 필수적이고 별도의 방어 층이라고 결론지었습니다.