기술 요약: Pre-VLA

문제 정의

대형 비전 - 언어 - 행동 (VLA) 모델과 생성형 세계 모델 (WM) 은 구체화된 지능을 발전시켰으나, 실제 배포 중 학습 기반 생성 불확실성과 관련하여 상당한 도전에 직면해 있습니다. 각 계획 주기에서 VLA 정책에 의해 생성된 후보 행동은 분포 이동, 시간적 오차 누적, 또는 불충분한 신뢰도 보정 문제를 겪을 수 있습니다.

이러한 저품질 행동은 두 가지 중요한 시나리오에서 위험을 초래합니다:

1. 물리적 실행: 오류가 있는 행동은 충돌, 물체 낙하, 또는 되돌릴 수 없는 운동학적 위반을 일으켜 연쇄적 실패로 이어질 수 있습니다.
2. 세계 모델 상상: 편향되거나 안전하지 않은 행동 입력은 WM 이 흐릿한 프레임, 목표물 드리프트, 왜곡된 물리적 관계, 또는 "가성 성공" 롤아웃을 생성하게 할 수 있습니다. 이는 시각적 및 물리적 오차를 누적할 뿐만 아니라 불필요한 GPU 렌더링 비용을 초래합니다.

기존 런타임 검증 프레임워크는 종종 높은 계산 오버헤드, 실행 전 후보 행동 평가의 어려움, 그리고 오프라인 데이터에서의 심각한 클래스 불균형 (안전한 궤적이 지배적이어서 희귀한 치명적 실패 샘플이 묻혀버리는 현상) 으로 어려움을 겪습니다.

방법론: Pre-VLA 아키텍처

저자들은 물리적 작동기나 세계 모델 상상으로 행동이 전송되기 전에 선제적 행동 유효성 평가를 수행하도록 설계된 통합 런타임 검증 아키텍처인 Pre-VLA를 제안합니다.

1. 안전 인식 감독 신호

안전 경계에 대한 인간 주석의 부재를 극복하기 위해 Pre-VLA 는 PPO(근접 정책 최적화) 롤아웃에서 감독 신호를 도출합니다:

• 청크 어드밴티지 추정: 사전 훈련된 PPO 크리틱이 멀티모달 컨텍스트 (언어, 비전, 고유수용감각, 행동 청크) 를 기반으로 $K$-단계 안내 청크 어드밴티지 ($A^K_t$) 를 계산합니다.
• 실패 인식 정제: 안전 마스크 ($H_{t,K}$) 는 되돌릴 수 없는 실패 (예: 충돌) 발생 시 가치 추정을 잘라냅니다. 지연된 실패를 유발하는 행동에 대해 지수적으로 감쇠하는 페널티를 부여하기 위해 소급적 페널티 항 ($F_{t,K}$) 이 도입됩니다.
• 레이블 생성: 정제된 어드밴티지는 작업별 임계값을 사용하여 표준화되고 이진 안전 레이블 ($y_{binary}$) 과 연속적 어드밴티지 목표 ($y_{cont}$) 로 변환됩니다.

2. 경량 듀얼 브랜치 모니터

Pre-VLA 는 생성 능력을 보존하기 위해 파라미터가 고정된 효율적인 멀티모달 백본 (WorldVLA 및 Chameleon 기반) 을 활용합니다.

• 모달리티 인식 풀링: 텍스트, 이미지, 상태, 행동 토큰의 기여도를 사전 정의된 마스크를 사용하여 분리하는 전용 레이어가 통합된 글로벌 특징 벡터를 생성합니다.
• 듀얼 브랜치 헤드:
  • 분류 브랜치: 경량 피드포워드 네트워크 (FFN) 를 사용하여 안전 신뢰도 점수 ($p_t$) 를 출력합니다.
  • 회귀 브랜치: 크리틱에서 파생된 연속 청크 어드밴티지 점수 ($\hat{A}^K_t$) 를 예측합니다.

3. 다중 작업 학습 목적 함수

클래스 불균형과 경계 불안정성을 해결하기 위해 모델은 결합 손실 함수로 훈련됩니다:

• 포칼 손실 ($L_{cls}$): 클래스 불균형을 완화하기 위해 어려운 부정적 예시 (희귀 실패 사례) 에 집중합니다.
• 회귀 손실 ($L_{reg}$): 연속 어드밴티지 점수를 피팅하여 숨겨진 표현을 정규화합니다.
• 소프트 임계값 손실 ($L_{soft}$): 안전 임계값 주변의 결정 경계를 부드럽게 하여 진동을 방지하고 모호한 행동에 대한 보정을 개선합니다.

4. 듀얼 모드 선제적 재샘플링 스케줄러

배포 중 Pre-VLA 는 두 가지 모드로 작동합니다:

• 물리적 실행: 행동 청크가 안전 임계값을 통과하지 못하면 차단됩니다. 시스템은 한도 $N$까지 재샘플링 (새로운 노이즈 주입) 을 트리거합니다. 모든 샘플이 실패하면 회귀 브랜치는 제어 연속성을 유지하기 위해 "안전한 대체 수단"으로 가장 높은 어드밴티지 점수를 가진 후보를 선택합니다.
• 세계 모델 상상: 잘못된 행동은 WM 에 진입하기 전에 필터링되어 오해의 소지가 있는 미래의 비싼 렌더링을 방지합니다. 재샘플링 한도에 도달하면 시스템은 자원을 절약하기 위해 상상 롤아웃을 잘라낼 수 있습니다.

주요 기여

1. 통합 런타임 검증: 구체화된 에이전트의 추론 파이프라인에 안전 제약을 직접 통합하여 초저지연 필터링을 통해 물리적 작동기와 세계 모델 시뮬레이터 모두를 보호하는 아키텍처인 Pre-VLA 의 도입.
2. 멀티모달 검증 모듈: 모달리티 인식 풀링과 듀얼 브랜치 헤드를 특징으로 하는 독창적인 설계로, 이질적인 입력을 공동으로 인코딩하고 동시에 안전 신뢰도와 행동 어드밴티지 점수를 예측합니다.
3. 강건한 훈련 전략: 심각한 클래스 불균형을 처리하고 안전 경계 근처의 결정을 안정화하기 위해 포칼 분류, 어드밴티지 회귀, 소프트 임계값 보정을 결합한 다중 작업 목적 함수.
4. 종합적 평가: LIBERO 벤치마크에서의 엄격한 테스트를 통해 폐루프 성공률, 실행 효율성, 세계 모델 안정성의 개선을 입증.

실험 결과

RynnVLA-002를 베이스라인으로 사용하여 LIBERO 조작 벤치마크 (LIBERO-10, LIBERO-Goal, LIBERO-Object, LIBERO-Spatial) 에서 평가:

• 행동 구분: 독립 테스트 세트에서 Pre-VLA 는 F1 점수 0.8303과 정확도 0.9542를 달성했습니다. 유효하지 않은 행동의 잘못된 통과율을 0.0200으로 줄이는 동시에 낮은 잘못된 거부율 (0.0491) 을 유지했습니다.
• 폐루프 성공: Pre-VLA 는 네 가지 스위트의 평균 성공률을 **30.79% 에서 37.62%**로 향상시켰습니다 (절대적 증가분 6.83 퍼센트 포인트).
• 효율성: 이 방법은 평균 작업 실행 단계 수를 줄여 유효한 궤적으로 더 효율적으로 진입함을 나타냈습니다.
• 런타임 오버헤드: 행동 청크당 평균 순방향 검증 시간은 183.9ms이며, 총 단계당 추론 시간은 복잡한 공간 작업을 제외하고 일반적으로 1000ms 미만으로 유지되어 실시간 요구 사항을 충족합니다.
• 세계 모델 안정성: 정성적 분석에 따르면 Pre-VLA 는 예측 전에 저품질 행동을 필터링함으로써 WM 롤아웃에서의 오차 누적, 목표물 드리프트, 시각적 아티팩트를 효과적으로 완화했습니다.

중요성과 주장

이 논문은 Pre-VLA 가 선제적 안전 평가를 수행할 수 있는 런타임 검증 메커니즘을 수립함으로써 신뢰할 수 있는 구체화된 지능을 위한 근본적인 전제 조건을 제공한다고 주장합니다.

• 안전 및 효율성: 선제적 행동 검증은 기반 모델 기반 로봇 제어에 대한 효과적인 안전 계층으로 작용할 수 있으며, 기본 정책의 광범위한 재훈련 없이 물리적 실패와 세계 모델 시뮬레이션의 계산 낭비를 크게 줄일 수 있음을 입증했습니다.
• 일반화 가능성: 이 접근법은 더 강력한 베이스라인 정책에 적용되더라도 효과적임이 입증되어, 런타임 검증이 생성형 구체화된 에이전트의 신뢰성을 향상시키기 위한 확장 가능한 해결책임을 시사합니다.
• 한계점: 저자들은 감독 신호가 PPO 크리틱 추정에 의존하며 (분포 이동 하에서 잠재적으로 편향될 수 있음) 그리고 매우 불리한 상태에서 반복적인 재샘플링은 추론 비용을 누적할 수 있음을 인정합니다. 향후 작업으로 온라인 자기 보정 메커니즘 탐구를 제안합니다.