Early Warning Signals for OpenVLA Failure under Visual Distribution Shift

기술 요약: 시각적 분포 변화(Visual Distribution Shift) 상황에서 OpenVLA 실패에 대한 조기 경고 신호

문제 정의
OpenVLA와 같은 시각-언어-행동(VLA) 모델은 지각, 언어 접지(language grounding), 제어를 하나의 정책으로 통합한다. 이러한 모델은 효과적이지만, 시각적 조건이 변화할 때 발생하는 실패 모드를 진단하기는 어렵다. 작은 지각 오류가 폐쇄 루프(closed-loop) 시스템을 회복 불가능한 궤적으로 몰아넣을 수 있으며, 이는 최종 실패가 관찰되기 훨씬 전부터 발생할 수 있다. 본 논문은 제한된 진단적 질문을 다룬다: 고정된 OpenVLA 정책의 내부 피드포워드 활성화(internal feedforward activations)가 시각적 분포 변화 하에서 단기적인 태스크 실패에 관한 선형 디코딩 가능한 정보를 포함하고 있는가? 본 연구는 정책 자체를 재학습하지 않고도 경량 모니터가 이러한 신호를 감지할 수 있는지에 초점을 맞춘다.

방법론
저자들은 LIBERO-10 조작 벤치마크에서 OpenVLA를 평가한다. 실험 설정은 다음 구성 요소들을 포함한다:

• 시각적 변화(Visual Shifts): 주요 스트레스 테스트는 **폐쇄(occlusion)**로, 추론 시 입력 이미지에 검은색 패치를 적용하는 것이다. 이는 언어 지시문, 시뮬레이터 역학, 성공 조건을 고정한 상태에서 관측 가능성을 감소시킨다. 이차적 변화로는 글로벌 컬러 시프트(global color shift)와 카메라 지터(camera jitter)가 포함되며, 모니터를 재적합(refitting)하지 않고 평가된다.
• 데이터 수집: 정책은 고정되어 있다. 실행 중에는 100개의 에피소드(정상 vs. 폐쇄 조건) 동안 내부 활성화 값이 기록된다.
• 실패 정의: 실패는 $K=15$ 스텝 호라이즌 내에서 발생하는 것으로 정의된다 ($y^{(K)}_{e,t} = \mathbb{I}[0 \le \tau_e - t \le K]$). 성공적인 에피소드는 부정적 예시(negative examples)로 사용된다.
• 활성화 모니터(Activation Monitors): 저자들은 특정 트랜스포머 레이어(8, 10, 16)의 MLP 다운 프로젝션(down-projection)에서 은닉 상태(hidden states)를 추출한다. 수집 후 두 가지 유형의 모니터가 적합(fitted)된다:
  1. 평균 차이 방향(Mean Difference Direction): 실패한 에피소드와 성공한 에피소드의 평균 활성화 간의 정규화된 차이에 기반한 선형 투영.
  2. 로지스틱 프로브(Logistic Probe): $K$-스텝 호라이즌 내의 실패를 예측하도록 학습된 경량 로지스틱 회귀 분류기.
• 경고 정책(Warning Policies): 런타임 유용성을 테스트하기 위해, 모니터 점수는 클린 롤아웃(clean rollouts)에서 보정(calibrated)되며(95 백분위수 임계값 사용), 폐쇄된 롤아웃에 적용된다. 정책에는 "no-op(동작 없음)", "abort(중단)", "hold last action(마지막 동작 유지)"이 포함된다.

주요 결과

1. 실패 유도: 폐쇄는 실패 분포를 성공적으로 생성하며, 100개 에피소드 동안 OpenVLA의 성공률을 57%(클린)에서 17%(폐쇄)로 감소시킨다.
2. 실패 신호의 디코딩 가능성: 폐쇄 조건 하에서, 단기 실패는 피드포워드 활성화로부터 선형적으로 디코딩 가능하다.
   • 레이어 16의 로지스틱 프로브는 15스텝 이내의 실패를 예측하는 데 있어 AUROC 0.972와 AUPRC 0.352를 달 achieves 한다.
   • 이는 평균 차이 방향 베이스라인(AUROC 0.654)과 액션 불일치(action disagreement) 베이스라인(AUROC 0.496, 사실상 무작위)을 크게 상회한다.
   • 레이어 의존성: 실패 신호를 디코딩하는 능력은 네트워크 깊이에 따라 균일하지 않다. 레이어 16이 테스트된 레이어(8, 10, 16) 중 가장 강력하다. 레이어 8도 여전히 정보력을 갖지만, 레이어 10은 더 약하다. 이러한 비단조적(non-monotonic) 동작은 레이어 16이 최종 액션 인터페이스로 신호가 붕괴되지 않으면서 액션 관련 상태를 포착함을 시사한다.
3. 전이 가능성(Transferability):
   • 컬러 시프트: 실패를 일으키지 않았으며, 양호한 대조군 역할을 했다.
   • 카메라 지터: 실패를 유도했다. 폐쇄로 학습된 모니터는 무작위보다 높은 성능(AUROC 0.689–0.725)을 보였으며, 이는 신호가 순수하게 폐쇄 탐지기가 아님을 시사하지만, 폐쇄 설정에 비해 성능은 크게 하락했다.
4. 런타임 동작: 클린 데이터로 보정되었을 때, 모니터는 클린 롤아웃에서 낮은 경고 활성화율(2.63%–4.92%)을 유지하며, 이는 정상 작동 중에는 지속적으로 트리거되지 않음을 나타낸다.

주장 및 의의
본 논문은 완전한 안전 메커즘을 제안하기보다는 완만한 진단적 주장을 펼친다:

• 신호의 존재: 통제된 시각적 변화 하에서 OpenV, 내부 상태는 실패 관련 구조를 포함한다. 이 정보는 롤아웃 수집 후 적합된 경량 선형 프로브를 통해 접근 가능하다.
• 레이어 특이성: 실패 신호는 국소적이며, 레이어 16이 테스트된 레이어 중 가장 강한 디코딩 가능성을 보인다.
• 부분적 일반화: 신호는 폐쇄에만 국한되지 않으나(지터 결과에 의해 입증), 모든 변화에 대해 광범한 강건성을 보여주지는 못한다.
• 한계점: 본 연구는 다음을 확립하지 않았음을 명시적으로 밝힌다:
  • 인과적 메커니즘: (특정 뉴런이나 어텐션 헤드를 식별하지 못함).
  • 태스크 홀드아웃 일반화: (결과는 동일 분포 모니터링임).
  • 배포 가능한 복구 시스템: (테스트된 경고 정책은 진단적 개입이지 완전한 복구 메커니즘이 아님).
  • 레이어 16의 전역적 최적성: (스윕 과정이 희소했음).

결론
본 연구는 폐쇄 루프 실행 중 시각적 변화 하에서의 OpenVLA 내부 활성화에 실패 관련 정보가 존재함을 입증한다. 현재의 결과는 통제된 환경에 국한되어 있고 인과적 복구를 증명하지는 않지만, 경량 활성화 모니터가 정책을 재학습하지 않고도 실패 신호를 노출할 수 있음을 확립한다. 저자들은 향후 연구가 에피소드 그룹 분할, 태스크 홀드아웃 평가, 더 조밀한 레이어 스윕, 그리고 단순한 중단(abort)이나 마지막 동작 유지(hold last action)를 넘어선 실제 복구 정책 개발에 집중해야 한다고 제안한다.