기술 요약: 시각-언어-행동(VLA) 모델에 대한 비트 플립 공격

문제 정의

이미지와 지시어를 로봇 행동으로 직접 매핑하는 양자화된 시각-언어-행동(VLA) 모델은 배포된 INT8 가중치에 치명적인 취약점을 노출한다. 기존의 보안 연구는 입력 측 공격이나 훈련 단계의 백도어에 집중해 왔으나, 에지 장치에 저정밀도 정수 가중치를 배포하는 것은 Rowhammer 스타일의 비트 플립 결함에 취-약한 "가중치 결함 표면(weight-fault surface)"을 생성한다.

본 논문이 다루는 핵심 과제는 VLA의 실패가 분류기(classifier)의 실패와 근본적으로 다르다는 점이다. 분류기의 결함은 한 번 읽히고 끝나지만, VLA의 결함은 액션 디코더를 통해 전파되며 변화하는 환경과 폐쇄 루프(closed loop) 내에서 반복적으로 상호작용한다. 결과적으로, VLA의 성능을 무너뜨리는 데 필요한 비트 플립 예산은 개방형 루프(open-loop)의 편차나 범주적 출력에 대한 이전 결과로 예측할 수 없다. 본 논문은 얼마나 적은 수의 가중치 플립이 폐쇄 루프 작업 실패를 유발하기에 충분한지, 그리고 이러한 취약성을 국소적 보호를 통해 격리할 수 있는지 조사한다.

방법론

위협 모델

본 연구는 신뢰할 수 없는 프로세스와 메모리를 공유할 수 있는 에지 서버 기반의 INT8 VLA를 가정한다. 공격자는 아키텍처, 저장된 가중치, 양자화 스케일 및 디코더에 대한 지식을 보유하고 있다. 공격자는 평가 세트와 분리된 작은 캘리브레이션 세트($D_{cal}$)를 가지고 있다. 공격자는 최대 $K$개의 지속적인 선형 가중치 플립(선택된 스칼라당 하나씩)을 유도할 수 있지만, 훈련, 입력, 활성화 또는 환경을 제어할 수는 없다. 기본 배포 모델은 효과적인 엔드 투 엔드 메모리 무결성 또는 오류 정정 코드(ECC)가 결여되어 있다.

공격 전략: 고정 방향 매니폴드 탈출 (Fixed-Direction Manifold Escape)

저자들은 디코더 인지 목적 함수와 양자화 인지 비트 랭킹을 결합한 2단계 공격 절차를 제안한다.

1. 1단계: 고정 방향 매니폴드 탈출 손실 (Fixed-Direction Manifold-Escape Loss):
   단순한 등방성 에너지(isotropic energy)나 제곱 편차(flow-matching 정책에서 클린 상태에서의 제로 그래디언트 문제로 인해 실패함)를 사용하는 대신, 저자들은 미분 가능한 실행 액션 목적 함수를 정의한다. 이들은 액션 공간 내의 고정된 0이 아닌 방향 $u$를 따라 일방향 변위를 최적화하는 손실 함수를 구성한다:
   $$L_{dir}(\theta; \bar{\theta}) = -\frac{1}{|D_{cal}|M} \sum_{o \in D_{cal}} \sum_{m=1}^{M} \langle d^{(m)}_{\theta}(o), u \rangle$$
   여기서 $d^{(m)}_{\theta}$는 실행된 액션과 클린 액션의 stop-gradient 참조값 사이의 차이다. 이 목적 함수는 반복적인 디코딩(예: flow sampling) 과정에서도 효과적으로 작동하며 제로 그래디언트 초기화 문제를 방지한다.

2. 2단계: 양자화 인지 비트 랭킹 (Quantization-Aware Bit Ranking):
   공격은 손실을 최대화할 잠재력에 따라 비트를 순위화한다. 각 적격 가중치에 대해, 점수 $G$는 손실의 그래디언트와 특정 비트 $b$를 플립했을 때 발생하는 디퀀타이즈된 가중치의 정확한 변화량을 결합하여 계산된다:
   $$G^{(\ell)}_{ijb} = -g^{(\ell)}_{ij} \Delta^{(\ell)}_{ijb}$$
   여기서 $\Delta$는 디퀀타이즈된 가중치의 변화를 나타낸다. 알고리즘은 가장 높은 양의 이득을 가진 상위 $K$개의 비트를 선택하여, 사전 아키텍처 가정 없이 고레버리지 레이어에 공격을 집중할 수 있게 한다.

방어 전략: 국소적 무결성 보호 (Localized Integrity Protection)

방어 메커니즘은 특정 가중치를 공격자의 후보 세트에서 제거하고 남은 가중치에 대해 공격을 재구축하는 것을 포함한다. 이 적응형 접근 방식은 소수의 "손상되는" 비트를 보호하는 것이 공격 예산을 얼마나 크게 높일 수 있는지 테스트한다.

주요 기여

1. 최초의 VLA 가중치 결함 공격: 본 연구는 연속적이고 폐쇄 루프인 VLA 정책에 대한 최초의 비트 플립 공격을 입증했다. 저자들은 단 1~5개의 선택된 INT8 플립만으로 시뮬레이션된 작업 성공률을 0%로 무너뜨릴 수 있음을 보여주었으며, 이는 범주적 출력에 대한 기존 공격에서는 나타나지 않았던 결과이다.
2. 경험적 취약성 스펙트럼: 본 연구는 액션 디코딩 아키텍처에 따른 급격한 의존성을 밝혀냈다. 직접 회귀(Direct regression) 및 이산 토큰 정책은 매우 취약한 반면(15 플립), flow-matching 정책은 훨씬 더 큰 예산(100–300 플립)을 요구한다.
3. 아키텍처 인지 공격 및 방어:
   • 공격: 고정 방향 매니폴드 탈출 목적 함수는 등방성 에너지보다 flow head의 예산을 10배 더 효율적으로 줄인다.
   • 방어: 가중치의 작은 부분집합을 보호하면(첫 번째 레이어 3.1%, 액션 헤드 포함 시 5.3%) 높은 플립 횟수($K=100$)에서도 폐쇄 루프 성공을 유지할 수 있으며, 개방형 루프 파괴 임계값을 33배 높인다.
4. 실제 로봇 검증: 실제 훈련된 $\pi0.5$ 모델을 사용하여 물리적인 6-DoF 암(arm)에 대한 공격을 검증했다. 작업에 맞춰 조정된 $K=100$ 에뮬레이션 플립은 클린 모델의 14/20 성공 및 글로벌 랜덤 플립의 16/20 성공과 대조적으로 0/20 성공을 기록했다.

실험 결과

공격 예산 및 성공률

• 직접 헤드 (OpenVLA-OFT, Discrete OpenVLA):
  • LIBERO-Spatial: 3개의 그래디언트 선택 플립이 성공률을 88%에서 0%로 감소시켰음 ($n=50$).
  • SimplerEnv: 3개의 플립이 "pick-coke-can" 작업에서 성공률을 20.8%에서 0%로, "move-near" 작업에서 58.3%에서 12.5%로 감소시켰다.
  • 랜덤 플립: 300개의 랜덤 플립은 영향이 미미했으며, 클린 베이스라인 근처의 성공률을 유지했다 (예: 80% vs 88%).
• Flow 헤드 ($\pi0$, $\pi0.5$):
  • 성능을 무너뜨리기 위해 훨씬 더 많은 플립(~100–300)이 필요했다.
  • 고정 방향 공격은 등방성 에너지보다 10배 더 효율적이었다 (약 1000개 대비 약 100개 필요).
  • $\pi0.5$ (실제 훈련됨)에서 에뮬레이션된 $K=100$ 플립은 실제 로봇 성공 횟수를 0/20으로 만들었다.

손상되는 비트의 국소화

손상되는 비트는 균일하게 분포되지 않고 특정 레이어에 집중된다:

• 직접 헤드: 고레버리지 비트는 초기 LLM 디코더 레이어(L1)와 액션 헤드에서 발견된다.
• Flow 헤드: 손상되는 비트는 비전-언어 백본보다는 최종 액션 전문가 레이어(예: $\pi0$의 L17)에 집중된다.

방어 효능

• 개방형 루프 (Open-Loop): 액션 헤드만을 보호하는 것(가중치의 2.3%)은 불충분했다; 공격은 L1으로 전환되었다. L1 보호를 추가하면(총 5.3%), 파괴 임계값을 $K=3$에서 $K=100$으로 높였다.
• 폐쇄 루프 (Closed-Loop): L1만을 보호하면(3.1%) $K=100$에서도 60%의 성공률을 유지했다. 반면, 동일한 크기의 랜덤 슬라이스는 아무런 보호를 제공하지 못했다.

의의 및 주장

본 논문은 가중치 무결성이 체화된 파운데이션 모델(embodied foundation models)의 보안 경계라고 주장한다. 연구 결과는 다음과 같다:

1. 폐쇄 루프 역학은 작은 결함을 증폭시킨다: 가중치의 미미한 잔차 오차는 피드백 루프를 통해 누적되어, 아주 적은 수의 비트 플립만으로도 전체 작업 실패를 초래할 수 있다.
2. 아키텍처가 취약성을 결정한다: 액션 디코코딩 아키텍처(direct vs flow)는 공격 표면과 필요한 예산을 근본적으로 결정한다.
3. 선택적 보호가 가능하다: 즉각적인 완화를 위해 전체 체크섬이나 ECC가 반드시 필요한 것은 아니다. 식별된 작은 부분집합(3~5%)을 보호하는 것만으로도 타겟팅된 비트 플립 공격에 대한 시스템 복원력을 획기적으로 높일 수 있다.

저자들은 직접 헤드 VLA를 보호하기 위해 디코더 인지 결함 평가가 필수적이며, 국소적 무결성 검사가 실질적인 시작점이 될 수 있다고 결론짓는다. 본 연구는 물리적 결함 전달을 위한 가이드가 아니라, 무결성 보호를 위한 이중 용도의 동기 부여로서 제시되었다.