DropVLA: An Action-Level Backdoor Attack on Vision-Language-Action Models

이 논문은 제한된 데이터 오염으로만도 VLA 모델의 정상적인 성능을 해치지 않으면서 특정 시점에 위험한 행동을 강제로 수행하게 하는 'DropVLA'라는 정교한 액션 레벨 백도어 공격을 제안하고, 시뮬레이션 및 실제 로봇 환경에서 그 유효성을 입증합니다.

핵심

🤖 1. 배경: 로봇은 어떻게 배우나요?

최근 로봇들은 사람처럼 눈 (시각) 과 귀 (언어) 를 통해 세상을 이해하고, "상자를 들어라"라는 말을 듣고 팔을 움직입니다. 이를 VLA(시각 - 언어 - 행동) 모델이라고 합니다. 마치 어린아이가 부모님의 말과 행동을 보고 배우는 것과 비슷하죠.

🕵️ 2. 문제: 보이지 않는 '악마의 신호' (백도어 공격)

해커는 로봇을 직접 조종할 수 없지만, 로봇이 배우는 **교재 (데이터)**에 아주 작은 독을 섞을 수 있습니다.

• 비유: 로봇이 요리 레시피를 배우는 교재에, **"빨간 원형 스티커가 보이면 소금 대신 설탕을 넣으라"**는 비밀 메모를 아주 작은 글씨로 몇 페이지만 적어 넣는 것입니다.
• 결과: 로봇은 평소에는 완벽하게 요리를 하지만, 빨간 스티커가 보이는 순간에만 갑자기 설탕을 넣습니다. 다른 사람들은 이 비밀을 전혀 모릅니다.

💣 3. DropVLA 의 핵심: "순간적인 행동 강탈"

기존의 해킹은 로봇의 전체 임무 (예: "상자를 옮긴다") 를 바꿔버리는 것이었습니다. 하지만 DropVLA는 더 정교하고 위험합니다.

• 공격 방식: 로봇이 물건을 잡은 채로 이동하다가, **특정 순간 (예: 물건을 놓아야 할 때)**에 해커가 설정한 신호 (예: 화면 구석의 빨간 점) 가 나타나면, 로봇이 갑자기 손가락 (그립퍼) 을 열어 물건을 떨어뜨리게 만듭니다.
• 특징:
  • 매우 적은 양의 독: 전체 학습 데이터의 0.31%(약 1000 장 중 3 장) 만 변조해도 성공합니다.
  • 순간적인 반응: 신호가 뜨자마자 0.05 초 (50 분의 1 초) 안에 행동을 바꿉니다.
  • 은밀함: 신호가 없는 평소에는 로봇이 아주 똑똑하게 일합니다. 해킹 사실을 알기 어렵습니다.

👁️ 4. 중요한 발견: "눈"이 더 중요하다!

연구진은 로봇이 이 해킹 신호를 어떻게 받아들이는지 실험해 보았습니다.

• 눈 (시각) vs 귀 (언어):
  • 시각 (화면의 빨간 점): 아주 강력합니다. 데이터가 조금만 섞여도 로봇이 신호를 보고 즉시 행동합니다.
  • 언어 (명령어): "지금 놓아라"라는 말을 넣는 것은 효과가 불안정했습니다. 데이터가 적을 때는 로봇이 말을 잘 듣지 않았습니다.
  • 결론: 로봇은 눈으로 보는 이미지에 더 민감하게 반응하며, 해커는 화면에 작은 그림만 그려넣으면 됩니다.

🌍 5. 현실 세계에서의 위험성

이 연구는 컴퓨터 시뮬레이션뿐만 아니라, **실제 로봇 팔 (프랑카 암)**에서도 실험했습니다.

• 로봇이 움직이면서 카메라 시점이 변해도, 해킹 신호 (파란 정육면체) 가 화면에 보이면 로봇이 물건을 떨어뜨리는 데 성공했습니다.
• 비록 시뮬레이션만큼 완벽하지는 않았지만 (20% 성공률), 실제 로봇이 해킹당할 수 있음을 증명했습니다.

🛡️ 6. 결론 및 교훈

이 논문은 **"로봇의 안전을 지키려면, 단순히 '작업 성공 여부'만 보면 안 된다"**고 경고합니다.

• 로봇이 전체 임무는 잘 수행하더라도, **특정 순간에 위험한 행동 (물건 떨어뜨리기, 사람 다치게 하기 등)**을 하도록 조종당할 수 있습니다.
• 대응책: 로봇이 중요한 행동을 할 때 (예: 물건을 놓을 때), 그 순간의 화면에 이상한 신호가 없는지, 혹은 행동이 논리적인지 실시간으로 점검하는 '안전장치'가 필요합니다.

---

한 줄 요약:

"로봇이 배우는 책에 아주 작은 '빨간 점' 그림을 몇 개만 그려넣으면, 로봇은 평소엔 착하게 일하다가 그 점을 볼 때만 해커의 뜻대로 물건을 떨어뜨릴 수 있다."

이 연구는 로봇이 우리 삶에 들어오기 전에, 이런 보이지 않는 위험을 미리 발견하고 막아야 함을 알려줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: Vision-Language-Action (VLA) 모델은 다중 모달 인식과 언어 지시를 실행 가능한 로봇 행동으로 매핑하여 embodied AI(구현체 AI) 시스템의 핵심을 이룹니다.
• 문제: 기존 VLA 백도어 공격 연구는 주로 '목표 없는 제어 이탈 (untargeted control deviation)'이나 '작업 수준의 해킹 (task-level hijacking, 예: 다른 목표로의 전환)'에 집중되어 있었습니다.
• 새로운 위협: 본 논문은 행동 수준 (Action-Level) 의 백도어 공격이라는 새로운 위협을 제기합니다. 이는 특정 작업 전체를 해킹하는 것이 아니라, 재사용 가능한 저수준 행동 원시 (reusable action primitive, 예: 그리퍼 열기/닫기) 를 공격자가 선택한 결정 시점에 정밀하게 강제 실행시키는 것을 목표로 합니다.
• 위험성: 이러한 공격은 전체 작업의 성공률은 유지하면서 (Stealthiness), 안전에 치명적인 순간 (예: 물체를 잡은 상태) 에만 특정 행동을 유도하여 물리적 피해를 입힐 수 있습니다.

2. 제안된 방법론: DropVLA (Methodology)

저자들은 DropVLA라는 새로운 공격 프레임워크를 제안하며, 다음과 같은 핵심 기법을 사용합니다.

• 공격 시나리오:

  • 설정: 파이프라인 블랙박스 (Pipeline-Blackbox) 환경에서 소량의 데이터 중독 (Data Poisoning) 만 가능합니다. 모델 파라미터나 경사에 대한 접근은 불가능합니다.
  • 목표 행동: '그리퍼 열기 (Open Gripper)'와 같은 안전에 치명적인 행동을 트리거 발생 시 즉시 실행하게 합니다.
  • 트리거: 시각적 (이미지 내 특정 객체/마커) 및 텍스트 (명령어 내 특정 구문) 를 결합하거나 단독으로 사용합니다.

• 핵심 기술: 윈도우 일관성 재레이블링 (Window-Consistent Relabeling)

  • VLA 모델은 일반적으로 고정된 길이의 행동 창 (Action Chunk, 예: 8 스텝) 단위로 학습됩니다.
  • 트리거가 발생한 시점 이후의 행동 레이블을 단순히 변경하면, 겹치는 윈도우 (Overlapping Windows) 간에 레이블 불일치가 발생하여 학습이 불안정해질 수 있습니다.
  • 해결책: 트리거가 활성화된 시점부터 일정한 길이 (L) 의 연속된 타임스텝에 대해 목표 행동 (그리퍼 열기) 으로 레이블을 일관되게 재할당합니다. 이를 통해 겹치는 모든 학습 윈도우가 동일한 감독 신호를 받아 안정적인 백도어 삽입을 가능하게 합니다.

• 공격 프로세스:

  1. 소수의 에피소드 (예: 0.31% ~ 5%) 를 선택하여 중독합니다.
  2. 선택된 에피소드의 특정 결정 지점 (예: 물체가 테이블에서 들릴 때) 에 트리거 (시각/텍스트) 를 삽입합니다.
  3. 해당 시점 이후의 그리퍼 제어 명령을 반전 (Closed $\to$ Open) 시켜 레이블을 변경합니다.
  4. OpenVLA-7B 모델을 LoRA 등을 통해 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 정립: VLA 모델에 특화된 '행동 수준 백도어 (Action-Level Backdoor)'를 처음 formalize 했습니다. 이는 단일 작업 해킹을 넘어 재사용 가능한 저수준 행동을 제어하는 새로운 공격 표면입니다.
2. DropVLA 공격 구현: 극소량의 데이터 중독 (0.31% 에피소드) 으로도 0.05 초 (25 제어 스텝) 이내의 반응 시간으로 안전에 치명적인 행동을 98% 이상 성공적으로 유도함을 증명했습니다.
3. 모달리티 및 강건성 분석:
   • 시각적 트리거의 우위: 시각적 중독 (Vision-only) 만으로도 높은 공격 성공률 (ASR) 을 보이며, 텍스트만으로는 불안정하고, 텍스트 + 시각 조합은 시각 단독과 큰 차이가 없음을 발견했습니다.
   • 이전 학습 (Transferability): 학습된 백도어는 다른 작업 세트 (LIBERO-Goal) 로의 제로샷 전이에서도 시각적 트리거는 높은 성능을 유지하지만, 텍스트 기반은 실패했습니다.
   • 공간적 민감도: 트리거의 모양, 크기, 투명도 변화에는 강건하지만, 이미지의 위치 (Position) 가 학습 시와 다르면 공격 성공률이 급격히 떨어집니다.

4. 실험 결과 (Results)

• 공격 성공률 (ASR):
  • 시각 중독 (Vision-only): 0.31% 의 중독 비율에서도 98.67% ~ 99.83% 의 높은 ASR 을 기록했습니다.
  • 텍스트 중독 (Text-only): 중독 비율이 낮아질수록 (0.31%) ASR 이 31% 로 급락하고 변동성이 큽니다.
  • 복합 중독 (Text+Vision): 시각 중독과 유사한 높은 성능을 보였으나, 시각 트리거가 주된 원인임을 시사합니다.
• 은폐성 (Stealthiness, ST): 백도어가 삽입된 모델도 트리거가 없는 정상 작업에서는 98.50% ~ 99.17% 의 성공률을 유지하여, 공격이 탐지되지 않고 정상 작동하는 것처럼 위장합니다.
• 반응 시간 (RT): 트리거 발생 후 목표 행동까지 79ms (약 35 제어 스텝) 내에 실행되어 매우 정밀한 시간적 제어가 가능합니다.
• 실제 로봇 실험: 7-DoF Franka arm 과 $\pi_0$-fast 모델을 사용하여 실제 물리 세계에서도 실험했습니다. 카메라 이동에 따른 트리거 위치 드리프트로 인해 시뮬레이션 (99%+) 보다는 낮았으나, 200 회 실험 중 20% 의 성공률을 기록하여 실제 위험 가능성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전 위협의 재정의: VLA 모델의 안전 위협이 '작업 실패'뿐만 아니라 '안전한 작업 수행 중의 미세한 행동 조작'으로도 발생할 수 있음을 보여주었습니다. 이는 인간 안전이나 로봇 무결성에 직접적인 위협이 됩니다.
• 시각적 의존성: VLA 모델의 백도어 활성화가 시각적 신호에 크게 의존한다는 점은, 실제 배포 환경에서 카메라 뷰 내의 사소한 객체나 마커가 치명적인 공격 벡터가 될 수 있음을 의미합니다.
• 대응 방안 제안:
  • 안전에 치명적인 행동 (그리퍼 개방 등) 에 대한 런타임 게이팅 (Runtime Gating) 및 상태 일관성 검사 도입.
  • 학습 데이터의 위생 관리 (프로베넌스 추적, 이상 데이터 필터링).
  • 중요한 타임스텝에서의 시각적 트리거에 대한 스트레스 테스트 수행.

이 연구는 소량의 데이터 중독으로도 VLA 시스템의 안전을 우회할 수 있는 정밀한 공격이 가능함을 보여주었으며, embodied AI 의 안전한 배포를 위해 행동 수준의 보안 검증이 필수적임을 강조합니다.