기술 요약: FlowHijack

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 범용 로봇 공학의 기반이 되고 있으며, 유동 매칭 (flow-matching) 정책(예: $\pi_0$) 이 자동 회귀식 토큰 기반 모델에 비해 우월한 대안으로 부상하고 있습니다. 이산적 토큰 모델과 달리, 유동 매칭 VLA 는 상미분 방정식 (ODE) 을 통해 시간 의존성 벡터장 역학을 모델링함으로써 매끄럽고 연속적인 행동 궤적을 생성합니다.

비록 이러한 모델이 큰 잠재력을 지니고 있지만, 백도어 공격이라는 중요하면서도 아직 탐구되지 않은 보안 취약점에 직면해 있습니다. 토큰 기반 VLA(예: BadVLA) 를 대상으로 설계된 기존 백도어 프레임워크는 다음과 같은 세 가지 주요 이유로 유동 매칭 모델에는 효과가 없습니다:

1. 메커니즘 불일치: 토큰 기반 공격은 라벨 뒤집기나 토큰 대체에 의존하는데, 이는 ODE 적분으로 구동되는 연속적인 벡터장 역학에 직접 적용할 수 없습니다.
2. 트리거 탐지 가능성: 이전의 트리거 (예: 픽셀 패치) 는 물리적 환경에서 시각적으로 두드러져 쉽게 탐지될 수 있으며, 이로 인해 현실적인 위협 잠재력이 감소합니다.
3. 행동 이상: 기존 공격들은 종종 유동 매칭 모델에서 물리적으로 불가능한 행동을 생성하여 탐지 가능한 운동학적 이상 (예: 비자연스러운 속도) 을 초래하며, 이는 은밀성을 달성하지 못합니다.

이 논문은 유동 매칭 행동 생성의 연속적 특성이, 역학 인식적 접근이 필요한 고유한 공격 표면을 창출한다고 주장합니다.

방법론: FlowHijack

저자들은 유동 매칭 VLA 의 벡터장 역학을 표적으로 하는 최초의 백도어 공격 프레임워크인 FlowHijack을 소개합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 문맥 인식 트리거

은밀성을 보장하기 위해 FlowHijack 은 눈에 띄는 시각적 인공물을 배제합니다. 대신, 환경에 의미적으로 내재화되고 물리적으로 타당한 문맥 인식 트리거를 사용합니다:

• 객체 상태 트리거: 트리거는 객체의 상태 (예: 뒤집힌 컵, 열린 서랍) 와 연관됩니다.
• 장면 의미 트리거: 트리거는 배경 구성이나 속성 (예: 특정 셔츠를 입은 사람, 배경의 특정 객체) 을 포함합니다.
  이러한 트리거들은 인간 관찰자에게는 일반적인 환경 변화와 구별할 수 없도록 설계되었습니다.

2. 역학 하이재킹 전략

핵심 공격 메커니즘은 행동 생성 과정에서 학습된 벡터장 $v_\theta$를 조작합니다.

• $\tau$ 조건부 주입: 유동 매칭 모델은 거친 궤적 방향을 학습하기 위해 유동 매칭 시간 변수 $\tau$의 작은 값 (순수한 잡음에 가까운) 을 과다 샘플링하는 경향이 있습니다. FlowHijack 은 생성 초기 단계 ($\tau \in [0, \tau_0]$) 에만 악성 벡터장을 주입함으로써 이를 악용합니다.
• 증폭: ODE 적분 경로의 시작점에서 벡터장을 손상시킴으로써, 초기 방향 오류는 솔버에 의해 전체 궤적에 걸쳐 자연스럽게 증폭되어 최종 행동 단계에서 상당한 편차를 초래하지만, 벡터장의 후기 단계는 거의 교란되지 않습니다.
• 악성 행동 설계: 공격은 두 가지 전략을 사용하여 목표 악성 행동 $A^*$를 정의합니다:
  • 포즈 잠금 (Pose-Locking, PL): 로봇을 고정된 (잠재적으로 위험한) 상태 (예: 제로 포즈) 로 강제합니다.
  • 초기 교란 (Initial-Perturbation, IP): 건전한 행동에 작은 일정한 오프셋을 도입하여 일관된 작업 실패 (예: 잡기 실패) 를 유발하면서도 운동의 타당성을 유지합니다.

3. 역학 모방 정규화자

행동 탐지 가능성 문제를 해결하기 위해 저자들은 역학 모방 정규화자($\mathcal{L}_{mimic}$) 를 도입합니다.

• 이 손실 항은 악성 행동과 건전한 행동 간의 운동학적 유사성을 강제합니다.
• 악성 벡터장의 크기 (L2-노름) 를 건전한 벡터장의 크기와 일치하도록 제한합니다.
• 이로 인해 생성된 로봇 운동은 정상 행동과 유사한 속도 프로파일을 유지하여, 공격 행위가 행동적, 통계적으로 건전한 행동과 구별 불가능하게 됩니다.

훈련 목적 함수

총 훈련 손실은 가중 합입니다:
$$\mathcal{L}_{total} = (1 - \alpha - \beta)\mathcal{L}_{FM} + \alpha \mathcal{L}_{BD} + \beta \mathcal{L}_{mimic}$$
여기서 $\mathcal{L}_{FM}$은 건전한 성능을 유지하고, $\mathcal{L}_{BD}$는 $\tau$ 조건부 주입을 통해 백도어를 주입하며, $\mathcal{L}_{mimic}$은 은밀성을 보장합니다.

주요 기여

1. 최초의 체계적 연구: 이 논문은 토큰 수준 조작과 구별되는 새로운 공격 표면인 벡터장 역학을 표적으로 하는 유동 매칭 VLA 모델을 대상으로 한 백도어 위협에 대한 최초의 체계적 조사를 제시합니다.
2. 은밀한 트리거 설계: 시각적 관찰에 매끄럽게 통합되어 물리적으로 타당하고 탐지하기 어려운 문맥 인식 트리거 (객체 상태 및 장면 의미) 계열을 제안합니다.
3. 역학 인식 공격 메커니즘: 초기 생성 단계를 표적으로 하는 $\tau$ 조건부 주입과 운동학적 은밀성을 보장하는 역학 모방 정규화자를 결합한 새로운 공격 전략을 도입합니다.
4. 실증적 검증: 시뮬레이션 (LIBERO 벤치마크) 및 실제 세계 (Franka 로봇) 환경에서의 광범위한 실험을 통해, 건전한 작업 성능을 유지하면서 기존 방어를 우회하는 높은 공격 성공률을 입증했습니다.

실험 결과

저자들은 LIBERO 벤치마크 (네 가지 스위트: LIBERO-10, Goal, Object, Spatial) 와 Franka Emika Panda 로봇을 사용한 실제 세계 작업에서 FlowHijack 을 평가했습니다.

• 공격 성공률 (ASR): FlowHijack 은 높은 ASR 을 달성하여 여러 작업 (예: 두 가지 트리거 유형 모두를 사용한 LIBERO-Goal) 에서 **100%**에 달했습니다. 반면, 적응된 베이스라인 (BadVLA) 은 문맥 인식 트리거에서 치명적으로 실패하여 ASR 이 **11.2%**까지 떨어졌습니다.
• 건전한 성능 (SR): 공격은 건전한 작업 성능을 유지하며 미미한 저하만 보였습니다. 트리거가 없는 경우의 성공률 (SR) 은 베이스라인과 거의 동일하게 유지되었으며 (예: 저하가 일반적으로 3.5% 미만이며, 경우에 따라 약간 개선됨).
• 은밀성:
  • 운동학적 은밀성: 모방 정규화자 없이 공격을 수행할 경우 고주파수 속도 진동과 비정상적인 속도 (>20 m/s) 가 발생했습니다. 정규화자를 사용할 경우, 속도 프로파일은 매끄럽고 건전한 행동과 통계적으로 구별할 수 없었습니다.
  • 강건성: 공격은 트리거 크기 (50%-200%), 위치, 특정 객체 상태의 변화 전반에 걸쳐 효과적이었으며, 이는 특정 픽셀 인공물에 과적합된 것이 아니라 의미적 표현을 학습했음을 보여줍니다.
• 방어 회피:
  • 목표 위치 필터링: "초기 교란" 전략은 최종 엔드 이펙터 거리를 기반으로 궤적을 필터링하는 방어를 대부분 우회하여, 엄격한 임계값에서도 **82.2%**의 ASR 을 유지했습니다.
  • 파인튜닝: 백도어는 하류 클린 파인튜닝에 강건하여 10,000 단계의 파인튜닝 후에도 **67.7%**의 ASR 을 유지했습니다.

중요성과 주장

이 논문은 FlowHijack 이 연속적 임베디드 모델에서 중요하고 이전에 간과되었던 취약점을 드러냈다고 주장합니다. 저자들은 다음과 같은 점을 강조합니다:

• 핵심 행동 생성 메커니즘 (벡터장 역학) 은 토큰 기반 모델을 대상으로 설계된 방어로는 보호할 수 없는 고유한 공격 표면을 구성합니다.
• 초기 단계 주입과 운동학적 모방의 결합은 매우 효과적이면서도 정상 운영과 행동적으로 구별할 수 없는 공격을 가능하게 합니다.
• 향후 VLA 아키텍처에는 보안 인식적 설계가 시급히 필요하며, 특히 입력/출력 필터링이 아닌 모델의 내부 생성 역학을 검사하는 방어가 필요합니다.

저자들은 그들의 작업이 방어적 성격을 띠며, 로봇 공학 및 AI 안전 커뮤니티가 이 새로운 공격 표면을 인식하고 견고한 대응책 개발을 촉진할 수 있도록 경각심을 일깨우는 데 목적이 있다고 명시합니다.