기술 요약: 로봇 학습 파이프라인을 무력화하기 위한 월드 모델 타겟팅

문제 정의

월드 모델(World Models)을 로봇 학습 파이프라인에 통합하는 것은 고품질의 합성 데이터를 생성하고, 정책의 안전성을 평가하며, 효율적인 계획을 가능하게 하는 핵심 전략으로 부상했습니다. 특히 시각-언어-행동(VLA) 및 심층 강화 학습(DRL) 시스템과 같은 모델들은 제한된 실제 시연 데이터와 방대한 일반화 요구량 사이의 간극을 메우기 위해 월드 모델에 크게 의존합니다.

그러나 이러한 통합은 로봇 학습 공급망에 새롭고 은밀한 취약점을 도입합니다. 전통적인 데이터 포이즈닝(Data Poisoning) 공격은 데이터셋에 위험한 궤적을 직접 주입하거나 보상 함수에 대한 깊은 접근 권-한을 필요로 하므로 상대적으로 탐지가 용이합니다. 반면, 본 논문은 월드 모델이 위험한 합성 훈련 궤적을 생성해낼 수 있는 독특한 진입점을 제공한다고 주장합니다. 즉, 공격자는 겉보기에 안전한 원격 조종 데이터를 조작함으로써 월드 모델의 생성 과정을 하이재킹하여, 결과적으로 다운스트림 로봇 정책을 무력화하는 위험한 시연이나 전이 역학(transition dynamics)을 만들어낼 수 있습니다. 이 공격 벡터는 입력 데이터가 인간 검사자에게는 무해해 보이기 때문에 표준적인 데이터셋 수준의 안전 점검을 우회합니다.

방법론

저자들은 피해자의 월드 모델에 대해 화이트박스 접근 권한(쿼리 및 그래디언트 계산 가능)을 가지지만, 가시적으로 안전하고 고품질인 비디오 궤적만을 제공해야 하는 제약을 가진 악의적인 원격 조종 데이터 제공자를 위협 모델로 상정합니다. 공격자는 서로 떨어진 위험한 시퀀스를 주입하거나 다운스트림 프롬프트를 제어할 수 없으며, 반드시 비디오 프레임 자체에 악의적인 행동을 심어야 합니다.

본 논문은 월드 모델의 두 가지 주요 패러다임을 타겟팅하는 두 가지 별개의 공격 방법론을 소개합니다.

1. 시각적 프롬프트 하이재킹 (Visual Prompt Hijacking, VPH)

• 대상: 텍스트 조건부 월드 모델 (예: Cosmos-Predict).
• 메커니즘: 이러한 모델은 일반적으로 텍스트 프롬프트와 시각적 입력에 따라 생성을 조건화하기 위해 크로스 어텐션(cross-attention) 메커니즘이나 확산 벡터 필드(diffusion vector fields)를 사용합니다. 공격은 시각적 입력($\vec{x}$)을 조작하여, 모델의 **시맨틱 인코딩(semantic encoding)**이 원래의 안전한 프롬프트($t$)가 아닌 위험한 프롬프트($t_\delta$)와 정렬되도록 만듭니다.
• 목적: 공격자는 변경된 프레임의 시맨틱 인코딩과 안전한 프롬프트($t$) 간의 거리, 그리고 원래 프레임과 위험한 프롬프트($t_\delta$) 간의 거리를 최소화하도록 비디오 프레임을 최적화합니다:
  $$\min_{\vec{x}_\delta} \mathbb{E}_{t \in T_{safe}, t_\delta \in T_\delta} [D(S_\theta(\vec{x}_\delta, t) || S_\theta(\vec{x}, t_\delta))]$$
  이때, 시각적으로 인지 불가능하도록 LAB 색 공간에서의 $L_p$ 노름(norm) 제약 조건을 따릅니다.
• 목표: 사용자가 안전한 명령(예: "장난감을 집어라")을 내릴 때조차 월드 모델이 위험한 로봇 시연(예: 폭탄을 집어 올림)을 생성하도록 강제하는 것입니다.

2. 시각적 전이 하이재킹 (Visual Transition Hijacking, VTH)

• 대상: 행동 조건부 월드 모델 (예: Dino-WM, Cosmos-Predict AC).
• 메커니즘: 이 공격은 모델의 잠재 인코더($E_\theta$)를 타겟으로 합니다. 공격자는 초기 상태 프레임을 조작하여, 에이전트가 특정 타겟 행동($a^*$)을 선택하지 않는 한 월드 모델의 미래 상태 예측이 붕괴(collapse)(실제값으로부터 크게 벗어남)되도록 만듭니다.
• 목적: 이 공격은 타겟 행동을 보상하고 다른 행동은 처벌하도록 설계되었습니다. 에이전트가 $a^*$에서 먼 행동을 선택하면 예측이 붕괴되고, $a^*$를 선택하면 모델은 다시 양호한 상태를 예측합니다.
  $$\min_{\vec{x}_\delta} \mathbb{E}_{a', \epsilon} [\cos(E_\theta(\vec{x}), E_\theta(\vec{x}_\delta)) + (1 - \cos(E_\theta(\delta(\vec{x}_\delta), a^* + \epsilon), E_\theta(\vec{x})))]$$
• 목표: DRL 정책에 **백도어(backdoor)**를 심는 것입니다. 정책은 트리거(변조된 프레임)가 존재할 때 예측 붕괴(음의 보상 신호로 작용)를 피하기 위해 항상 타겟 행동 $a^*$를 선택하도록 학습되는 한, 그 외의 경우에는 정상적으로 동작합니다.

주요 기여

1. 새로운 취약점 식별: 본 논문은 월드 모델이 로봇 학습 공급망에 대한 결정적이고 은밀한 데이터 포이즈닝 진입점을 도입하며, 이를 통해 공격자가 실제 환경에 대한 침습적인 접근 없이도 다운스트림 정책을 변경할 수 있음을 입증합니다.
2. 새로운 공격 벡터 제시: 저자들은 로봇 학습 파이프라인을 구체적으로 타겟팅하는 최초의 공격을 제안합니다:
   • 텍스트 조건부 모델을 위한 시각적 프롬프트 하이재킹 (VPH).
   • 행동 조건부 모델을 위한 시각적 전이 하이재킹 (VTH).
3. DRL에서의 백도어 삽입: 본 연구는 월드 모델의 입력을 조작하는 것만으로 심층 강화 학습(DRL) 정책에 적대적 백도어를 심을 수 있다는 최초의 개념 증명(proof-of-concept)을 제공합니다.
4. 취약성 분석: 본 연구는 텍스트 조건부 월드 모델이 분포 외(out-of-distribution, OOD) 설정에서 작동하거나 불충분하게 명시된(모호한) 프롬프트가 제공될 때 조작에 훨씬 더 취약하다는 것을 밝혀냈습니다.

실험 결과

시각적 프롬프트 하이재킹 (VPH)

• 설정: 저자들은 Cosmos-Predict 2.5를 Libero 태스크 스위트에 미세 조정(fine-tuning)하였으며, 세 가지 안전 중심 pick-and-place 태스크(Stove, Microwave, Gift Box)에서 평가를 수행했습니다.
• 결과:
  • OOD 민감도: 카메라 위치가 분포 내(in-distribution) 설정에 비해 분포 외(out-of-distribution) 설정일 때 공격 성공률이 크게 증가했습니다. 예를 들어, 모호한 프롬프트가 포함된 "Gift Box" 태스크에서 공격 성공률은 분포 내 설정의 5%에서 OOD 설정의 20%로 급증했습니다.
  • 프롬프트 구체성: 구체적인 프롬프트(예: "파란색과 빨간색 장난감을 집어라")보다 모호한 프롬프트(예: "장난감을 집어라")가 더 취약했습니다.
  • 객체 의존성: 성공 여부는 객체마다 달랐습니다. 다이너마이트와 같은 일부 객체는 모델이 인식하기에 충분히 분포 내에 있지 않아 성공률이 0%였던 반면, 포크와 같은 객체는 효과적으로 조작하기에 너무 작았습니다.
  • 한계: 저자들은 현재의 최첨단 텍스트 조건부 월드 모델과 역 역학(inverse dynamics) 모델이 상당한 엔지니어링 노력 없이는 VLA 훈련을 위한 고품질 데이터를 생성하기에는 너무 취약하고 부정확하다고 언급했습니다. 따라서 이 결과는 주로 미래의 백도어 공격에 대한 개념 증명으로서의 의미를 갖습니다.

시각적 전이 하이재킹 (VTH)

• 설정: 저자들은 Dino-WM(Gymnasium 환경에서 학습됨)과 Cosmos-Predict 2.5 AC(실제 세계의 Droid 데이터로 학습됨)를 평가했습니다.
• 결과:
  • DRL 백도어: PPO를 사용한 "Single Wall" 태스크에서, 5%의 VTH로 오염된 상태로 훈련된 정책은 성공적으로 백도어를 학습했습니다. 트리거가 존재할 때 에이전트는 타겟 행동을 높은 빈도로 선택했으며, 트리거가 없을 때는 정상적인 성능을 유지했습니다.
  • 예측 붕괴: Cosmos-Predict 2.5 AC에서, 공격은 타겟 행동이 아닌 행동들에 대해 예측 붕괴를 유도하는 데 성공했습니다. 선택된 행동이 타겟 행동에 가까워질수록 깨끗한 생성물과 적대적 생성물 사이의 $L_2$ 거리가 감소하였으며, 이는 모델의 행동이 특정 행동에 조건화되어 있음을 확인시켜 주었습니다.
  • 확장성: 이 공격은 실제 세계 데이터로 학습된 대규모 월드 모델에 대해서도 효과적임을 입증했습니다.

의의 및 주장

본 논문은 이러한 발견이 로봇 학습 공급망 내에서 월드 모델의 위치를 재평가할 필요가 있음을 주장합니다. 저자들의 논지는 다음과 같습니다:

• 은밀함: 이러한 공격은 입력 데이터(원격 조종 비디오)가 인간 검사자에게 안전해 보이고, 악의적인 행동이 월드 모델을 통과한 후에만 활성화되기 때문에 탐지가 매우 어렵습니다.
• 체계적 위험: 월드 모델의 통합은 악의적인 데이터 제공자가 전체 다운스트림 학습 과정을 오염시킬 수 있는 "단일 장애점(single point of failure)"을 생성합니다.
• 연구의 시급성: 결과는 월드 모델의 견고성(robustness)과 외부 공격자에 대한 방어 연구의 시급성을 강조합니다. 본 논문은 현재의 방어 체계가 불충분하며, 학계가 적대적 상황과 일반적인 상황 모두에서 월드 모델의 취약성을 다루어야 한다고 명시적으로 밝히고 있습니다.

저자들은 현재의 생성 모델들이 가진 한계로 인해, 완전하게 사실적이고 복잡한 파이프라인에 이러한 공격을 즉각적으로 배치하는 것에 대해서는 겸허한 입장을 취하며, VPH 결과가 현재로서는 개념 증명 단계임을 인정했습니다. 그러나 VTH를 통해 DRL 정책에 백도어를 심는 데 성공한 것은 자율 로봇 시스템의 보안에 대한 구체적이고 심각한 위협을 입증한 것입니다.