기술 요약: 시각-언어-행동(VLA) 모델에 대한 궤적 수준의 리다이렉션 공격

문제 정의

시각-언어-행동(VLA) 모델은 자연어 지시로부터 로봇이 조작 작업을 직접 수행할 수 있도록 텍스트와 카메라 관측치를 행동으로 매핑합니다. 중요한 안전 문제는 언어 지시가 폐쇄 루프 제어 시스템에서 **지속적인 조건화 신호(persistent conditioning signal)**로 작용하여, 모든 재계획(replanning) 단계에서 재사용된다는 점입니다. 기존의 VLA에 대한 적대적 연구는 특정 저수준 행동을 유도하거나 변화하는 이미지 전반에 걸쳐 그러한 행동을 지속시키는 데 집중해 왔으나, 이러한 접근 방식은 반드시 로봇의 최종 물리적 결과를 제어하는 것은 아닙니다.

본 논문은 더 강력한 실패 모드인 **명령 보존형 궤적 리다이렉션(Command-Preserving Trajectory Redirection)**을 식별합니다. 이 문제는 다음과 같은 조건을 만족하는 단 하나의 텍스트 프롬프트를 찾는 것으로 정의됩니다: 단일 에피소드 시작 시점에 한 번 발행되는 프롬프트로서,

1. 명령 보존: 본래의 지시(예: "그릇을 가스레인지 위에 놓으세요")와 텍스트적으로 유사하며, 읽을 수 있고, 명시적인 목표 작업이나 수정 언어를 포함하지 않아야 합니다.
2. 궤적 리다이렉션: 겉으로는 무해해 보이지만, 해당 프롬프트가 고정된(frozen) VLA 정책으로 하여금 서로 다른 적대적으로 지정된 물리적 결과(예: 그릇을 가스레인지 대신 접시 위에 놓음)를 초래하는 일련의 행동을 실행하게 만들어야 합니다.

핵심 과제는 정책에 대한 관련 관측치가 고정되어 있지 않다는 것입니다. 즉, 후보 프롬프트에 의해 취해진 행동들에 의해 관측치가 유도됩니다. 따라서 정적인 사전 수집 관측치 세트를 기반으로 프롬프를 최적화하는 것은, 프롬프트에 따른 행동 변화로 인해 상태 분포가 이동하기 때문에 실패하게 됩니다.

방법론

저자들은 이러한 리다이렉션 프롬프트를 발견하기 위해 온-폴리시 교사 매칭 프롬프트 탐색(On-Policy Teacher-Matching Prompt Search) 알고리즘을 제안합니다. 이 방법은 공격을 정적인 입력 섭동이 아닌 궤적 수준의 최적화 문제로 취급합니다.

1. 위협 모델 및 제약 조건

적대자는 에피소드가 시작되기 전 텍스트 지시 $\tau$만을 제어합니다. 프롬프트는 다음을 포함하는 명령 보존 제약 조건 집합 $T_{cp}(\tau_b, \Gamma_e)$를 만족해야 합니다:

• 작은 텍스트 변화: 본래의 프롬프트 $\tau_b$로부터 제한된 문자 편집 거리($C_{text} \le \epsilon$)를 가져야 합니다.
• 유효성: 프롬프트는 읽을 수 있는 자연어 지시여야 합니다.
• 누출 없음: 프롬프트는 공격자의 목표 어휘 집합 $\Gamma_e$(예: "가스레인지" 작업에서의 "접시")에 포함된 단어나 구절 또는 덮어쓰기/수정 언어를 포함해서는 안 됩니다.
• 보존: 프롬프트는 정규화 및 철자 교정 후에도 본래의 명령으로 해석 가능해야 합니다.

2. 온-폴리시 탐색 알고리즘

탐색은 다음 루프를 통해 후보 프롬프트를 반복적으로 정교화합니다:

• 교사 레이블(Teacher Labels): 고정된 VLA에 본래의 프롬프트($\tau_b$)와 직접적인 목표 프롬프트($\tau_t$, 구축용으로만 사용)를 쿼리하여 관측된 상태에 대한 "교사" 행동 청크($A_b$ 및 $A_t$)를 생성합니다.
• 후보 생성: 문자 수준의 변이(치환, 삽입, 교체, 오타) 및 고득점 후보의 토큰 수준 섭동을 통해 새로운 프롬프트를 생성합니다.
• 제약 필터링: 후보들이 명령 보존 제약 조건을 충족하는지 확인하기 위해 필터링합니다.
• 스코어링: 후보들은 **목표 대비 본래 마진 손실(target-vs-benign margin loss)**을 기준으로 점수가 매겨집니다. 알고리즘은 동일한 관측치에서 행동이 목표 교사($A_t$)에 더 가깝고 텍스트 비용을 최소화하는 프롬프트를 찾습니다.
• 온-폴리시 집계: 결정적으로, 탐색은 단순히 초기 본래 궤적뿐만 아니라 **현재 후보 프롬프트에 의해 유도된 상태들(rollouts)**로부터 데이터를 집계합니다. 이는 모방 학습의 DAgger 알고리즘을 모사한 것으로, 섭동으로 인한 순차적 분포 변화를 고려하도록 보장합니다.
• 롤아웃 선택: 상위 후보들은 폐쇄 루프 롤아웃에서 평가됩니다. 가장 좋은 프롬프트는 목표 도달, 벤치마크 실패, 텍스트 섭동 최소화를 보상하는 점수에 따라 선택됩니다.
• 최소화: 성공적인 프롬프트가 발견되면, 그리디(greedy) 최소화 프로세스를 통해 불필요한 편집을 제거하여 가장 짧고 효과적인 섭동을 찾습니다.

주요 기여

1. 명령 보존형 궤적 리다이렉션의 공식화: 본 논문은 단 하나의 근사-무해한 프롬프트가 명시적인 목표 지시 없이도 고정된 VLA를 적대적으로 지정된 물리적 목표로 리다이렉션하는 위협 모델을 수학적으로 정의합니다.
2. 온-폴리시 프롬프트 탐색: 상태 분포 변화를 고려하지 못하는 고정 관측치 공격의 한계를 해결하기 위해, 폐쇄 루프 롤아웃을 사용하여 섭동을 발견하는 탐색 방법을 도입합니다.
3. 포괄적 평가: 제안된 방법은 시뮬레이션(LIBERO)과 실제 하드웨어(SO-100 암) 모두에서 이산 토큰, 플로우 매칭(flow-matching), 확산(diffusion), 행동-텍스트(action-as-text) 설계를 포함한 9가지 다양한 VLA 아키텍처(OpenVLA, $\pi0.5$, Octo, SmolVLA, GR00T-N1 등)에 대해 평가되었습니다.
4. 방어 분석: 전처리 방어(공백 정규화, 철자 교정, 정형화)에 대한 평가를 통해 표면적인 정제가 불충분하며, 명령 수준의 정규화가 필요함을 입증했습니다.

결과

• 높은 성공률: 공격은 평가된 9개 VLA 아키텍처 중 7개에서 90% 이상의 성공률(ASR)을 달랐습니다. 예를 들어, $\pi0.5$는 97.5%, MolmoAct는 93.4%의 ASR을 기록했습니다.
• 최소한의 섭동: 성공적인 공격에는 매우 작은 텍스트 변화가 필요했으며, 중앙값 문자 편집 거리는 단 3.4자였습니다(예: "stove"를 "staove"로 변경).
• 하드웨어 검증: 취약성은 실제 하드웨어에서도 지속됩니다. SO-100 암을 이용한 실험 결과, 근사-무해한 섭동이 원래의 작업 성공률을 급격히 떨어뜨리는(예: 약 90%에서 0% 근처로) 동시에 로봇을 공격자의 목표로 성공적으로 리다이렉션함을 보여주었습니다.
• 인과 분석: 인과 추적 결과, 공격 효과는 **목적지 표현(destination representation)**에 집중되어 있었습니다. 목적지 단어(예: "stove")를 섭동시키면 행동 헤드를 대체 행동으로 유도하는 은닉 상태를 생성하는 반면, 다른 단어(예: "put")를 섭동시키는 것은 거의 영향을 미치지 않았습니다.
• 방어 효과: 공백 정규화나 구두점 제거와 같은 경량 방어는 공격을 막는 데 실패했습니다. 철자 교정은 성공률을 낮추었으나 견고하지 못했습니다. 오직 최근접 작업 정형화(nearest-task canonicalization)(프롬프트를 검증된 명령 세트로 매핑)만이 공격 성공률을 유의미하게 낮추었으나, 이는 개방형 어휘 지시의 사용성을 저해할 위험이 있습니다.

의의 및 주장

본 논문은 VLA의 지시어 그라운딩(instruction grounding)에 존재하는 근본적인 궤적 수준의 취약성을 폭로한다고 주장합니다. 저자들은 의도된 명령을 보존하는 것처럼 보이는 텍스트가 여전히 적대자에게 로봇의 최종 물리적 결과에 대한 제어권을 부여할 수 있다고 논합니다.

그 의의는 다음과 같습니다:

• 지속성만으로는 부족하다: 단순히 이미지를 가로질러 행동을 지속시키는 것만으로는 최종 결과를 제어하기에 불충und히하며, 전체 폐쇄 루프 궤적을 리다이렉션해야 합니다.
• 정적 평가는 결함이 있다: 프롬프트가 미래의 상태 분포를 제어하기 때문에, 고정된 관측치에서 프롬프트를 평가하는 것은 부적절합니다.
• 강건성은 구조적 변화를 요구한다: 표면적인 텍스트 정리는 불충분합니다. 견고한 배포를 위해서는 언어 그라운딩을 폐쇄 루프 제어 시스템의 일부로 취급해야 하며, 행동 생성 전 노이즈가 있는 입력을 검증된 작업 세트로 매핑하는 명령 정규화 계층이 필요할 수 있습니다.

저자들은 평가가 특정 환경(LIBERO 및 SO-100)의 조작 작업에 집중되어 있고, 탐색이 쿼리 접근 권한을 가정하고 있어 완전히 잠긴 배포 환경에서의 공격 능력을 과대평가할 수 있음을 언급하며 범위에 대해 겸허한 태도를 유지했습니다. 향-후 연구로는 인증된 프롬프트 보존 방어법 개발이 제안되었습니다.