🤖 AI

Test-time Adversarial Takeover: A Real-time Hijacking Interface against Robotic Diffusion Policies

이 논문은 고정된 로봇 디퓨전 정책을 하이재킹하기 위해 학습된 범용 시각 패치 어휘를 카메라 스트림에 주입하는 새로운 공격 방식인 테스트 시간 적대적 탈취(Test-time Adversarial Takeover, TAKO)를 소개하며, 이를 통해 인간 운영자가 다양한 작업과 아키텍처 전반에서 임의의 목표를 향해 로봇을 원격 제어하는 데 100%의 성공률을 달성할 수 있음을 보여준다.

원저자: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 로봇의 "두뇌"를 하이재킹하다

당신에게 아주 숙련된 로봇 요리사가 있다고 상상해 보세요. 이 로봇은 완벽한 스테이크를 굽도록 훈련되었습니다. 고기를 관찰하고, 온도를 확인하며, 정밀하게 팔을 움직입니다. 당신은 이 로봇이 일을 잘 해낼 것이라고 믿습니다.

이제, 해커가 로봇의 다리를 부수거나 화면을 박살 내려고 시도하지 않는다고 가정해 봅시다. 대신, 해커는 로봇의 카메라 앞에 서서 작고 특정한 스티커 하나를 들어 올립니다.

로봇이 그 스티커를 보는 순간, 로봇의 두뇌는 혼란에 빠집니다. 작동을 멈추는 것은 아닙니다. 로봇은 계속 요리를 합니다. 하지만 스테이크를 굽는 대신, 갑자기 채소를 다지고, 냄비를 젓고, 팬케이크를 뒤집는 등 해커가 선택한 일련의 동작을 수행하기 시작합니다.

해커는 로봇을 고장 낸 것이 아니라, **하이재킹(탈취)**한 것입니다. 로봇이 무시할 수 없는 아주 작은 시각적 트릭을 사용하여, 자율 주행 셰프를 원격 제어되는 꼭두각시로 만들어 버린 것입니다.

이 논문은 이 공격을 TAKO(Test-time Adversarial Takeover, 테스트 타임 적대적 탈취)라고 부릅니다.

문제점: 왜 기존의 공격들은 "약했는가"

이 논문이 나오기 전, 해커들은 주로 로봇을 **방해(disrupt)**하려고 노력했습니다.

기존 방식: 해커가 바닥에 이상한 패턴을 배치하여 로봇이 걸려 넘어지게 만들거나, 빛을 번쩍여 로봇이 아예 작동하지 못하게 만드는 식입니다.
목표: 실패를 유도하는 것. "로봇을 충돌하게 만들기."
한계: 이것은 자동차를 멈추기 위해 돌을 던지는 것과 같습니다. 차를 멈출 수는 있지만, 당신이 원하는 곳으로 운전할 수는 없습니다. 그저 멈추게 할 뿐입니다.

저자들은 말합니다: "만약 우리가 자동차를 운전하고 싶다면 어떨까요? 만약 우리가 로봇을 한 번도 가본 적 없는 특정 장소로 조종하고 싶다면 어떨까요?"

해결책: "액션 보카블러리 (Action Vocabulary)"

저자들은 디퓨전 기반 로봇(AI가 다음 동작을 '꿈꾸듯' 생성하는 방식의 로봇)에 특정한 약점이 있다는 것을 발견했습니다. 이 로봇들은 카메라를 통해 보는 것에 크게 의존합니다.

해커들은 로봇을 멈추게 하려는 대신, **스티커로 이루어진 보카블러리(어휘 집합)**를 만들었습니다.

이를 네 개의 버튼(위, 아래, 왼쪽, 오른쪽)이 있는 리모컨이라고 생각해 보세요.

스티커: 해커들은 네 가지의 특정한 재사용 가능한 이미지(패치)를 설계했습니다.
- 스티커 A는 로봇에게 "앞으로 이동"하라고 명령합니다.
- 스티커 B는 로봇에게 "왼쪽으로 이동"하라고 명령합니다.
- 스티커 C는 로봇에게 "오른쪽으로 이동"하라고 명령합니다.
- 스티커 D는 로봇에게 "뒤로 이동"하라고 명령합니다.
마법 같은 효과: 이 스티커들은 로봇이 처한 어떤 상황에서도 작동합니다. 로봇이 주방에 있든 복도에 있든 상관없습니다. 스티커 A를 보여주면 로봇은 앞으로 이동하려고 시도할 것입니다.
탈취(Takeover): 인간 운영자가 키보드를 잡고 있습니다. 운영자가 "왼쪽"을 누르면 로봇이 왼쪽으로 움직입니다. "앞으로"를 누르면 로봇은 앞으로 갑니다. 스티커를 빠르게 교체함으로써, 인간은 로봇이 한 번도 가본 적 없는 경로라도 원하는 대로 그려낼 수 있습니다.

작동 원리 (The "Secret Sauce")

논문은 이 방식이 왜 작동하는지 설명합니다. 이는 로봇이 "생각하는" 방식 때문입니다.

로봇의 과정: 로봇은 카메라를 보고, 그다음 단계로 무엇을 할지 결정하기 위해 복잡한 수학적 과정(디퓨전)을 실행합니다. 마치 양파의 껍질을 한 겹씩 벗겨내는 것처럼 단계별로 진행됩니다.
해킹: 해커는 로봇이 양파 껍질을 벗기기 전에 카메라 피드에 스티커를 주입합니다.
결과: 스티커가 맨 처음에 존재하기 때문에, 스티커는 로봇의 전체 사고 과정을 편향(bias)시킵니다. 로봇은 "오, 저 스티커가 보이니 나는 앞으로 가야 해"라고 생각하게 됩니다. 로봇의 내부 논리가 이 생각을 강화하여, 비록 인간에 의해 제어되고 있음에도 불구하고 움직임을 부드럽고 자연스럽게 만듭니다.

왜 "기존 방식"은 실패했나

논문은 로봇을 해킹하는 "자연스러운" 방법인 **타겟 정책 매칭(Target Policy Matching)**을 테스트했습니다.

아이디어: "만약 내가 로봇을 주방으로 보내고 싶다면, 로봇이 주방에 가기 위해 정확히 무엇을 해야 하는지 계산한 다음, 로봇이 그 행동을 하도록 속이는 것이다."
실패 원인: 이 방식은 완전히 실패했습니다. 로봇은 특정 지점으로 가도록 훈련되었습니다. 만약 당신이 로봇이 본 적 없는 새로운 장소(예: 가본 적 없는 주방)로 가라고 요청하면, 로봇은 혼란에 빠져 실패합니다. 일반화 능력이 부족하기 때문입니다.
TAKO의 성공: TAKO 방식은 로봇을 특정 목적지로 속이려 하지 않았습니다. 단지 로봇에게 간단한 명령("왼쪽으로 가")을 내렸을 뿐입니다. 인간 운영자가 실시간으로 명령을 바꾸며 장애물을 피해 항해하는 '생각'을 담당했고, 로봇은 그저 단순한 명령을 따랐을 뿐입니다.

실험: 효과가 있었는가?

저자들은 컴퓨터 시뮬레이션과 실제 환경 모두에서 네 가지 유형의 로봇을 대상으로 테스트했습니다.

PushT: T자형 블록을 미는 로봇 팔.
DeliverDrone: 패키지를 배달하는 시뮬레이션 드론.
SimNav: 집 안을 걸어 다니는 시뮬레이션 로봇.
RealNav: 복도를 따라 달리는 실제 물리적 로봇 (iRobot Create 3).

결과:

기존 공격: 로봇을 새로운 장소로 조종하는 데 성공률 0%.
TAKO 공격: 성공률 100%. 인간 운영자는 로봇의 경로를 통해 "S", "P", "I", "N" 같은 모양을 그려내며 로봇을 원하는 목표물로 자유롭게 조종할 수 있었습니다.

결론

이 논문은 새로운 보안 위험을 드러냅니다. 로봇의 코드를 망가뜨리지 않고도 로봇을 제어할 수 있다는 것을 보여줍니다. 우리는 단지 적절한 그림을 보여주기만 하면 됩니다.

이전에는: 해커들이 로봇을 고장 낼 수 있었습니다.
이제는: 해커가 운전대를 잡고 로봇을 원하는 곳 어디든 몰고 갈 수 있으며, 자율 주행 기계를 원격 제어 장난감으로 만들어 버릴 수 있습니다.

저자들은 이것이 이러한 AI 로봇들이 세상을 "보는" 방식에 존재하는 근본적인 결함이며, 문제가 "로봇이 고장 날 것인가?"에서 "누군가 로봇을 훔쳐 갈 수 있는가?"로 바뀌었음을 경고합니다.

기술 요약: 테스트 타임 적대적 탈취 (TAKO)

문제 정의

확산 기반 행동 생성(Diffusion-based action generation)은 시각적 컨디셔닝(예: ResNet 또는 ViT를 통한)에 의존하는 시각-운동 정책(visuomotor policies)을 중심으로 임보디드 AI(embodied AI)의 핵심 구성 요소가 되었습니다. 로봇 정책에 대한 기존의 적대적 연구는 주로 정책을 교란하여 작업 실패나 불규칙한 동작을 유발하는 **방해(disruption)**에 초점을 맞추어 왔으나, 본 논문은 이보다 더 심각한 위협 모델인 **테스트 타임 적대적 탈취(Test-time Adversarial Takeover, TAKO)**를 식별합니다.

TAKO 시나리오에서 공격자는 단순히 정책을 방해하는 것에 그치지 않고, 고정된 로봇 정책을 원격 조종 가능한 도구로 변모시키기 위해 실시간 스티어링 인터페이스를 확보하여 정책을 하이재킹합니다. 공격자는 카메라 스트림에 주입된 재사용 가능한 소수의 범용 적대적 패치(universal adversarial patches)들을 교체함으로써, 공격자가 정의한 임의의 궤적을 구성하는 것을 목표로 합니다. 이는 보안의 관점을 우발적인 실패에서 승인되지 않은 지속적인 제어로 전환시킵니다.

본 논문은 이 위협에 대한 자연스러운 베이스라인인 **타겟 정책 매칭(Target-Policy Matching, TPM)**이 근본적으로 결함이 있다고 주장합니다. TPM은 특정 타겟 트래젝토리에 맞게 섭동(perturbation)을 최적화하려고 시나리오를 설계하지만, 다음과 같은 이유로 실패합니다:

분포 외(Out-of-Distribution, OOD) 병리 현상: 특정 목표에 대해 학습된 피해자 정책은 목표가 OOD 설정으로 이동했을 때 원하는 동작을 안정적으로 생성할 수 없습니다.
누적 드리프트(Accumulative Drift): 재퇴각 지평선(receding-horizon) 배포 환경에서, 훈련 시점에 최적화된 정적 참조 정책은 장기 실행 중 발생하는 드리프트를 수정할 수 없으므로 타겟으로부터 이탈하게 됩니다.

방법론

제안된 TAKO 프레임워크는 **오프라인 최적화(Offline Optimization)**와 **온라인 구성적 배포(Online Compositional Deployment)**의 두 단계로 작동합니다.

1. 오프라인 최적화: 범용 패치 어휘집 (Universal Patch Vocabulary)

공격자는 특정 타겟 궤적을 매칭하는 대신, "범용 적대적 패치 어휘집"을 학습합니다. 각 패치는 방향성 행동 프리미티브(예: "앞으로 이동", "왼쪽으로 이동")에 대응합니다.

목표: 패치들은 특정 타겟 상태를 매칭하는 것이 아니라, 정책의 행동 출력에 일관된 방향성 편향(directional bias)을 유도하도록 최적화됩니다.
손실 함수: 특정 축(예: $x$ 또는 $y$ )을 따라 행동 시퀀스의 평균 이동을 최대화하도록 방향성 손실이 정의됩니다.
$\mathcal{L}_c(\delta_c) = -\sigma_c \cdot \mathbb{E}_{o \sim \mathcal{D}} \left[ \frac{1}{H_a} \sum_{t'=1}^{H_a} \hat{a}_{t', d_c}(o, \delta_c) \right]$
여기서 $\sigma_c$ 는 원하는 방향의 부호이며, $d_c$ 는 행동 축이고, $\hat{a}$ 는 패치된 관측치에 의해 생성된 행동 시퀀스입니다.
미분 가능한 추론(Differentiable Inference): 그래디언트는 고정된 확산 추론 체인(비전 인코더 및 디노이저 포함)을 통해 패치 파라미터로 역전파됩니다. 이는 섭동이 시각적 컨디셔닝 경로에 작용하여 반복적인 디노이징 과정을 편향시키기 때문에, 다양한 추론 모델군(DDPM, DDIM, Flow Matching) 전반에서 작동합니다.

2. 온라인 구성적 배포

테스트 타임에 공격자는 최적화된 어휘집 $\{\delta^*_c\}$ 를 보유합니다.

제어 인터페이스: 인간 운영자(또는 자동화된 에이전트)는 현재 상태에 따라 재계획(replanning) 단계마다 어휘집에서 명령 $u_t$ 를 선택하거나 "패치 없음" 상태를 선택합니다.
폐루프 교정(Closed-Loop Correction): 개루프(open-loop) 공격과 달리, 운영자는 드리프트를 교정하기 위해 실시간으로 패치를 교체할 수 있습니다. 피해자 정책은 패치된 이미지를 깨끗한 입력으로 취급하여, 운영자가 선택한 궤적을 따르는 매끄러운 행동 시퀀스를 생성합니다.
메커니즘: 이 공격은 시각적 컨디셔닝을 통해 도입된 적대적 편향이 반복적인 생성 추론 과정 동안 지속되어, 정책을 훈련된 동작에서 공격자가 원하는 방향으로 조종한다는 점을 이용합니다.

주요 기여

새로운 적대적 패러다임: 본 논문은 정책 실패를 유발하는 것에서 정책 동작에 대한 지속적이고 운영자 제어 가능한 권한을 획득하는 것으로 목표를 전환하는 TAKO를 도입합니다.
스티어링 인터페이스: 확산 기반 시각-운동 정책이 단순한 스티어링 인터페이스를 허용함을 입증합니다. 즉, 온라인에서 교체하여 임의의 궤적을 구성할 수 있는 사전 최적화된 적대적 패치 어휘집이 존재합니다.
일반화 가능성: TAKO 탈취 패러다임이 특정 작업이나 아키텍처에 국한되지 않음을 검증했습니다. 이는 다음 항목들에서 작동합니다:
- 작업(Tasks): 2D 조작(PushT), 시뮬레이션 항공 배송(DeliverDrone), 시뮬레이션 지상 항법(SimNav), 물리 세계 지상 항법(RealNav).
- 인코더(Encoders): ResNet-18 및 EfficientNet-B0 + Transformer.
- 추론 모델군(Inference Families): DDPM, DDIM, Flow Matching.

실험 결과

저자들은 네 가지 작업에 대해 TAKO를 TPM 베이스라인 및 원래의 클린 정책과 비교 평가했습니다.

베이스라인 실패: TPM 베이스라인은 모든 작업에서 0% 성공률(40회 시도 중 0회 성공)을 기록했습니다. 피해자 정책은 이동된 타겟 설정에 일반화하지 못했으며, 정적 참조 궤적은 드리프트가 누적되었습니다.
TAKO 성공: TAKO 인터페이스를 사용하는 인간 운영자는 훈련 분포에 없던 타겟으로 로봇을 조종하는 데 100% 성공(40회 시도 중 40회 성공)을 달했습니다.
방향성 편향: 최적화된 패치들은 작업 및 추론 방식에 따라 약 65%에서 100% 사이의 성공률을 보이며 일관된 방향성 편향을 유도하였고, 이는 패치가 재사용 가능한 행동 어휘집으로서 기능함을 확인시켜 줍니다.
물리적 실현 가능성: 이 공격은 물리적 iRobot Create 3 플랫폼(RealNav)에서 성공적으로 시연되었으며, 이는 취약성이 시뮬레이션을 넘어 확장됨을 증명합니다.

의의 및 주장

본 논문은 TAKO가 안전 문제(우발적 실패 방지)에서 보안 문제(승인되지 않은 탈취 방지)로의 결정적인 전환을 나타낸다고 주장합니다.

구조적 취약성: 적대적 편향이 시각적 컨디셔닝을 통해 도입되면, 특정 디노이징 알고리즘과 무관하게 생성적 추론 과정 동안 충분히 지속되어 지속적인 조종을 지원할 수 있다는 점을 시사합니다. 이러한 취약성은 시각적 컨디셔닝에 의존하는 확산 정책 아키텍처의 본질적인 특성입니다.
한계점: 저자들은 오프라인 최적화를 위한 화이트박스 접근과 디지털 방식의 패치 주입을 가정하고 있음을 명시합니다. 물리적 패치나 블랙박스 최적화를 통한 탈취 구현은 향후 연구 과제로 남겨두었습니다.
시사점: 이 연구는 생성형 로봇 정책에 대한 강력한 평가 방법(예: 입력 공간 이상 탐지 또는 시각 인코더에 대한 인증된 강건성)과 보안 메커니즘의 필요성을 촉구합니다. 저자들은 이러한 공격에 필요한 구성 요소(범용 적대적 패치, 미분 가능한 확산 추론)가 이미 공개된 문헌에 존재하며, 따라서 동기 부여된 공격자에게는 충분히 실현 가능한 위협임을 강조합니다.