Robot Collapse: Supply Chain Backdoor Attacks Against VLM-based Robotic Manipulation

이 논문은 로봇 조작 정책의 공급망 보안을 위협하는 새로운 백도어 공격 프레임워크인 'TrojanRobot'을 제안하며, 이를 통해 VLM 기반 로봇 시스템의 LLM-VLM 경로를 조작하여 물리적 환경에서 다양한 공격 효과를 달성할 수 있음을 실험을 통해 입증합니다.

핵심

🤖 1. 배경: 로봇은 어떻게 일을 할까요?

현대 로봇은 두 명의 '천재 직원'이 팀을 이뤄 일합니다.

1. LLM (언어 전문가): 사용자의 말 ("쓰레기통에 쓰레기를 버려") 을 듣고 계획을 세웁니다.
2. VLM (눈과 뇌를 가진 전문가): 카메라로 주변을 보고 "쓰레기는 어디에 있고, 쓰레기통은 어디에 있나?"를 파악합니다.

이 두 명이 협력하면 로봇은 아주 똑똑하게 움직입니다. 하지만 이 논문은 이 협력 과정에 '스파이'를 심는 방법을 보여줍니다.

🕵️ 2. 공격의 핵심: "공급망에 숨은 트로이 목마"

기존의 해킹은 로봇을 훈련시키는 데이터를 고의로 망가뜨리는 방식이었습니다. 하지만 이 연구는 **"훈련 데이터에 접근할 필요도 없다"**는 새로운 방식을 제시합니다.

비유: 식당의 메뉴판 사기

• 상황: 당신은 식당 (로봇) 에 가서 "김치찌개 주문"이라고 합니다.
• 정상: 주방장 (VLM) 이 김치찌개를 만들어 줍니다.
• 공격 (트로이 로봇): 식당에 **위조된 메뉴판 (악성 모듈)**이 몰래 붙어 있습니다.
  • 평소에는 아무 일도 일어나지 않습니다.
  • 하지만 테이블 위에 **'노란색 CD'**라는 특정 물건이 놓여 있으면, 위조된 메뉴판이 주방장에게 "김치찌개"가 아니라 "아이스크림을 가져와!"라고 속입니다.
  • 결과는? 사용자는 김치찌개를 원했는데, 로봇은 엉뚱한 행동을 합니다.

이 연구자들은 로봇 시스템의 **공급망 (Supply Chain)**에 이 '위조된 메뉴판 (악성 모듈)'을 심는 방법을 개발했습니다. 로봇을 만드는 회사가 신뢰할 수 있는 외부 업체를 통해 부품을 조달할 때, 그 부품에 해킹 코드가 숨어 들어가는 것입니다.

🎯 3. 공격의 세 가지 유형 (트로이 로봇의 능력)

이 해킹은 단순히 로봇을 멈추게 하는 것뿐만 아니라, 세 가지 정교한 방식으로 작동합니다.

1. 순서 바꾸기 (Permutation Attack):

   • 상황: "삼각판을 사람한테 가져가라"고 시켰습니다.
   • 공격: '노란색 CD'가 보이면 로봇은 **"사람을 삼각판한테 가져가라"**고 착각합니다. (주인과 손님의 위치가 뒤바뀜)
   • 비유: "아빠가 엄마에게 꽃을 드려"라고 했더니, "엄마가 아빠에게 꽃을 드려"라고 오해하는 것 같습니다.

2. 멈추기 (Stagnation Attack):

   • 상황: "쓰레기를 버려"라고 시켰습니다.
   • 공격: '특정 물건'이 보이면 로봇은 아무것도 하지 않고 그 자리에 멈춥니다.
   • 비유: 주문을 받았는데, 주방장이 갑자기 멍하니 서 있는 상황입니다.

3. 의도적 조작 (Intentional Attack):

   • 상황: "책상 위의 컵을 치워라"고 시켰습니다.
   • 공격: 로봇은 컵이 아니라, 해커가 지정한 **'특정 물건 (예: 노란색 CD)'**을 집어 들고 엉뚱한 곳으로 가져갑니다.
   • 비유: "상자만 치워"라고 했는데, 해커가 시킨 대로 '비밀 상자'만 들고 도망가는 상황입니다.

🛡️ 4. 왜 이것이 무서운가요? (방어는 가능할까?)

이 공격은 매우 교묘해서 기존 방어 기법들이 통하지 않습니다.

• 데이터를 건드리지 않음: 로봇을 훈련시키는 데이터를 해킹할 필요가 없습니다. 그냥 로봇 시스템에 '악성 부품' 하나만 끼워 넣으면 됩니다.
• 물리적 은밀성: 해킹 신호가 텍스트나 복잡한 코드가 아니라, **실제 사물 (노란색 CD, 파란색 블록 등)**입니다. 카메라에 찍히는 일반적인 물건이기 때문에 사람이 보더라도 "저게 뭐지?"라고 의심하기 어렵습니다.
• 방어 실패: 연구자들은 이미지 흐리게 하기, 노이즈 추가하기 같은 기존 방어법을 시도해 봤지만, 로봇은 여전히 해킹 신호를 감지하고 작동했습니다.

💡 5. 결론: 무엇을 배울 수 있을까요?

이 논문은 **"로봇이 똑똑해지면 똑똑해질수록, 그 연결고리에 숨은 해킹도 더 교묘해진다"**는 경고를 줍니다.

우리가 로봇을 사용할 때, "저 로봇이 정말 내 명령대로만 움직일까?"라고 의심해 볼 필요가 있습니다. 특히 로봇이 외부 업체의 AI(눈과 뇌) 를 빌려 쓰는 경우, 그 '눈'이 해커의 눈으로 변질될 수 있다는 사실을 알게 되었습니다.

한 줄 요약:

"로봇의 눈에 특정 사물 (노란색 CD 등) 을 비추면, 로봇은 평소엔 멀쩡하다가도 해커의 뜻대로 엉뚱한 행동을 하거나 멈추게 만들 수 있다."

이 기술은 아직은 연구 단계이지만, 앞으로 로봇이 우리 생활 깊숙이 들어오기 전에 이런 '눈가림' 해킹에 대한 보안 장치를 마련해야 한다는 중요한 메시지를 전달합니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 최근 로봇 조작 (Robotic Manipulation) 정책은 대규모 언어 모델 (LLM) 과 시맨틱 - 비전 언어 모델 (VLM) 의 강력한 이해 및 인식 능력을 활용하여 발전하고 있습니다. 이러한 정책들은 일반적으로 작업 계획 (LLM), 시각 인식 (VLM), 작업 실행의 3 가지 모듈로 구성된 모듈식 아키텍처를 따릅니다.
• 현황: 기존 연구들은 주로 추론 시 (Inference-time) 발생하는 공격 (예: 저지브레이킹, 적대적 예제) 에 집중했으나, 모델 공급망 (Supply Chain) 을 통한 백도어 공격은 거의 탐구되지 않았습니다.
• 핵심 문제:
  1. 기존 백도어 공격의 한계: 전통적인 데이터 중독 (Data Poisoning) 방식은 모델의 학습 데이터에 접근해야 하며, 특정 아키텍처에 최적화되어 있어 이질적인 VLM 아키텍처 (LVLM, OVOD 등) 가 혼합된 로봇 정책에는 적용하기 어렵습니다.
  2. 학습 데이터 접근 불가: 실제 로봇 시스템은 신뢰할 수 있는 제 3 자 API(OpenAI, 상업적 LVLM 등) 를 호출하는 경우가 많아, 공격자가 정책의 학습 데이터나 가중치에 접근할 수 없습니다.
  3. 공급망 취약점: 모듈식 정책은 신뢰할 수 없는 공급업체로부터 모듈을 통합하는 MLaaS(Machine Learning as a Service) 환경에서 악성 모듈이 삽입되기 쉽습니다.

2. 방법론 (Methodology: TrojanRobot)

저자들은 TrojanRobot이라는 새로운 공급망 백도어 공격 프레임워크를 제안합니다. 이는 학습 데이터 접근 없이 모듈식 파이프라인에 악성 모듈을 주입하여 시스템을 장악하는 방식입니다.

2.1 핵심 아이디어

• 외부 악성 모듈 주입: 기존 정책의 학습 데이터를 조작하지 않고, 시각 인식 모듈과 LLM 출력 사이의 데이터 흐름에 **악성 VLM (Backdoor Module)**을 삽입합니다.
• 관계 정의:
  • 중립적 관계 (Neutral Relationship): 정상적인 조건 (트리거 없음) 에서 악성 모듈은 시스템 출력을 방해하지 않음.
  • 교란적 관계 (Perturbative Relationship): 트리거가 감지되면 악성 모듈이 VLM 의 입력 텍스트를 조작하여 로봇의 행동을 악의적으로 변경함.

2.2 기본 설계 (Vanilla Design)

• 악성 VLM (EVLM) 훈련: 공격자가 통제하는 데이터 (청정 데이터 + 독성 데이터) 로 사전 훈련된 VLM 을 파인튜닝합니다.
  • 트리거: 물리적 환경의 일반 객체 (예: 노란색 CD) 를 시각적 트리거로 사용.
  • 데이터 조작: 트리거가 포함된 이미지와 텍스트 쌍을 생성하여, 특정 객체 순서를 뒤집는 (Permutation) 라벨을 학습시킵니다.
• 작동 원리: LLM 이 생성한 작업 지시 텍스트에서 객체 정보를 추출 (NER) 하여 악성 모듈에 전달합니다. 트리거가 감지되면 악성 모듈이 텍스트를 변조하여 VLM 에 전달함으로써 로봇이 잘못된 객체를 조작하게 만듭니다.

2.3 고급 설계 (Prime Design: LVLM-as-a-backdoor)

• 개념: 일반화 능력이 뛰어난 대형 시맨틱 - 비전 언어 모델 (LVLM) 을 백도어 모듈로 활용합니다.
• ICIL (In-Context Instruction Learning): LVLM 의 컨텍스트 학습 능력을 활용하여 시스템 프롬프트를 통해 행동을 유도합니다.
• 세 가지 공격 패턴:
  1. Permutation Attack (순서 뒤집기): 트리거 활성화 시 작업 지시 내 객체들의 순서를 뒤바꿈 (예: "A 를 B 로 이동" → "B 를 A 로 이동").
  2. Stagnation Attack (정지): 로봇이 환경 내 객체의 위치를 변경하지 못하게 하여 작업 수행을 방해함.
  3. Intentional Attack (의도적 조작): 사용자가 지정한 객체가 아닌, 공격자가 지정한 특정 객체를 조작하게 함.

3. 주요 기여 (Key Contributions)

1. 공급망 백도어 공격 프레임워크 제안: VLM 기반 로봇 정책에 대한 최초의 물리적/시뮬레이션 공급망 백도어 공격인 TrojanRobot을 제안했습니다.
2. 물리적 환경 및 정밀 제어:
   • 학습 데이터 접근 없이 작동하는 Policy-training-data-free 공격 방식을 구현했습니다.
   • LVLM 을 활용한 Prime Scheme을 통해 일반화 성능을 향상시키고, 3 가지 정밀한 공격 패턴 (Permutation, Stagnation, Intentional) 을 도입했습니다.
3. 포괄적인 평가:
   • 물리적 환경 (UR3e, myCobot 280-Pi 로봇) 과 시뮬레이터에서 4 가지 VLM 아키텍처 (OWLv2, Qwen-vl, MiniGPT-v2 등) 와 18 가지 실제 조작 태스크를 통해 검증했습니다.
   • 기존 방어 메커니즘 (모델 프루닝, 파인튜닝, 데이터 전처리 등) 에 대한 견고성을 입증했습니다.

4. 실험 결과 (Results)

• 성공률 (ASR):
  • 시뮬레이션: 다양한 로봇 정책 (Code as Policies, VoxPoser 등) 에서 평균 공격 성공률 (ASR) 이 높게 나타났으며, 기존 공격 기법 (CBA) 보다 우수한 성능을 보였습니다.
  • 물리적 환경: 실제 로봇 실험에서 트리거가 있는 경우 공격 성공률이 높았으며 (Prime-I 기준 0.80 이상), 트리거가 없는 정상 조건에서는 작업 성공률 (CA) 이 거의 감소하지 않아 은밀성이 입증되었습니다.
• 일반화 능력:
  • 다양한 카메라 (iPhone, 산업용 카메라) 와 각도에서 테스트 시, Prime Scheme 이 Vanilla Scheme 보다 더 높은 견고성을 보였습니다.
  • 특히 Intentional Attack은 단일 객체 환경에서도 작동하여 가장 안정적인 성능을 보였습니다.
• 방어 평가:
  • JPEG 압축, 가우시안 노이즈, 디포커스 블러, 탄성 변환 등 데이터 레벨 방어 기법은 공격 효과를 제거하지 못했습니다.
  • 모델 레벨 방어 (프루닝, 파인튜닝) 는 Vanilla Scheme 에서는 일부 효과가 있었으나, API 기반의 Prime Scheme 에서는 적용이 불가능하여 무력화되었습니다.

5. 의의 및 결론 (Significance)

• 새로운 위협 모델 제시: 로봇 공학 분야에서 모델 공급망의 취약점을 통해 물리적 세계에 은밀하게 침투할 수 있는 백도어 공격의 가능성을 처음으로 체계적으로 증명했습니다.
• 실제 적용 가능성: 학습 데이터 접근 없이 API 만으로도 공격이 가능하다는 점은 실제 산업용 로봇 및 서비스 로봇 시스템에 심각한 보안 위협이 될 수 있음을 시사합니다.
• 향후 과제: 시각적으로 유사한 객체를 혼동하는 경우 (Outlier) 에 대한 백도어 모듈의 판별력 향상과 이에 대한 효과적인 방어 메커니즘 개발이 필요함을 강조했습니다.

이 논문은 VLM 기반 로봇 시스템의 보안이 단순한 모델 보호를 넘어, 모듈 간 상호작용과 공급망 전체를 아우르는 새로운 차원의 보안 전략이 필요함을 강력하게 주장합니다.