Altered Thoughts, Altered Actions: Probing Chain-of-Thought Vulnerabilities in VLA Robotic Manipulation

본 논문은 비전 - 언어 - 행동 (VLA) 로봇에서 물리적 작업 수행에 대한 내적 추론 과정의 개입이 없어도, 추론 텍스트 내의 객체 이름만 조작하면 로봇의 성공률이 급격히 하락한다는 사실을 규명하여, 추론 모델의 중간 계획 단계가 기존 입력 검증 방어로는 막을 수 없는 새로운 취약점임을 밝혔습니다.

핵심

이 논문은 **"로봇이 생각할 때, 그 '생각의 과정'을 속이면 로봇이 얼마나 엉뚱한 행동을 할까?"**라는 아주 흥미로운 질문에서 시작합니다.

최근 로봇 기술은 눈 (비전), 귀 (언어 이해), 손 (행동) 을 모두 갖춘 'VLA(시각 - 언어 - 행동)' 모델로 발전했습니다. 특히 최신 로봇들은 행동을 하기 전에 **"일단 생각해보자"**는 방식 (Chain-of-Thought, CoT) 을 도입했습니다. 예를 들어, "와인 병을 집어서 선반에 올려야지"라고 말로 생각한 뒤, 그 생각에 맞춰 팔을 움직이는 식이죠.

이 논문은 바로 그 '생각하는 과정 (텍스트)'과 '행동하는 뇌 (액션 디코더)' 사이의 연결고리가 얼마나 약한지, 그리고 해커가 그 사이를 살짝 건드리면 로봇이 얼마나 큰 실수를 저지를 수 있는지 실험했습니다.

---

🕵️‍♂️ 핵심 비유: "요리사의 메모와 요리사"

이 실험을 이해하기 위해 **요리사 (로봇)**와 **메모장 (생각 과정)**을 비유로 들어보겠습니다.

1. 상황: 요리사 (로봇) 는 고객 (명령) 의 주문을 듣고, 먼저 메모장에 요리 순서를 적고 (생각 과정), 그 메모를 보고 재료를 손질하고 요리합니다 (행동).
2. 공격: 해커는 요리사가 메모를 적는 순간, 그 메모장 내용을 살짝 바꿔치기합니다.
   • 요리사의 눈 (카메라) 과 고객의 주문 (명령) 은 그대로 깨끗합니다.
   • 오직 메모장 내용만 해커가 고칩니다.

🔍 실험 결과: "무엇을 바꾸면 로봇이 망할까?"

연구진은 메모장 내용을 7 가지 방식으로 바꿔보며 로봇의 실수율을 측정했습니다. 결과는 놀라웠습니다.

1. 🚫 "물건 이름"만 바꾸면 로봇이 완전히 미친다 (가장 치명적)

• 상황: 메모장에 적힌 **"와인 병"**을 **"초콜릿 푸딩"**으로, **"선반"**을 **"샐러드 드레싱"**으로 바꿔치기했습니다.
• 결과: 로봇은 와인 병이 아니라 초콜릿 푸딩을 집으려다 실패하거나 엉뚱한 곳으로 갔습니다. 성공률이 약 19%~45%나 급락했습니다.
• 이유: 로봇은 "무엇을 (What)"을 할지 정하는 물건 이름에 절대적으로 의존합니다. 이름이 틀리면 로봇은 그 물건을 찾을 수 없게 됩니다.

2. 🤷‍♂️ "문장 순서"나 "방향"을 바꿔도 로봇은 잘한다 (거의 영향 없음)

• 상황: 메모장의 문장 순서를 뒤죽박죽 섞거나, "왼쪽"을 "오른쪽"으로, "위"를 "아래"로 바꿔도 로봇은 크게 흔들리지 않았습니다.
• 결과: 성공률은 거의 변하지 않았습니다.
• 이유: 로봇은 "어떻게 (How)"나 "어디로 (Where)" 같은 방향이나 순서보다는, **눈으로 보는 실제 장면 (시각 정보)**을 더 믿습니다. 메모에 "왼쪽"이라고 적혀 있어도 눈으로 보면 "아, 오른쪽에 있네?" 하고 스스로 고쳐서 행동합니다.

3. 🤖 "고급 AI 가 쓴 엉뚱한 메모"보다 "단순한 이름 바꾸기"가 더 효과적?

• 상황: 700 억 개의 파라미터를 가진 똑똑한 AI 가 "그럴듯하지만 틀린" 메모를 작성해 넣었습니다. (예: "와인 병을 집으세요" 대신 "와인 병을 집어서 선반에 올려주세요"라고 논리적으로 말하지만, 실제로는 다른 물건을 가리키는 식).
• 결과: 이 고급 AI 의 메모는 단순히 물건 이름만 바꿔치기한 것보다 효과가 훨씬 적었습니다.
• 이유: 고급 AI 는 문장을 그럴듯하게 쓰려고 하다 보니, 물건 이름 (엔티티) 은 원래대로 유지하는 경우가 많았기 때문입니다. 로봇은 이름만 맞으면 그걸 믿고 행동하기 때문입니다. 즉, 복잡한 해킹보다 단순한 이름 바꾸기가 더 위험하다는 역설이 나왔습니다.

---

💡 이 연구가 우리에게 주는 교훈

1. 로봇의 '생각'은 약한 고리입니다:
   기존에는 로봇을 해킹하려면 카메라 영상을 조작하거나 (눈을 가리는), 명령어를 해킹해야 한다고 생각했습니다. 하지만 이 연구는 **"로봇이 스스로 생각한 메모장 (Chain-of-Thought) 만을 살짝 건드려도 로봇이 망할 수 있다"**는 것을 증명했습니다.

2. 보안 방어는 '눈'이 아니라 '귀'를 막아야 합니다:
   해커가 로봇의 입력 (눈과 귀) 을 깨끗하게 유지하면서, 로봇이 **스스로 생각한 내용 (메모장)**만 바꿔치기하면, 기존의 보안 시스템은 이를 전혀 눈치채지 못합니다. 마치 요리사가 메모장을 훔쳐본 해커가 메모 내용만 바꿔도 요리사가 엉뚱한 요리를 해버리는 것과 같습니다.

3. 가장 중요한 것은 '무엇 (What)'입니다:
   로봇이 행동을 결정할 때 문장 순서나 방향보다는 **'무엇을 다룰 것인가 (물건 이름)'**가 가장 중요합니다. 따라서 로봇을 보호하려면, 로봇이 생각한 메모장에 적힌 물건 이름이 실제 환경과 일치하는지만이라도 빠르게 확인하는 시스템이 필요합니다.

🎯 결론

이 논문은 **"로봇이 생각하는 과정 (Chain-of-Thought) 은 생각보다 취약하며, 특히 '물건 이름'이 바뀌면 로봇은 완전히 엉뚱한 행동을 한다"**는 사실을 밝혀냈습니다.

앞으로 로봇이 우리 생활에 더 많이 들어오면, 단순히 로봇의 눈을 가리는 것뿐만 아니라, 로봇이 스스로 생각한 '메모장'을 해커가 조작하지 못하도록 보호하는 것이 로봇 안전의 새로운 핵심 과제가 될 것입니다.

기술 요약

논문 요약: Altered Thoughts, Altered Actions (VLA 로봇 조작에서의 CoT 취약성 탐구)

이 논문은 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델, 특히 사고 - 행동 (Think-then-Act) 패턴을 따르는 로봇 시스템에서 생성된 사고 과정 (Chain-of-Thought, CoT) 텍스트 채널이 새로운 공격 표면 (Attack Surface) 이 될 수 있음을 최초로 체계적으로 규명했습니다.

1. 연구 배경 및 문제 정의 (Problem)

최근 VLA 모델 (RT-2, OpenVLA, DeepThinkVLA 등) 은 물리적 행동을 실행하기 전에 자연어 형태의 계획 (CoT) 을 생성하는 방식을 채택하고 있습니다. 이 '생각 (Reasoning)'과 '행동 (Action)' 사이의 텍스트 채널은 해석 가능한 인터페이스로 설계되었으나, 이에 대한 적대적 공격 (Adversarial Attack) 에 대한 검토는 전무했습니다.

• 핵심 질문: 사고 과정 텍스트의 어떤 속성이 행동 디코더 (Action Decoder) 에 의해 실제로 의존되는가?
• 가정: 모든 입력 (시각 데이터, 작업 지시) 은 깨끗한 상태이지만, 모델 내부에서 생성된 CoT 텍스트만 표적적으로 변조 (Corruption) 될 경우 로봇의 물리적 작업 수행 능력이 저하될 수 있는가?
• 위협 모델: 공격자는 모델의 가중치나 훈련 데이터에 접근할 수 없으나, 모듈 간 통신 채널 (예: VLM 과 액션 디코더 사이의 텍스트 흐름) 을 가로채고 CoT 텍스트를 변조하여 로봇의 행동을 조작할 수 있습니다.

2. 방법론 (Methodology)

2.1 실험 대상 및 환경

• 주요 타겟 모델: DeepThinkVLA (2.9B 파라미터, LIBERO 벤치마크에서 95.4% 성공률).
• 벤치마크: LIBERO (테이블top 조작 작업 40 개, 4 가지 난이도: Object, Spatial, Goal, Long).
• 대조군 모델: OpenVLA-OFT (CoT 생성이 없는 비-추론 VLA, 52.2% 성공률).

2.2 공격 분류 체계 (Corruption Taxonomy)

저자는 공격자의 능력 수준에 따라 3 단계, 총 7 가지 변조 조건을 설계했습니다.

1. Tier 1 (Blind Noise): CoT 내용 지식 없음.
   • Random Tokens: CoT 토큰의 50% 를 무작위 토큰으로 교체.
   • Padding: CoT 전체를 길이가 동일한 채움 토큰 (Filler) 으로 교체.
2. Tier 2 (Mechanical-Semantic): CoT 구조에 대한 언어적 지식 필요.
   • Shuffled: 문장 순서 무작위 변경.
   • Entity Swap: CoT 내 모든 객체 이름 (Object Names) 을 다른 객체로 교체 (예: "와인병" → "초콜릿 푸딩").
   • Negation Flip: 공간 방향어 (좌/우, 위/아래 등) 를 반대로 변경.
3. Tier 3 (LLM-Adaptive): 보조 LLM 을 활용한 지능형 공격.
   • LLM-Adversarial: 70B 파라미터 LLM 을 사용하여 CoT 를 읽은 뒤, 문법적으로 타당하지만 잘못된 계획으로 재작성 (Plausible-but-wrong).

2.3 평가 프로토콜

• 메트릭: 작업 성공률 (Success Rate, SR) 의 변화량 ($\Delta SR$).
• 분석: 각 변조 조건이 성공률에 미치는 인과적 영향을 확인하기 위해 단일 방향 쌍체 t-검정 (One-sided paired t-test) 을 수행.

3. 주요 결과 (Key Results)

3.1 선택적 인과적 민감도 (Selective Causal Sensitivity)

가장 놀라운 발견은 객체 참조 (Entity Reference) 의 무결성만이 행동 디코더에 결정적으로 중요하다는 점입니다.

• Entity Swap (객체 이름 교체): 전체 성공률이 8.3%p 감소 (Goal 조건에서는 19.3%p 감소, 개별 최난이도 작업에서는 45%p 감소).
• 기타 조건 (Negligible Impact): 문장 순서 변경, 공간 방향어 반전, 토큰 노이즈, Padding 등은 모두 ±4%p 이내의 미미한 영향만 미쳤습니다.
• LLM-Adversarial 공격의 실패: 70B LLM 이 생성한 정교한 공격 텍스트는 단순한 기계적 객체 교체보다 효과가 적었습니다 (-0.5%p vs -8.3%p). 이는 LLM 이 문맥상 타당성을 유지하려다 보니, 디코더가 의존하는 '객체 - 장면 매핑' 구조가 유지되었기 때문입니다.

3.2 이중 분해 (Double Dissociation) 및 아키텍처 특이성

• CoT 공격: CoT 변조는 CoT 를 사용하는 DeepThinkVLA에만 영향을 미쳤으며, CoT 를 생성하지 않는 OpenVLA-OFT 는 완전히 면역되었습니다. 이는 취약점이 추론 메커니즘 자체에 고유함을 증명합니다.
• 지시문 (Instruction) 공격: 지시문 수준의 공격 (예: 지시문 내 객체 교체) 은 두 모델 모두를 심각하게 저하시켰습니다. 이는 CoT 채널이 입력 검증 (Input-validation) 방어 기법으로 감지할 수 없는 은밀한 (Stealthy) 위협임을 의미합니다.

3.3 도스 - 응답 분석 (Dose-Response)

• 무작위 토큰 교체 비율이 증가함에 따라 LIBERO-Goal 작업에서 성공률이 선형적으로 감소했습니다. 이는 CoT 의 내용 파괴가 작업 난이도가 높을수록 더 치명적임을 보여줍니다.

4. 기여도 및 의의 (Contributions & Significance)

1. 최초 체계적 연구: 로봇 조작 VLA 모델의 추론 흔적 (Reasoning Trace) 에 대한 적대적 공격을 체계적으로 분석한 첫 번째 연구입니다.
2. 새로운 취약점 발견: VLA 모델이 CoT 의 '추론의 질'이나 '문장 순서'보다는 **실제 장면과 연결된 객체 이름 (Entity Grounding)**에 의존한다는 사실을 규명했습니다.
3. 은밀한 위협 (Stealth Threat): 입력 데이터는 깨끗하지만 내부 텍스트 채널만 조작하여 로봇을 실패하게 만들 수 있어, 기존 입력 검증 방어 기법으로는 탐지 불가능합니다.
4. 실용적 방어 제안: 객체 참조 검증기 (Entity-reference validator) 를 통해 CoT 내 언급된 객체가 지시문과 일치하는지 확인하는 간단한 런타임 체크만으로도 가장 치명적인 공격 (Entity Swap) 을 100% 탐지할 수 있음을 보였습니다.

5. 결론

이 논문은 "사고 후 행동 (Think-then-Act)" 패턴을 도입한 모듈형 VLA 시스템이 내부 텍스트 채널을 통해 새로운 취약점을 노출하고 있음을 경고합니다. 특히 객체 참조의 무결성이 로봇의 물리적 안전을 좌우하는 핵심 요소임을 보여주었으며, 향후 로봇 시스템 배포 시 내부 추론 인터페이스의 보안 강화가 필수적임을 강조합니다.