🤖 AI

What Breaks Embodied AI Security:LLM Vulnerabilities, CPS Flaws,or Something Else?

이 논문은 자율주행차나 서비스 로봇과 같은 embodied AI 의 보안 위협이 단순히 LLM 취약점이나 기존 CPS 결함에 기인하는 것이 아니라, 언어적 정확성과 물리적 안전성 간의 괴리, 비선형 역학, 오류 증폭, 그리고 비구성적 안전성 등 embodied 로 인해 발생하는 시스템 수준의 불일치에서 비롯된다고 주장합니다.

원저자: Boyang Ma, Hechuan Guo, Peizhuo Lv, Minghui Xu, Xuelong Dai, YeChao Zhang, Yijun Yang, Yue Zhang

게시일 2026-02-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Boyang Ma, Hechuan Guo, Peizhuo Lv, Minghui Xu, Xuelong Dai, YeChao Zhang, Yijun Yang, Yue Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇이나 자율주행차 같은 '몸을 가진 AI(Embodied AI)'가 왜 위험한 일을 저지르는가?"**에 대한 근본적인 질문을 던집니다.

기존에는 로봇이 실수하는 이유를 두 가지로만 봤습니다.

머리 (LLM) 문제: 로봇의 두뇌인 언어 모델이 명령을 잘못 이해하거나 해킹당해서.
몸 (CPS) 문제: 로봇의 센서나 모터 같은 하드웨어가 고장 나거나 해킹당해서.

하지만 이 논문은 **"아니요, 그 두 가지가 모두 완벽해도 로봇은 여전히 위험한 일을 할 수 있습니다"**라고 주장합니다. 그 이유는 '머리'와 '몸'이 만나는 과정에서 생기는 독특한 오해 때문입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🤖 핵심 비유: "완벽한 요리사 vs. 미친 주방"

이 논문의 주인공인 '몸을 가진 AI'를 완벽한 이론을 가진 요리사로 상상해 보세요.

1. "의미가 맞다고 해서 안전하지는 않다" (Semantic vs. Physical)

상황: 요리사 (AI) 가 "상자 안의 유리잔을 빠르게 집어라"는 명령을 받습니다.
AI 의 생각 (의미론적 정확성): "알겠습니다. '빠르게'는 '속도'를 의미하니까, 가장 빠른 속도로 집는 게 맞습니다. 명령을 완벽하게 따랐어요!"
현실 (물리적 안전성): 하지만 유리잔은 깨지기 쉽습니다. '빠르게' 집으면 마찰력이 부족해 미끄러지거나, 힘이 너무 세서 깨집니다.
결론: AI 는 **말 (의미)**로는 완벽하게 명령을 따랐지만, **물리 법칙 (중력, 마찰력, 힘)**을 고려하지 않아 유리잔을 깨뜨립니다.
- 핵심: "말이 맞다고 해서 행동이 안전한 건 아닙니다."

2. "똑같은 행동도 상황에 따라 결과가 달라진다" (State Dependence)

상황: 요리사가 "테이블에 컵을 올려라"는 행동을 합니다.
상황 A: 테이블이 평평하고 컵이 비어있을 때 → 성공!
상황 B: 테이블이 살짝 기울어져 있고 컵에 뜨거운 물이 가득 차 있을 때 → 컵이 넘어져 화상을 입힙니다.
결론: 디지털 세상에서는 'A'를 입력하면 항상 'A'가 나옵니다. 하지만 물리적 세상에서는 같은 행동이라도 **환경 (상태)**이 조금만 달라져도 결과가 완전히 달라집니다. AI 는 이 미세한 차이를 예측하지 못해 위험한 결과를 초래합니다.

3. "작은 실수가 커다란 재앙으로 이어진다" (Error Propagation)

상황: 요리사가 컵을 볼 때, 아주 살짝 "컵이 왼쪽에 있는 줄"로 착각합니다 (작은 오차).
연쇄 반응:
1. 손이 왼쪽으로 살짝 움직입니다.
2. 컵을 잡으려다 미끄러집니다.
3. 균형을 잡으려다 옆의 뜨거운 냄비를 넘깁니다.
4. 결과: 작은 착각 하나가 주방 전체를 불태우는 재앙이 됩니다.
결론: AI 의 '눈 (센서)', '머리 (판단)', '손 (행동)'은 서로 긴밀하게 연결되어 있습니다. 한 부분의 아주 작은 오류가 다른 부분을 거쳐 증폭되어 큰 사고로 이어집니다.

4. "안전은 쌓아 올린다고 해결되지 않는다" (Non-Compositional Safety)

상황: 요리사가 10 단계로 나눈 작업을 합니다.
- 1 단계: 칼을 잡음 (안전함)
- 2 단계: 양파를 썸 (안전함)
- ...
- 10 단계: 불을 끔 (안전함)
문제: 각 단계는 모두 안전해 보이지만, 전체 과정을 합치면 위험할 수 있습니다. 예를 들어, "양파를 썰다가" "불을 끄는" 순서 때문에 가스 폭발이 일어날 수도 있습니다.
결론: 각 단계가 안전하다고 해서, 그걸 이어붙인 전체 행동이 안전한 것은 아닙니다. 시간이 지나고 상황이 변하면 안전 기준도 달라지기 때문입니다.

💡 이 논문이 말하는 진짜 문제점

기존의 보안 전문가들은 "로봇의 두뇌 (LLM) 를 더 안전하게 만들고, 로봇의 몸 (CPS) 을 더 튼튼하게 만들면 된다"고 생각했습니다.

하지만 이 논문은 **"그건 부족합니다"**라고 말합니다.
로봇이 위험한 이유는 두뇌가 나빠서도, 몸이 고장 나서도 아닙니다. "두뇌가 생각하는 추상적인 세계"와 "몸이 처한 구체적인 물리 세계" 사이의 괴리 (Mismatch) 때문입니다.

두뇌: "빨리 가라" (추상적 개념)
몸: "빨리 가려면 미끄러질 수 있어" (물리적 현실)

이 두 가지가 서로 통하지 않을 때, 로봇은 논리적으로는 완벽하지만 물리적으로는 치명적인 실수를 저지르게 됩니다.

🛡️ 앞으로의 해결책은?

이 문제를 해결하려면 단순히 "해킹 방지 프로그램"을 설치하는 게 아닙니다.

물리 법칙을 이해하게 하기: AI 가 "말"만 배우는 게 아니라, "힘, 중력, 마찰력" 같은 물리 법칙을 체득하게 해야 합니다.
실시간 감시: 로봇이 행동할 때, "이 행동이 지금 상황에서 정말 안전한가?"를 매순간 물리적으로 검증해야 합니다.
시스템 전체의 안전: 부품 하나하나가 안전한 게 아니라, 전체 시스템이 서로 조화를 이루며 안전을 유지해야 합니다.

📝 한 줄 요약

"로봇이 위험한 건 두뇌가 멍청해서가 아니라, '말'과 '행동' 사이의 간극을 제대로 메우지 못해서입니다. 우리는 로봇에게 '물리 법칙'이라는 현실을 가르쳐야 진짜 안전해집니다."

1. 문제 제기 (Problem)

Embodied AI(자율주행차, 서비스 로봇, LLM 기반 인터랙티브 에이전트 등) 는 실험실 환경을 넘어 안전이 중요한 실제 세계로 빠르게 확장되고 있습니다. 디지털 AI 와 달리, Embodied AI 의 실패는 되돌릴 수 없는 물리적 결과 (부상, 장비 파손, 충돌 등) 를 초래합니다.

현재 연구는 주로 두 가지 관점으로 접근하고 있습니다:

LLM 중심: 프롬프트 인젝션, 재일브레이킹 등 언어 모델의 논리적 결함.
CPS 중심: 센서 조작, 제어 루프 불안정 등 하드웨어 및 제어 시스템의 결함.

하지만 저자들은 이 두 관점만으로는 현대 Embodied 시스템에서 관찰되는 많은 실패를 설명할 수 없다고 주장합니다. 즉, LLM 취약점이나 CPS 결함 그 자체보다는, '구체화 (Embodiment)'로 인해 발생하는 시스템 수준의 불일치 (System-level Mismatches) 가 보안 붕괴의 핵심 원인이라는 것입니다.

2. 방법론 및 분석 프레임워크 (Methodology)

저자는 Embodied AI 보안을 분석하기 위해 다음과 같은 구조화된 접근법을 사용합니다:

역사적 진화 분석: 규칙 기반 CPS 에서 학습 강화 제어, 그리고 최근의 Foundation Model 기반 에이전트로의 진화 과정을 분석하여 보안 위협의 변화를 추적합니다.
최소 아키텍처 모델링: 지각 (Perception), 추론 (Reasoning/Decision), 제어 (Control) 의 계층적 구조를 정의하고, 각 계층 간의 정보 흐름과 상호작용을 분석합니다.
3 차원 분석:
1. LLM 취약점: 의미론적 무결성 공격, 크로스-모달 불일치, 에이전트 - 환경 상호작용 루프 공격 등을 분류.
2. CPS 위협 모델: 센서, 제어, 작동기 (Actuator), 타이밍 공격이 학습 기반 시스템에서 어떻게 나타나는지 재검토.
3. 구체화 유발 실패 (Embodiment-induced Failures): 위 두 영역을 종합하여 LLM 보안이나 CPS 보안만으로는 설명할 수 없는 근본적인 원인 (Root Causes) 을 도출.

3. 핵심 기여 및 통찰 (Key Contributions & Insights)

이 논문은 Embodied AI 보안을 어렵게 만드는 4 가지 핵심 통찰 (Insights) 을 제시하며, 이것이 왜 기존 접근법으로는 해결되지 않는지 설명합니다.

핵심 통찰 1: 의미론적 정확성은 물리적 안전을 보장하지 않음 (Semantic Correctness $\neq$ Physical Safety)

문제: LLM 은 언어 수준에서 논리적으로 타당한 계획을 생성할 수 있지만, 이는 기하학적 제약, 역학 (Dynamics), 접촉 (Contact) 조건, 마찰력 등을 고려하지 않습니다.
결과: "빠르게 이동하라"는 의미론적으로 올바른 명령이 물리적으로는 과도한 힘을 가하거나 불안정한 그립을 유발하여 파손이나 충돌을 일으킬 수 있습니다.

핵심 통찰 2: 동일한 행동은 물리적 상태에 따라 극단적으로 다른 결과를 초래함

문제: 디지털 시스템과 달리 물리 시스템은 비선형 역학을 따릅니다. 동일한 행동 (Action) 이라도 자세, 접촉 모드, 재료 특성, 환경 동역학의 미세한 변화에 따라 결과가 완전히 달라질 수 있습니다.
결과: 정적 검증 (One-shot validation) 이나 사전 실행 검사는 물리 상태의 불확실성으로 인해 근본적으로 불충분합니다.

핵심 통찰 3: 오차가 지각 - 의사결정 - 행동 루프를 통해 전파 및 증폭됨

문제: Embodied AI 는 긴밀하게 결합된 피드백 루프입니다. 지각의 작은 오차나 추론의 편차가 계획 및 제어 계층을 거치며 증폭되어 큰 물리적 편차로 이어집니다.
결과: 불확실성이 계층 간에 명시적으로 전파되지 않아, 에이전트는 높은 불확실성 하에서도 공격적으로 행동을 실행하게 되어 실패가 점진적으로 누적됩니다.

핵심 통찰 4: 안전성은 시간 또는 시스템 계층을 따라 구성되지 않음 (Safety is not Compositional)

문제: 국소적으로 안전하고 개별적으로 타당한 행동들이 장기적으로 결합되면 전역적으로 안전하지 않은 궤적을 만들 수 있습니다.
결과: 전통적인 CPS 와 달리, 적응형 의사결정은 목표와 우선순위를 지속적으로 재구성하므로, 국소적 안전 제어가 전체 시스템의 안전을 보장하지 못합니다.

4. 주요 결과 및 분류 (Results)

논문은 다음과 같은 구체적인 위협과 실패 메커니즘을 분류하고 분석했습니다:

LLM 기반 취약점:
- 의미론적/의도 무결성 공격: 재일브레이킹 (Jailbreaking) 을 통해 로봇이 물리적으로 실행 가능한 해로운 행동을 하도록 유도.
- 크로스-모달 불일치: 시각 - 언어 - 행동 (VLA) 모델에서 이미지와 텍스트의 불일치를 이용해 악성 행동을 유발.
- 환경 조작: 물리적 환경 (패치, 객체 배치) 을 조작하여 에이전트의 지각과 계획을 왜곡.
CPS 기반 취약점:
- 센서 스푸핑 (GPS, LiDAR, 카메라), 제어 루프 공격, 작동기 조작, 타이밍 공격 등 고전적 위협이 학습 기반 시스템에서도 유효함을 재확인.
근본 원인 (Root Causes) 분석:
- 의미 - 물리 불일치 (Semantic-Physical Mismatch): 텍스트 기반 지식과 물리 법칙 간의 격차.
- 행동 - 결과 분리 (Action-Consequence Decoupling): 계획 단계의 안전성과 실행 단계의 물리적 결과 간의 괴리.
- 계층 간 불일치 (Cross-Layer Misalignment): 의미 계층, 계획 계층, 제어 계층 간의 목표, 제약, 불확실성 표현이 서로 호환되지 않아 국소적 최적화가 전역적 안전 실패로 이어짐.

5. 의의 및 시사점 (Significance)

패러다임 전환: Embodied AI 보안을 위한 방어 전략은 개별 구성 요소 (LLM 모델 또는 제어기) 의 보안을 강화하는 것을 넘어, 시스템 전체의 물리적 위험, 불확실성, 실패 전파에 대한 추론 (System-level Reasoning) 으로 전환해야 함을 강조합니다.
새로운 연구 방향 제시:
- 의미론적 정확성과 물리적 안전성을 동시에 검증하는 새로운 벤치마크 및 평가 지표 필요.
- 계층 간 정보 손실을 줄이고 불확실성을 명시적으로 전파하는 아키텍처 설계.
- 물리적 제약이 내재된 안전 계약 (Safety Contracts) 및 형식적 검증 방법론의 개발.
정책적 함의: 물리적 피해가 되돌릴 수 없으므로, 단순한 소프트웨어 패치가 아닌 물리적 안전을 보장하는 인증 및 책임 소재 기준 마련이 시급함을 지적합니다.

결론

이 논문은 Embodied AI 의 보안 붕괴가 단순히 "나쁜 AI"나 "해킹된 하드웨어" 때문이 아니라, 언어적 추론과 물리적 실행 사이의 구조적 불일치에서 비롯됨을 규명했습니다. 따라서 미래의 안전한 Embodied AI 를 위해서는 언어 모델의 안전성 정렬 (Alignment) 과 제어 시스템의 견고성 (Robustness) 을 통합한 시스템 수준의 통합적 접근이 필수적입니다.