기술 요약: 월드 모델 기반 임보디드 AI(Embodied AI)의 보안

문제 정의

임보디드 인공지능(Embodied AI)은 반응형 인지에서 예측형 인지로 전환되고 있으며, 관측치를 압축하고, 행동 조건부 미래를 시뮬레이션하며, 즉각적인 제어를 넘어 계획을 세우기 위해 **월드 모델(world models)**을 활용하고 있다. 이러한 예측 계층은 능력을 향상시키지만, 동시에 중대한 새로운 보안 경계(security boundary)를 도입한다. 오류가 분류 오류나 텍스트 생성 실패로 이어지는 기존의 디지털 시스템과 달리, 임보디드 AI에서 손상된 월드 모델은 안전하지 않은 물리적 움직임, 충돌, 그리고 인간-로봇 간의 유해한 상호작용을 초래할 수 있다.

본 연구가 다루는 핵심 문제는 기존의 보안 문헌들이 월드 모델 공격(예: 적대적 인지, 데이터 포이즈닝, 비디오 생성 공격)을 로보틱스, 자율 주행, 생성형 AI 등 서로 다른 분야에 걸친 고립된 현상으로 취급한다는 점이다. 더욱이, 월드 모델은 엄격하게 공격 대상 또는 안전 도구 중 하나로만 간주되는 경우가 많으며, 그 이중적 성격(합성 데이터 생성을 통한 오염의 원천이 될 수도 있고, 런타임 예측을 통한 안전 검증의 메커니즘이 될 수도 있음)을 간과하고 있다. 즉, 데이터 구축부터 물리적 실행에 이르기까지 위협이 어떻게 전파되는지, 그리고 손상된 내부 모델이 어떻게 "예측된 안전의 환상(predictive safety illusions)"을 만들어내어 안전하지 않은 행동을 안전한 것처럼 인증하는지에 대한 통합된 프레임워크가 부족하다.

방법론

본 논문은 월드 모델 기반 임보디드 AI 보안을 위한 **라이프사이클 분류 체계(lifecycle taxonomy)**를 제안한다. 저자들은 특정 아키텍처(예: RSSM, Diffusion, Transformers)에 집중하는 대신, 월드 모델 기반 시스템을 임보디드 동작을 시뮬레이션, 점수화 또는 실행하기 위해 예측 구조를 유지하는 모든 에이전트로 정의한다.

방법론은 다음과 같다:

1. 보안 객체 정의: 보호되어야 할 7가지 핵심 속성을 설정한다: 상태 무결성(State Integrity), 역학 충실도(Dynamics Fidelity), 어포던스 정확성(Affordance Correctness), 제약 조건 준수(Constraint Compliance), 궤적 순위 무결성(Trajectory-Ranking Integrity), 불확실성 보정(Uncertainty Calibration), 피드백 출처(Feedback Provenance).
2. 라이프사이클 분해: 에이전트 운영의 6가지 단계에 걸쳐 보안 위협을 매핑한다:
   • 데이터 구축 및 사전 훈련(Data Construction and Pretraining)
   • 모델 훈련 및 표현(Model Training and Representation)
   • 상태 접지(State Grounding, 런타임 인지)
   • 동적 예측 및 상상(Dynamic Prediction and Imagination)
   • 궤적 평가 및 행동 선택(Trajectory Evaluation and Action Selection)
   • 실행, 피드백 및 에이전트 확장(Execution, Feedback, and Agentic Extension - 메모리/도구)
3. 위협 매핑: 확립된 공격군(포이즈닝, 백도어, 적대적 예시, 프롬프트 인젝션, 센서 스푸핑, 공급망 공격)을 체계적으로 분류하고, 이것이 월드 모델의 맥락 내에서 어떻게 구체적으로 나타나는지 분석한다(예: 백도어가 단순히 오분류를 일으키는 것이 아니라 어떻게 잘못된 미래 롤아웃을 트리거하는지).
4. 이중 용도 분석(Dual-Use Analysis): 월드 모델을 공격 대상(손상된 모델)인 동시에 안전 메커니즘(런타임 안전 체크 도구)으로 동시에 분석하여, 안전 체크 도구 자체가 손상되었을 때 발생하는 구체적인 위험을 강조한다.

주요 기여

본 논문은 해당 분야에 네 가지 주요 기여를 한다:

1. 통합 라이프사이클 프레임워크: 흩어져 있는 문헌들을 데이터 구축, 훈련, 접지, 상상, 평가, 실행, 장기 적응을 아우르는 단일 의사결정 라이프사이클로 정리한다.
2. 공격과 보안 객체의 연결: 기존의 적대적 ML, VLA 보안, 로보틱스의 공격군을 특정 월드 모델 보안 객체(예: "궤적 순위 공격"을 "궤적 순위 무결성"에 매핑)와 연결한다.
3. 월드 모델의 이중 용도 분석: 월드 모델을 공격 대상(모델이 손상되는 경우), 포이즈닝 증폭기(생성형 월드 모델이 공격을 확산시키는 합성 훈련 데이터를 생성하는 경우), 그리고 안전 메커니즘(손상된 안전 체크 도구가 잘못된 안전 인증을 생성하는 경우)으로 명시적으로 분석한다.
4. 평가 및 방어 합성: 안전 실패를 측정하기 위한 특정 평가 프로토콜(예: "예측은 안전하나 실제로는 안전하지 않음" 비율)을 개괄하고, 출처 검증, 강건한 접지, 불확실성 인지 예측, 궤적 게이팅을 통한 방어 체계를 구조화한다.

다섯 가지 반복되는 통찰

본 조사는 월드 모델 기반 시스템의 고유한 보안 과제를 정의하는 다섯 가지 핵심 통찰을 중심으로 분석을 구성한다:

• SP (Semantic-to-Simulation-to-Action Gap): 의미론적으로 타당한 계획이나 생성된 미래가 물리적으로는 안전하지 않을 수 있다. 텍스트 거부나 시각적 품질은 동적 타당성(dynamic feasibility) 없이 충분하지 않다.
• SD (State- and Uncertainty-Conditional Risk): 공격의 성공 여부는 현재 상태(포즈, 조명, 레이아웃)와 모델의 불확실성에 크게 의존한다. 특정 상태에서 무해한 트리거가 다른 상태에서는 위험할 수 있다.
• PA (Rollout-to-Execution Amplification): 상태 추정이나 잠재 역학(latent dynamics)에서의 작은 오류는 상상된 롤아웃과 실제 폐쇄 루프 실행 과정에서 누적되어 증폭될 수 있다.
• NC (Trajectory-Level Non-Compositionality): 국소적으로 안전한 단계가 장기적인 궤적의 안전을 보장하지는 않는다. 공격은 단일 단계 예측이 아닌 다단계 미래의 순위를 목표로 할 수 있다.
• PI (Predictive Safety Illusion): 월드 모델이 안전 체크 도구로 작용할 때, 자신감 있지만 틀린 예측은 안전하지 않은 행동을 인증하여 잘못된 안전감을 조성할 수 있다.

결과 및 분석

본 논문은 새로운 실험 결과를 제시하는 대신, 기존 문헌을 종합하여 위협 지형의 범위를 입증한다:

• 공격 전파: 공격은 어느 단계에서든 유입될 수 있으며(예: 오염된 훈련 데이터), 이후 손상된 상태 접지, 잘못된 미래 롤아웃, 또는 안전하지 않은 행동 선택으로 나타난다.
• 백도어 지속성: 월드 모델의 백도어는 훈련 및 검증 단계 동안 잠복해 있다가, 특정 상태 조건에서 활성화되어 미래 예측이나 궤적 순위를 왜곡할 수 있기 때문에 특히 위험하다.
• 안전 체크 도어의 전복: 본 논문은 학습된 역학에 의존하는 안전 필터가 "역학 채널 전복(dynamics-channel subversion)"에 취약함을 강조한다. 이는 공격자가 전이 모델을 조작하여 시뮬레이션 상에서 안전하지 않은 행동이 안전한 것처럼 보이게 만드는 것을 의미한다.
• 벤치마크 격차: 현재의 벤치마크는 "손상된 상상된 미래" 및 "예측은 안전하나 실제로는 안전하지 않음" 비율을 평가하기 위한 표준화된 프로토콜이 부족하여, 방법론 간의 교차 비교를 어렵게 만든다.

의의 및 주장

본 논문은 임보디드 AI의 보안이 개별 구성 요소(센서, 정책 또는 플래너)를 개별적으로 보호하는 것만으로는 해결될 수 없다고 주장한다. 대신, **예측 핵심(predictive core)**인 월드 모델을 중심적인 보안 경계로 취급해야 한다.

저자들은 다음과 같이 주장한다:

1. 월드 모델은 이중 용도이다: 월드 모델은 안전(위험 예측)을 위해 필수적이지만, 동시에 새로운 공격 표면(잘못된 안전 인증 생성 또는 합성 데이터 포이즈닝)을 도입한다.
2. 방어에는 라이프사이클 접근 방식이 필요하다: 효과적인 방어는 데이터 출처 및 훈련 위생부터 런타임 불확실성 보정 및 피드백 감사에 이르기까지 전 과정을 포괄해야 한다.
3. 새로운 지표가 필요하다: 전통적인 지표인 작업 성공률이나 공격 성공률은 불충분하다. 보안 평가는 "예측은 안전하나 실제로는 안전하지 않은" 실행 비율과 적응형 공격에 대한 안전 인증의 강건성을 측정해야 한다.

결론적으로, 본 논문은 보안이 담보된 월드 모델 기반 임보디드 AI를 구축하기 위해서는 역량 중심의 조사에서 벗어나, 디지털적 손상이 물리적 위험으로 전파되는 과정을 고려하는 보안 중심의 프레임워크로 전환해야 한다고 결론짓는다.