기술 요약: SoK: 모바일 온디바이스 AI 시스템의 공격 및 방어 지형

문제 정의

모바일 온디바이스 AI(MOAI) 시스템은 AI 모델이 원격 클라우드 서비스에 의존하는 대신 사용자 기기에 로컬로 배포되는 패러다임의 전환을 나타냅니다. 이러한 아키텍처는 개인정보 보호(로컬 데이터 처리), 지연 시간 감소(네트워크 전송 불필요), 오프라인 기능 측면에서 상당한 이점을 제공하지만, 보안 지형을 근본적으로 변화시킵니다. 모델이 통제된 서버 환경에 존재하는 클라우드 기반 시스템과 달리, MOAI 시스템은 고유한 모델 아티팩트를 사용자 기기에 직접 저장합니다. 이러한 로컬 저장은 역공학, 메모리 덤핑, 무단 추출과 같은 독특한 위협에 모델을 노출시키며, 이는 전통적인 모바일 소프트웨어나 클라우드 AI 맥락에서는 흔하지 않은 문제입니다.

기존 문헌은 주로 Edge AI, TinyML 또는 모델 탈취(model stealing)와 같은 특정 하위 집합에 집중해 왔으며, MOAI 시스템의 엔드 투 엔드 보안 위험을 다루는 통합적인 프레임워크가 부족했습니다. 사용자 입력, 기기 상주 모델, 런타임 및 하드웨어 격리 사이의 신뢰 경계가 로컬 추론에 의해 어떻게 재편되는지에 대한 이해와, 기초적인 보안 기둥 및 실질적인 방어 솔루션에 대한 체계적인 가이드라인이 절실히 필요합니다.

방법론

본 논문은 MOAI 보안에 관한 최초의 포괄적인 지식 체계화(SoK)를 제시합니다. 저자들은 모바일 시스템의 전체론적 관점을 채택하여, MOAI 아키텍처를 전통적인 모바일 소프트웨어와 로컬 신경 구성 요소의 계층적 결합으로 분석합니다. 방법론은 다음과 같습니다:

1. 아키텍처 특성화: MOAI 시스템을 입력 인터페이스(Input Interface), AI 모델 아티팩트(AI Model Artifact), 런타임 실행(Runtime Execution), 하드웨어 격리(Hardware Isolation)라는 네 가지 뚜렷한 계층으로 정의합니다.
2. 보안 기둥 도출: MOAI 시스템의 필수적인 보호 속성을 포착하는 세 가지 핵심 보안 기둥을 설정합니다.
3. 위협 모델링: 역량과 조작 지점에 따라 세 가지 공격자 유형(입력 수준, 모델 수준, 실행 수준)을 공식화합니다.
4. 분류 체계 개발: 정의된 위협 모델과 배포 단계(배포 전, 런타임, 배포 후)를 기준으로 기존 공격과 방어 메커니즘을 체계적으로 분류합니다.
5. 교차 기둥 분석: 공격과 방어를 보안 기둥에 매핑하여 격차, 트레이드오프 및 미결 과제를 식별합니다.

주요 기여

1. MOAI 시스템의 보안 기둥

본 논문은 세 가지 기둥을 통해 MOAI 보안을 특징짓는 프레임워크를 구축합니다:

• 기둥 I: 사용자 제어 입력 무결성 (User-governed Input Integrity): 모델이 소비하기 전, 센서 및 사용자 상호작용으로부터 획득된 데이터의 무결성을 보장합니다.
• 기둥 II: 기기 상주 모델 보안 (Device-resident Model Security): 기기에 저장된 모델 아티팩트(가중치, 구조)를 추출 및 수정으로부터 보호하여 기밀성과 무결성을 유지합니다.
• 기둥 III: 기기 네이티브 환경 격리 (Device-native Environment Confinement): 런타임 실행 환경(OS, 메모리, 하드웨어)이 추론 상태를 신뢰할 수 없는 구성 요소로부터 격리하도록 보장합니다.

2. 포괄적인 공격 지형 및 분류

저자들은 세 가지 위협 모델을 바탕으로 MOAI 공격을 다섯 가지 범주로 분류합니다:

• 적대적 공격 (Adversarial Attacks): 모델 유사성 악용, 그래디언트 재구성, 전처리 조작 등을 포함합니다. 이들은 주로 기둥 I을 겨냥하지만, 종종 기둥 II의 접근성을 활용합니다.
• 백도어 공격 (Backdoor Attacks): 트리거를 심기 위해 페이로드 주입, 모델 양자화 악용, 이미지 스테가노그래피를 사용하는 방식입니다. 이들은 기둥 I과 II를 결합합니다.
• 적대적 가중치 공격 (Adversarial Weight Attacks): 추론 동작을 변경하기 위해 직접 파라미터를 변조(예: TYPHON)하며, 기둥 II를 겨냥합니다.
• 모델 탈취 공격 (Model Stealing Attacks): 정적 분석, 동적 분석 및 사이드 채널 공격을 사용하여 모델 아티팩트를 추출합니다. 이들은 기둥 II를 겨냥하며, 모델이 런타임 중에만 복구 가능한 경우 기둥 III까지 확장됩니다.
• 에너지-지연 공격 (Energy-latency Attacks): 자원 소비를 증가시켜 모델 가용성을 공격하며, 세 기둥 모두에 걸쳐 있습니다.

3. 포괄적인 방어 지형 및 분류

방어 기제는 배포 단계와 메커니즘에 따라 분류됩니다:

• 모델 난독화 (Model Obfuscation): 추출을 방해하기 위한 소프트웨어 수준(이름 변경, 연산자 결합) 및 하드웨어 수준(하드웨어 비밀값과 모델 분할)의 은닉 기술입니다.
• 모델 권한 부여 (Model Authorization): 승인된 앱 컨텍스트에 모델 유용성을 결합(예: MMGuard)하여 무단 사용을 방지합니다.
• 신뢰 실행 환경 (Trusted Execution Environments, TEE): 하드웨어적으로 격리된 엔클레이브 내에서 모델 또는 민감한 구성 요소를 실행합니다 (모놀리식, 분할형 또는 난독화된 오프로딩).
• 모델 워터마킹 (Model Watermarking): 무단 재사용을 탐지하기 위한 배포 후 소유권 검증(예: THEMIS)입니다.

4. 미결 과제 식별

분석 결과 아홉 가지의 중요한 미결 과제(OP1–OP9)가 드러났습니다:

• 실용성 격차: 많은 공격(예: 적대적 섭동)은 실제 MOAI 배포 환경에서는 비현실적인 가정(예: 입력 제어 가능성)을 필요로 합니다 (OP1, OP5).
• 은밀함 및 정밀도: 관찰 가능한 변화 없이 은밀한 백도어를 정의하는 것(OP2)과 변조를 위한 핵심 가중치를 정확히 찾아내는 것(OP3)이 여전히 어렵습니다.
• 추출 복잡성: 커스텀 암호화 및 비표준 프레임워크는 신뢰할 수 있는 모델 추출을 복잡하게 만듭니다 (OP4).
• **방어의 한계: 방어 기제들은 실행 등가성(OP6), 클라이언트 측 강제 실행의 견고성(OP7), 이기종 하드웨어 전반의 TEE 배포 타당성(OP8), 재배포에 대한 워터마크의 견고성(OP9) 측면에서 트레이드오프에 직면해 있습니다.

5. 향후 연구 방향

본 논문은 세 가지 신흥 방향을 제시합니다:

• 온디바이스 학습 (On-device Training): 로컬 모델 업데이트 및 그래디언트 노출로 인해 발생하는 보안 위험을 다룹니다.
• 온디바이스 생성형 AI (On-device GenAI): 프롬프트 인젝션 및 탈옥(jailbreaking)과 같이 대규모 언어 모델(LLM) 및 생성 모델에서 발생하는 고유한 위협을 조사합니다.
• 에이전틱 MOAI 시스템 (Agentic MOAI Systems): AI 에이전트가 OS 서비스, 도구 및 크로스 앱 인터페이스와 상호작용하는 워크플로우를 보호하며, 이는 엔드 투 엔드 액션 거버넌스를 요구합니다.

결과 및 발견

체계화 결과 MOAI 시스템에서의 "보안 비대칭성"이 드러났습니다. **기둥 II (기기 상주 모델 보안)**가 핵심적인 관심사인데, 이는 로컬 저장이 본질적으로 모델을 노출하기 때문입니다. 그러나 공격의 실용성은 배포 파이프라인에 의해 크게 제한됩니다:

• 공격 가능성: 로컬 저장이 이론적으로 모델 추출을 가능하게 하지만, 실제 공격은 암호화, 프레임워크의 이기종성, 그리고 사용자 제어 입력을 조작하는 것의 어려움으로 인해 제약을 받습니다.
• 방어 트레이드오프: 기존 방어 기제들은 상당한 오버헤드를 발생시킵니다. 예를 들어, TEE 기반 솔루션은 기밀성을 향상시키지만 메모리 압박과 하드웨어 통합 측면에서 병목 현상을 겪습니다. 난독화 기술은 패키지 크기나 RAM 사용량을 증가시킬 수 있으며, 권한 부여 메커니즘은 시작 지연 시간을 초래할 수 있습니다.
• 부분적 커버리지: 단일 방어 기제가 모든 기둥을 효과적으로 커버하지 못합니다. 예를 들어, TEE는 런타임 상태(기둥 III)를 보호하지만, 모델이 로드되기 전에 암호화되지 않았다면 배포 전 추출을 완전히 막지는 못할 수 있습니다.

의의

본 연구는 MOAI 시스템의 공격 및 방어 지형을 이해하기 위한 최초의 체계적인 프레임워크를 구축합니다. 모델 탈취나 엣지 보안에 대한 개별적인 조사를 넘어, 로컬 추론이 보안 요구사항을 어떻게 재편하는지에 대한 통합된 관점을 제공합니다. 본 논문은 연구자와 실무자에게 기초적인 참조 자료 역할을 하며, 안전한 MOAI 시스템 개발을 가이드할 수 있는 구조화된 분류 체계를 제공합니다. 또한, MOAI를 보호하는 것은 단순히 모델 아티팩트를 보호하는 것 이상이며, 입력 무결성, 런타임 격리, 그리고 모바일 배포의 실질적인 제약 조건을 고려하는 총체적인 접근 방식이 필요함을 강조합니다. 식별된 미결 과제와 향후 연구 방향은 이 중요한 영역의 연구를 진전시키기 위한 로드맵을 제공합니다.