🤖 AI

AttestLLM: Efficient Attestation Framework for Billion-scale On-device LLMs

이 논문은 온디바이스 LLM 의 모델 무결성과 하드웨어 지적재산권을 보호하기 위해 활성화 분포에 워터마킹을 적용하고 TEE 내 프로토콜을 최적화한 최초의 효율적인 검증 프레임워크인 AttestLLM 을 제안합니다.

원저자: Ruisi Zhang, Yifei Zhao, Neusha Javidnia, Mengxin Zheng, Farinaz Koushanfar

게시일 2026-02-24

📖 4 분 읽기☕ 가벼운 읽기

원저자: Ruisi Zhang, Yifei Zhao, Neusha Javidnia, Mengxin Zheng, Farinaz Koushanfar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📱 스마트폰 속 거대 AI 를 지키는 '디지털 도장' 이야기: AttestLLM

이 논문은 우리가 스마트폰이나 태블릿 같은 기기에서 바로 실행되는 거대한 인공지능 (LLM) 을 보호하는 새로운 기술, AttestLLM에 대해 소개합니다.

이 기술을 이해하기 위해 몇 가지 쉬운 비유를 들어보겠습니다.

1. 문제 상황: "내 차를 훔쳐서 다른 엔진을 달다?" 🚗💨

최근 스마트폰이나 태블릿 같은 기기에서 인터넷 없이도 바로 작동하는 똑똑한 AI(대형 언어 모델) 가 많이 쓰입니다. 이는 속도가 빠르고 개인정보도 보호되죠.

하지만 여기서 큰 문제가 생깁니다.
기기를 만드는 회사 (예: 삼성, 애플 등) 는 이 AI 를 최적화해서 넣는데, 중간에 **사기꾼 (불법 리셀러 등)**이 기기를 가로채서, 원래 넣어진 정품 AI 를 빼내고 해킹된 나쁜 AI로 바꿔칠 수 있습니다.

비유: 자동차 회사가 고성능 엔진을 넣었는데, 도둑이 엔진을 빼내고 값싼 모조품 엔진을 넣은 뒤, "이 차는 원래 엔진입니다"라고 속이는 상황입니다.
결과: 기기의 성능이 떨어지거나, 위험한 명령을 내리는 AI 가 작동할 수 있어 회사와 사용자의 신뢰가 무너집니다.

2. 해결책: AttestLLM (디지털 도장 검사 시스템) 🛡️

이 문제를 해결하기 위해 AttestLLM이라는 새로운 시스템이 등장했습니다. 이 시스템은 "정품 AI 만 실행되도록 감시하는 보안관" 역할을 합니다.

핵심 아이디어 1: "보이지 않는 지문" (워터마킹) 👆

기기에 들어가는 AI 모델 하나하나에 **보이지 않는 '디지털 지문 (워터마크)'**을 박아둡니다.

어떻게? AI 의 두뇌 (레이어) 가 생각할 때 나오는 신호 (활성화) 에 아주 미세하게 특정 패턴을 숨깁니다. 마치 종이钞에 숨겨진 수직선처럼요.
특징: 이 지문은 AI 의 성능을 떨어뜨리지 않으면서도, AI 가 조금만 변조되면 바로 사라지거나 깨집니다.

핵심 아이디어 2: "안전한 검사실" (TEE) 🏢

이 지문을 확인하는 작업은 기기 안의 **보안 구역 (TEE, 신뢰 실행 환경)**에서 이루어집니다.

비유: 일반인 (사용자 앱) 이 있는 넓은 로비 (REE) 에서 AI 가 일을 하지만, **지문 검사관 (AttestLLM)**은 철벽으로 막힌 특수 검사실 (TEE) 에 있습니다.
검사관은 주기적으로 "지금 실행 중인 AI 가 내 지문을 가지고 있니?"라고 물어봅니다.
결과: 지문이 100% 일치하면 "좋아, 계속 일해!"라고 허락하고, 일치하지 않으면 "멈춰! 이건 가짜야!"라고 즉시 실행을 멈춥니다.

3. 왜 이것이 특별한가요? (기존 기술 vs AttestLLM)

기존 기술들은 AI 가 너무 크면 (수십 억 개의 파라미터) 감당하지 못했습니다. 마치 거대한 화물을 작은 금고에 넣으려다 문이 닫히지 않는 상황과 비슷했습니다.

AttestLLM 은 세 가지 혁신으로 이 문제를 해결했습니다:

지능적인 지문 배치 (알고리즘):
- AI 의 두뇌 중 중요한 부분은 지문을 적게 넣고, 덜 중요한 부분에는 많이 넣습니다. (비유: 중요한 금고 문에는 자물쇠를 1 개만, 덜 중요한 서랍에는 10 개를 달아두는 식으로 효율을 높임)
효율적인 검사 (소프트웨어/하드웨어 협업):
- 검사실 (TEE) 의 메모리가 작아 전체 AI 를 다 검사할 수 없으므로, 랜덤하게 몇 개의 두뇌 부분만 골라 검사합니다.
- 마치 경찰이 전체 건물을 다 뒤지는 대신, 무작위로 몇 개의 방을 열어보고 도둑이 있는지 확인하는 것과 같습니다.
- 검사하는 동안에도 AI 는 계속 일을 하도록 동시에 여러 작업을 처리하여 속도를 늦추지 않습니다.
강력한 방어 (하드웨어):
- 해커가 지문을 지우거나 가짜 지문을 만들어내려 해도, 암호화된 열쇠와 무작위로 섞인 메모리 구조 때문에 해킹이 거의 불가능합니다.

4. 실제 효과는 어떨까요? 📊

실험 결과, 이 시스템은 다음과 같은 성과를 냈습니다:

정확도 100%: 진짜 AI 는 100% 통과하고, 변조된 AI 는 100% 걸러냅니다.
성능 저하 없음: AI 의 답변 품질이나 속도가 거의 떨어지지 않습니다. (사용자는 차이를 느끼지 못함)
엄청난 효율: 기존 방식보다 속도는 62 배, 에너지 사용량은 30 배나 더 절약됩니다.
- 비유: 기존 방식은 검사를 위해 차를 완전히 멈춰 세우고 엔진을 다 분해해서 확인했다면, AttestLLM 은 차를 달리는 동안 창문으로 살짝 들여다보는 식으로 빠르게 확인하는 것입니다.

📝 요약

AttestLLM은 스마트폰 같은 기기에 들어가는 거대한 AI 를 가짜 엔진 (해킹된 AI) 으로 교체당하는 것을 막아주는 초강력 보안 시스템입니다.

무엇을 하나요? AI 에 보이지 않는 지문을 박고, 보안 구역에서 주기적으로 검사합니다.
어떻게 하나요? AI 의 중요한 부분만 골라 효율적으로 검사하며, 성능은 그대로 유지합니다.
왜 필요한가요? 기기 제조사의 기술 (지식재산) 을 보호하고, 사용자가 안전한 AI 서비스를 계속 이용할 수 있게 하기 때문입니다.

이 기술 덕분에 앞으로 우리가 쓰는 스마트폰의 AI 는 더욱 안전하고, 제조사의 노력 (최적화) 도 지켜질 수 있게 되었습니다! 🛡️✨

1. 문제 정의 (Problem Statement)

배경: 온디바이스 (On-device) 대규모 언어 모델 (LLM) 은 지연 시간 감소와 사용자 프라이버시 보호를 위해 소비자 전자 기기에 널리 배포되고 있습니다. 이를 위해 모델 압축 및 하드웨어 최적화가 이루어지며, 이는 벤더의 중요한 지적 재산권 (IP) 이 됩니다.
위협: 공급망 내의 제 3 자 (재판매자 등) 가 장치의 신뢰할 수 없는 실행 환경 (REE) 에 접근하여, 벤더가 최적화한 정품 LLM 을 불법적이거나 승인되지 않은 모델로 교체할 수 있습니다.
기존 기술의 한계:
- 기존 인증 (Attestation) 기술은 주로 수백만 파라미터의 작은 신경망에 설계되었습니다.
- 하드웨어 제약: 온디바이스 TEE(예: Arm TrustZone) 는 보안 메모리가 10~32MB 로 제한되어 있어, 수십억 (Billion) 파라미터 규모의 LLM 전체를 로드하거나 효율적으로 인증하기 어렵습니다.
- 효율성: 기존 워터마킹 검증 방식은 계산량이 많아 실시간 추론 속도를 저하시키거나, LLM 의 규모를 확장하기 어렵습니다.

2. 방법론 (Methodology)

AttestLLM 은 알고리즘, 소프트웨어, 하드웨어를 통합적으로 설계 (Co-design) 하여 온디바이스 LLM 의 하드웨어 수준 IP 를 보호하는 최초의 프레임워크입니다. 두 가지 핵심 구성 요소로 나뉩니다.

A. 오프라인 워터마킹 (Offline Watermarking)

민감도 분석 (Sensitivity Analysis): LLM 의 각 레이어가 입력 표현을 처리하는 방식이 다르므로, 레이어별 성능 민감도를 분석합니다. 활성화 (Activation) 크기가 큰 민감한 레이어에는 워터마킹 비트를 적게 할당하고, 덜 민감한 레이어에는 더 많은 비트를 할당하여 모델 품질 저하를 최소화합니다.
최적화 기반 워터마킹 삽입:
- 양자화 인식 (Quantization-aware): 모델 양자화 (Quantization) 전후로 2 단계 최적화를 수행합니다.
  1. 양자화 전: 풀 정밀도 모델에서 경사 하강법 (Gradient-based) 을 사용하여 워터마킹을 삽입합니다.
  2. 양자화 후: 가중치가 이산 (Discrete) 값이 되므로 0 차 최적화 (Zeroth-order optimization) 를 통해 워터마킹 신호를 강화합니다.
- 목적: 트리거 데이터셋 (Trigger dataset) 을 사용하여 특정 시그니처를 레이어의 출력 활성화에 은밀하게 인코딩하되, 모델의 정확도 (Fidelity) 를 유지합니다.

B. 온라인 인증 (Online Attestation)

TEE 환경 최적화:
- 가상화 기반 엔클레이브: Arm TrustZone 의 제한된 보안 메모리를 확장하기 위해 가상화 기반 엔클레이브를 사용합니다.
- 동적 샘플링 및 병렬 처리: 매번 전체 모델을 검증하는 대신, 매 토큰 생성 주기 (예: 100 토큰당) 마다 무작위로 일부 레이어 ( $k$ 개) 를 샘플링하여 TEE 로 전송합니다.
- 파이프라이닝: 보안 복사 (Secure copy) 및 복호화 작업과 워터마킹 검증 계산을 병렬로 수행하여 지연 시간을 최소화합니다.
- 조기 종료 (Early-exit): 검증 실패 시 즉시 추론을 중단하고 장치를 리셋합니다.
보안 메커니즘:
- 하이퍼바이저가 REE 의 페이지 할당을 모니터링하여 모델이 교체되거나 수정되었는지 감시합니다.
- 메모리 레이아웃 무작위화 (Memory-layout randomization) 를 통해 오프라인 데이터 변조를 방지합니다.

3. 주요 기여 (Key Contributions)

최초의 온디바이스 LLM 인증 프레임워크: 하드웨어 벤더의 IP 를 보호하고 승인된 LLM 만 실행되도록 보장하는 최초의 솔루션을 제시했습니다.
확장성 있는 Co-design: 알고리즘/소프트웨어/하드웨어 통합 설계를 통해 수십억 파라미터 규모의 LLM 을 Arm 기반 엣지 장치에서 효율적으로 인증할 수 있게 했습니다.
성능과 보안의 균형:
- 품질 보존: 워터마킹으로 인한 모델 성능 저하가 미미합니다.
- 효율성: 기존 하드웨어 IP 보호 기술 대비 지연 시간 62 배, 에너지 소비 30 배 감소.
- 강인성: 워터마킹 위조, 모델 교체, TEE 시스템 공격 등에 대한 높은 내성을 입증했습니다.

4. 실험 결과 (Results)

평가 모델: Llama3 (1B, 3B, 8B), Qwen3 (4B, 8B), Phi-4 (15B) 등 다양한 온디바이스 LLM 을 INT4 및 INT8 양자화 환경에서 평가했습니다.
신뢰성 (Reliability):
- 워터마킹 추출률 (WER) 및 인증 통과율 (APR) 이 100% 를 기록하여 정품 모델은 항상 통과하고, 위조/변조된 모델은 차단됩니다.
성능 유지 (Fidelity):
- INT4 양자화: 퍼플렉시티 (PPL) 는 평균 0.62%, 제로샷 정확도는 0.09% 만 감소.
- INT8 양자화: PPL 은 0.07%, 정확도는 0.15% 만 감소하여 사용자 경험에 거의 영향을 미치지 않습니다.
오버헤드 (Overhead):
- 지연 시간: 순수 REE 추론 대비 평균 9.3% (INT4), 8.3% (INT8) 의 오버헤드만 발생 (기존 TEE-shield 방식 대비 62 배 개선).
- 에너지: 평균 7.3% (INT4), 7.0% (INT8) 의 에너지 오버헤드 (기존 방식 대비 30 배 개선).
공격 내성:
- 모델 교체 공격 (MPA): 레이어의 일부 (4/32) 만 변조하더라도 100% 탐지 및 실행 차단.
- TEE 시스템 공격: 타이밍 공격, 레이어 선택 조작, 모델 교차 실행 등을 시스템 수준에서 방어합니다.

5. 의의 (Significance)

AttestLLM 은 온디바이스 LLM 생태계에서 발생할 수 있는 지적 재산권 침해 및 보안 위협을 해결하는 실용적인 솔루션을 제공합니다. 특히 제한된 하드웨어 자원 (메모리, 전력) 을 가진 엣지 장치에서도 대규모 LLM 을 효율적으로 보호할 수 있음을 입증함으로써, 안전한 온디바이스 AI 배포의 새로운 표준을 제시한다는 점에서 의미가 큽니다. 이는 하드웨어 벤더가 자체 최적화 모델의 가치를 보호하고, 사용자에게 안전하고 일관된 AI 서비스를 제공할 수 있는 기반을 마련합니다.