💻 computer science

Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models

이 논문은 이기종 기기 전반에서 사용자 프라이버시를 보호하면서 지연 시간과 대역폭 사용량을 크게 줄이기 위해 엔드포인트 인증 KV 캐시와 암호화된 데이터 전송을 활용하는, 대규모 언어 모델 추론을 위한 프라이버시 중심의 에지-클라우드 협업 프레임워크를 제안한다.

원저자: Yi Li, Chen Li, Jiexiong Liu

게시일 2026-07-16

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yi Li, Chen Li, Jiexiong Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 초지능 로봇 뇌를 가지고 있다고 상상해 보세요. 이것을 우리는 거대 언어 모델(LLM)이라고 부릅니다. 하지만 여기 함정이 있습니다. 이 뇌들은 너무나 거대하고 전력을 갈구하기 때문에, 보통 당신의 스마트폰이나 노트북 안에 들어갈 수 없습니다. 그것들은 클라우드에 있는 거대하고 강력한 컴퓨터들에 살고 있습니다. 그래서 당신이 휴대폰으로 질문을 하면, 휴대폰은 질문을 클라우드로 외쳐서 보내고, 거대한 뇌가 생각할 때까지 기다렸다가, 그 답을 듣기 위해 귀를 기울여야 합니다. 이것은 잘 작동하지만, 두 가지 큰 문제가 있습니다. 첫째, 주고받는 데 시간이 걸리기 때문에 느립니다. 둘둘째, 위험합니다. 왜냐하면 당신의 비밀스러운 생각, 개인적인 기록, 그리고 정확한 단어들을 클라우드에 알려줘야 하기 때문입니다. 이것은 마치 답장을 받기 위해 낯선 사람에게 일기장 내용을 보내는 것과 같습니다.

이를 해결하기 위해 과학자들은 작업을 나누는 방법을 시도했습니다. 당신의 휴대폰이 쉬운 부분을 맡고, 어려운 부분은 클로에 보내는 방식입니다. 하지만 이조차도 까다롭습니다. 데이터를 너무 많이 보내면 느려지고, 너무 적게 보내면 클라우드가 혼란에 빠집니다. 또한, 당신의 가공되지 않은 생각을 그대로 보내면 여전히 프라이버시가 위험에 처합니다. 이 논문은 데이터와 함께 "숨바꼭질"을 하는 새로운 방법을 탐구합니다. 이 논문은 당신의 기기와 클라우드가 마치 형사와 사서처럼 협력하는 영리한 파트너십을 제안합니다. 기기는 가장 민감한 단서들(예: 당신의 개인적인 기록과 특정 어휘)을 숨기고, 클라우드는 책을 읽는 무거운 일을 수행합니다. 목표는 로봇 뇌가 당신과 즉각적으로 대화할 수 있을 만큼 빠르게 만들면서도, 클라우드가 당신의 생생한 비밀을 절대 볼 수 없을 만큼 프라이버시를 보호하는 것입니다.

형사와 사서: AI와 대화하는 새로운 방법

그렇다면 이 새로운 시스템은 실제로 어떻게 작동할까요? 이 논문의 저자인 KunlunMeta의 Yi Li, Chen Li, Jiexiong Liu는 "에지-클라우드 협업 추론(edge–cloud collaborative inference)"이라고 부르는 프레임워크를 구축했습니다. 이것은 당신이 붐비는 방 너머로 메시지를 전달하고 싶지만, 중간에 있는 사람(클라우드)이 메시지가 무엇에 관한 것인지 알기를 원하지 않고, 그 사람이 전달하는 데 너무 오래 걸리는 것도 원치 않는 고도의 "전화 놀이(Telephone)"라고 생각하면 됩니다.

이 새로운 설정에서, 당신의 기기(에지)는 똑똑한 형사 역할을 하고, 클라우드는 거대하고 강력한 사서 역할을 합니다. 여기에는 마법 같은 기술이 있습니다:

1. 형사가 숙제를 먼저 합니다 (프라이버시 우선)
당신의 가공되지 않은 질문을 클라우드에 외치는 대신, 당신의 기기는 먼저 숙제를 합니다. 기기는 당신의 단어들을 비밀 코드(임베딩이라고 불림)로 변환하고, 클라우드가 당신의 과거 대화 기록 중 정확히 어느 정도까지 볼 수 있는지 결정합니다. 이것은 형사가 자신의 실제 사건 기록을 드러내지 않으면서, 사서에게 사서가 확인해도 되는 책들의 목록만을 건네주는 것과 같습니다. 또한 기기는 자신이 생각하는 답변이 무엇일지에 대한 특별한 "초안"을 보관합니다. 이것은 "추측적 디코딩(speculative decoding)"이라고 불립니다. 이것은 사서가 현재 페이지를 다 읽기도 전에 형사가 이야기의 다음 문장을 미리 추측하는 것과 같습니다.

2. 사서가 무거운 짐을 집니다 (필요한 부분만)
클라우드는 이 비밀 코드와 "허가증(캐시 권한)"을 받습니다. 클라우드는 당신의 가공되지 않은 단어를 보지 못하며, 오직 수학적 데이터만을 봅니다. 클라우드는 자신의 초강력 뇌를 사용하여 허가된 기록을 읽고 어려운 부분들을 처리합니다. 결정적으로, 클라우드는 답변 전체를 한 번에 계산하지 않습니다. 클라우드는 형사가 이미 추측한 부분 이외의 부분만을 계산합니다. 이것은 "분할 어휘 투영(split vocabulary projection)"이라고 불립니다. 상상해 보세요. 클라우드는 문장의 마지막 몇 단어만을 써 내려가야 하고, 당신의 기기는 자신의 로컬 지식을 바탕으로 나머지 부분을 채웁니다.

3. 악수 (빠르고 안전하게)
클라우드가 자신의 부분을 마치면, 아주 작은 암호화된 답변 조각을 당신의 기기로 보냅니다. 그러면 당신의 기기는 자신의 추측과 클라우드의 조각을 결합하여 최종 답변을 만듭니다. 그들이 협력하고 있기 때문에, 문장 전체가 쓰여질 때까지 기다릴 필요가 없습니다. 그들은 병렬적으로 "추측"하고 검토할 수 있습니다. 안전을 유지하기 위해, 그들 사이를 오가는 모든 데이터는 특별한 자물쇠(AES-GCM 암호화)로 암호화됩니다. 따라서 해커가 엿듣더라도 그저 의미 없는 글자들로만 보이게 됩니다.

결과: 더 빠르고, 더 작고, 더 안전하게

연구진은 이 시스템의 프로토타입을 제작하여 다양한 유형의 기기에서 테스트했습니다: 단순한 CPU만 있는 표준 컴퓨터(기본 사무용 PC), 그래픽 카드가 있는 강력한 컴퓨터(GPU), 그리고 작은 임베디드 장치(스마트 온도 조절기나 자동차 컴퓨터 같은 것)입니다.

그들은 이 형사와 사서 팀이 기존의 방식보다 훨씬 빠르다는 것을 발견했습니다.

속도: 단순히 모델을 절반으로 나누기만 한 "나이브(naive)"한 분할 시스템과 비교했을 때, 이 새로운 방법은 GPU 장치에서 각 단어를 생성하는 데 걸리는 시간을 최대 46.1% 줄였습니다. 표준 CPU에서도 여전히 29.4% 더 빨랐습니다.
데이터 절약: 꼭 필요한 답변 부분만을 전송하기 때문에, 클라우드로부터 돌아오는 데이터의 양이 영어(더 작은 단어 집합을 사용하는)를 사용할 때 최대 67.6% 감소했습니다.
품질: 가장 중요한 점은 답변의 품질이 여전히 우수하다는 것입니다. 이 시스템은 전체 클라우드 모델이 단독으로 했을 때와 98.6% 동일한 답변을 생성했습니다. 미세한 차이는 주로 작은 기기에 맞추기 위해 수학적 계산을 약간 단순화했기 때문입니다.

이 시스템이 아닌 것

이 논문이 주장하는 바가 아닌 것을 이해하는 것이 중요합니다. 저자들은 이것이 클라우드를 완전히 눈멀게 만드는 마법의 방패가 아니라는 점을 매우 명확히 하고 있습니다. 클라우드는 여전히 "특징 텐서(feature tensors, 비밀 코드)"와 "드래프트 토큰(draft tokens, 추측값)"을 봅니다. 만약 아주 영리한 해커가 많은 추가 지식을 가지고 역설계(reverse-engineer)를 시도한다면, 입력값에 대해 무언가를 알아낼 수도 있습니다. 이 논문은 이것이 "차분 프라이버시(differential privacy, 엄격한 수학적 정의의 프라이버시)"에 대한 공식적인 보장이 아님을 명시하고 있습니다. 대신, 이것은 실용적인 시스템 수준의 보호 계층을 제공합니다. 이것은 클라우드가 당신의 가공되지 않은 일기장을 보는 것을 훨씬 어렵게 만들지만, 적절한 도구를 갖춘 초정밀 탐정으로부터 일기장을 완전히 보이지 않게 만드는 것은 아닙니다.

또한, 이 논문은 당신의 휴대폰에서 이 거대한 뇌 전체를 그냥 실행할 수 있다는 아이디어를 배제합니다. 대부분의 소비자용 기기에게 수학적 계산은 여전히 너무 무겁습니다. "엔드포인트 전용(endpoint-only)" 솔루션(휴대폰이 모든 것을 수행하는 방식)은 협업 방식에 비해 훨씬 느리고 품질이 낮은 답변을 생성했습니다.

이것이 왜 중요한가

이 논문은 우리가 빠르고 똑똑한 AI와 프라이버시가 보장되는 AI 사이에서 하나를 선택할 필요가 없음을 시사합니다. 기기와 클라우드를 팀으로 취급하여, 기기가 대화의 가장 민감한 부분에 대한 열쇠를 보유하게 함으로써, 우리는 두 가지 장점을 모두 얻을 수 있습니다. 이 시스템은 당신이 가진 기기가 강력한 게이밍 PC이든 작은 자동차 칩이든 상관없이 그에 맞춰 적응하며, 이를 통해 프라이버시가 보호되고 빠른 AI 채팅을 현실적인 가능성으로 만듭니다. 저자들은 통제된 실험실 환경에서 이러한 결과를 측정했으며, 수치가 유망해 보이지만, 실제 세상의 복잡하고 예측 불가능한 환경에서도 이 기능이 얼마나 잘 유지될지는 앞으로의 과제입니다. 하지만 현재로서는, 이것은 당신의 비밀을 존중하는 똑똑한 비서를 향한 큰 진전입니다.

기술 요약: 대규모 언어 모델(LLM)을 위한 효율적이고 프라이버시를 고려한 엣지-클라우드 협업 추론

1. 문제 정의

사용자 대상 기기에 대규모 언어 모델(LLM)을 배포하는 것은 상호작용 지연 시간(latency), 제한된 로컬 컴퓨팅 자원, 그리고 프라이버시 노출이라는 삼중고(trilemma)를 야기한다.

순수 클라우드 추론: 풍부한 컴퓨팅 자원을 제공하지만, 원시 프롬프트, 대화 이력 및 긴 컨텍스트 식별자를 원격 서버로 전송해야 하므로 심각한 프라이버시 위험과 통신 오버헤드를 발생시킨다.
순수 온디바이스 추론: 행렬 연산 처리량 부족, 메모리 제약, 교차 플랫폼 런타임 호환성 필요성 등으로 인해 소비자용 CPU, 모바일 GPU 및 임베디드 엣지 기기에서는 실행이 불가능한 경우가 많다.
기존 분할 추론(Split Inference): 기존 솔루션들은 KV 캐시에 대한 세밀한 제어가 부족하고, 특정 기기 역량(CPU vs GPU vs Edge)에 적응하지 못하며, 네트워크 보안과 은닉 상태(hidden-state) 유출 방지를 위한 결합된 전략을 제공하지 못한다.

본 논문은 엔드포인트의 엄격한 제어 하에 가벼운 디코딩은 로컬에서 수행하고 무거운 디코딩 작업은 클라우드로 오프로딩함으로써 이러한 제약 조건들 사이의 균형을 맞추는 프레임-워크의 필요성을 다룬다.

2. 방법론

제안된 프레임워크는 엔드포인트 권한 부여 기반의 엣지-클라우드 협업 추론 워크플로우이다. 핵심 철학은 엔드포인트가 KV 캐시 사용에 대한 권한을 보유하고 가벼운 연산을 수행하는 반면, 클라우드는 권한이 부여된 디코더 레이어 추론 및 고차원 투영(projection)을 실행하는 것이다.

2.1 시스템 아키텍처 및 워크플로우

시스템은 다음과 같은 단계들을 포함하는 협업 루프를 통해 작동한다:

엔드포인트 전처리: 엔드포인트는 입력 토큰화, 임베딩 계산 및 기기 적응형 특징 준비를 수행한다. 이는 $flagCache $와$ LCache $를 포함하는 추론 제어 튜플$ (flagCache, LCache, dtype, \ell) $을 생성하며, 여기서$ flagCache $와$ LCache$는 클라우드가 얼마나 많은 과거 KV 캐시 항목을 사용할 수 있는지와 그 방식을 명시적으로 승인한다.
기기 적응형 특징 준비:
- CPU: 특징들이 스트리밍을 위해 블록 단위로 분할되어, 엔드포인트가 블록 $k$ 를 복호화 및 처리하는 동안 블록 $k+1$ 을 수신할 수 있도록 한다.
- GPU: 로컬 모듈이 트랜스포머 레이어 또는 어텐션 헤드 단위로 슬라이싱되며, 텐서 병렬성(tensor parallelism)과 로컬 배칭을 활용한다.
- Edge: 모듈이 ONNX로 내보내지며, 양자화된 상태로 ONNX Runtime을 통해 실행된다.
권한 부여된 클라우드 디코더 추론: 클라우드는 암호화되고 양자화된 특징 텐서와 제어 튜플을 수신한다. 클라우드는 허가된 과거 KV 항목(있는 경우)과 현재 입력 특징만을 사용하여 디코더 추론을 수행한다.
분산 어휘 투영(Distributed Vocabulary Projection): 전체 로짓(logits)을 전송하는 것을 피하기 위해 어휘 투영 헤드를 은닉 차원(hidden dimension)을 따라 분할한다:
- 엔드포인트는 저차원의 로컬 구성 요소( $z_{end}$ )를 계산한다.
- 클라우드는 고차원의 구성 요소( $z_{cloud}$ )를 계산한다.
- 언어 적응형 마스킹(Language-Adaptive Masking): 생성이 특정 언어(예: 중국어 전용)로 제한된 경우, 클라우드는 해당 어휘 서브셋에 대한 로짓만을 반환하여 다운링크 페이로드를 크게 줄인다.
추측적 디코딩(Speculative Decoding) 및 검증: 엔드포인트는 가벼운 로컬 드래프트 모듈을 사용하여 미래의 토큰을 제안한다. 클라우드는 권한이 부여된 KV 캐시 윈도우 내에서 타겟 모델을 기준으로 이 드래프트들을 검증한다. 수락된 토큰은 캐시에 커밋되어 상호작용 라운드를 줄인다.
퓨전(Fusion) 및 샘플링: 엔드포인트는 부분 로짓( $z = z_{end} + z_{cloud}$ )을 융합하고, 언어 마스킹을 적용(권한 없는 토큰에 $-\infty$ 할당)한 후 다음 토큰을 샘플링한다.

2.2 보안 및 프라이버시 메커니즘

전송 보호: 모든 텐서 페이로드와 클리핑된 로짓은 양자화(예: 8비트)되며, 전송 시 AES-GCM 암호화를 통해 보호된다.
엔드포인트 로컬 LoRA: 드래프트 모델, 로컬 투영과 같은 경량 모듈은 LoRA를 사용하여 적응된다. 이들의 가중치는 엄격하게 엔드포인트에 로컬로 유지되어, 클라우드가 로컬 적응의 전체 파라미터 세트에 접근하는 것을 방지한다.
명시적 캐시 승인: 엔드포인트는 과거 컨텍스트의 노출을 제어한다. 새로운 세션은 캐시 재사용을 비활성화할 수 있으며, 진행 중인 세션은 프라이버시 요구 사항에 따라 승인된 윈도우를 축소할 수 있다.

3. 주요 기여

본 논문은 다섯 가지 주요 기여를 설명한다:

엔드포인트 제어 KV-캐시 워크플로우: 엔드포인트가 과거 KV-캐시 항목의 사용을 명시적으로 승인하는 협업 추론 모델로, 원시 프롬프트나 평문 이력 식별자의 전송을 방지한다.
분산 어휘 투영: 분류 헤드를 은닉 상태 차원에 따라 분할하는 설계로, 엔드포인트가 로컬 구성 요소를 계산하고 클라우드가 고차원 구성 요소를 계산할 수 있게 하며, 전체 로짓 분포를 반환하지 않는다(특히 언어 제한 생성 시).
통합된 추측적 디코딩: 엔드포인트가 경량 드래프트 모듈을 호스팅하고 클라우드가 토큰을 검증하는 메커니즘으로, 엔드포인트 측 모듈의 전체 파라미터를 노출하지 않으면서 상호작용 라운드와 클라우드 측 디코딩 작업을 줄인다.
이종 배치 전략: 순수 CPU(블록 단위 스트리밍), GPU 탑재 기기(모델 슬라이싱/배칭), 임베디드 엣지 기기(양자화된 ONNX Runtime)를 모두 지원하는 통합 프레임워크를 제공한다.
결합된 보호 전략: 통신 레벨의 노출과 은닉 상태 노출을 모두 완화하기 위해 AES-GCM 전송 암호화, 로컬 LoRA 모듈, 명시적 캐시 승인을 통합하였다.

4. 실험 결과

저자들은 7B급 디코더 전용 트랜스포머( $D=4096, V=150,000$ )를 사용하여 프로토타입을 구현하였으며, 통제된 네트워크 조건(RTT 20ms, 100 Mbps) 하에서 CPU, GPU, 엣지 프로필에 대해 평가하였다.

지연 시간 감소: 본 프레임워크는 단순 분할 추론 대비 토큰당 지연 시간을 최대 46.1% 감소시켰다. 128개 토큰 응답 기준, 지연 시간은 CPU 19.4초, GPU 12.3초, 엣지 21.0초였다.
통신 효율성: 분할 어휘 투영과 언어 적응형 마스킹을 활용함으로써, 전체 로짓 전송 대비 다운링크 페이로드를 최대 67.4% 감소시켰다(예: 영어 전용 모드 시 페이로드가 전체 어휘의 ~146 KB/token에서 ~49 KB/token으로 감소).
생성 품질: 프레임워크는 풀 클라우드 타겟 모델과 비교하여 매우 적은 차이 내에서 태스크 수준의 지표를 유지하였다. 다음 토큰 일치도는 **98.6%**였으며, 퍼플렉시티(perplexity) 및 벤치마크 점수(MMLU, GSM8K, HumanEval)에서 풀 클라우드 모델 대비 미미한 저하만을 보였다.
구성 요소 절제 실험(Ablation): 추측적 디코딩을 제거했을 때 지연 시간이 크게 증가하였다(예: GPU에서 토큰당 96ms에서 126ms로 증가). 언어 적응형 압축을 제거하면 다운링크 페이로드가 급격히 증가하였다.

5. 의의 및 주장

본 논문은 LLM 배포 시 발생하는 지연 시간, 컴퓨팅 제약, 프라이버시 간의 긴장 관계를 해결하기 위한 실용적인 시스템 레벨 솔루션을 제시한다.

형식적 보장보다 실용성 강조: 저자들은 이 프레임워크가 보안 다자간 계산(MPC), 동형 암호(HE) 또는 형식적 차분 프라이버시(DP)를 대체하는 것이 아님을 명시한다. 대신, "정직하지만 호기심 많은(honest-but-curious)" 위협 모델 하에서 노출을 줄이는 "실용적인 시스템 레벨 보호 계층"을 제공한다.
배포 가능성: 본 연구의 의의는 고성능 GPU부터 자원이 제한된 엣지 기기에 이르기까지 이종 하드웨어를 지원하면서도, 생성 품질을 풀 클라우드 모델에 가깝게 유지할 수 있다는 점에 있다.
프라이버시-성능 트레이드오프: 캐시 사용 및 어휘 투영에 대한 명시적인 엔드포인트 제어가 과도한 지연 시간 페널티 없이 데이터 노출(원시 프롬프트, 전체 로짓, 로컬 가중치)을 효과적으로 줄일 수 있음을 입증하였다.

본 논문은 이러한 협업 아키텍처가 배포 가능한 프라이버시 인식 LLM 추론 시스템의 토대를 제공하며, 순수 클라우드 또는 순수 온디바이스 솔루션 사이의 균형 잡힌 대안을 제시한다고 결론짓는다.