Good-Enough LLM Obfuscation (GELO)

이 논문은 TEE 에서 매 배치마다 무작위 행렬을 사용하여 은닉 상태를 혼합하고 복원하는 경량 프로토콜 GELO 를 제안함으로써, 공유 가속기 환경에서 KV 캐시 및 은닉 상태 관찰로 인한 프롬프트 프라이버시 위협을 해결하면서도 상호작용 추론 속도를 유지합니다.

핵심

🏠 상황: 부유한 집주인과 의심스러운 시공 업체

想像해 보세요. 여러분은 아주 똑똑한 **집주인 (사용자)**입니다. 여러분은 집안에서 아주 중요한 비밀 문서 (비밀 질문) 를 다루고 싶지만, 직접 모든 일을 처리할 시간과 공간이 부족합니다. 그래서 **시공 업체 (클라우드 GPU)**에 일을 맡기기로 했습니다.

하지만 문제는 이 시공 업체가 완전히 신뢰할 수 없다는 점입니다. 그들은 여러분이 작업하는 방 (메모리) 을 훔쳐볼 수 있고, 여러분이 쓴 메모장 (KV 캐시) 을 복사해 갈 수도 있습니다.

• 기존의 방법 1 (암호화): 모든 문서를 자물쇠로 잠그고, 시공 업체가 자물쇠를 열지 않고도 내용을 읽게 해주는 '마법 상자 (FHE/MPC)'를 씁니다.
  • 단점: 너무 느립니다. 우편물을 보내는 데 1 년이 걸린다면, 실시간 대화는 불가능하죠.
• 기존의 방법 2 (단순 위장): 문서의 글자 순서를 뒤섞거나 색을 바꿉니다.
  • 단점: 시공 업체가 "아, 이 문서는 원래 이런 순서였구나"라고 여러 번 관찰하면, 금방 원래대로 복원해냅니다.

🛡️ GELO 의 해결책: "매번 다른 투명 유리창"

GELO 는 이 두 가지 극단을 버리고, **가볍고 빠른 '동적인 위장술'**을 제안합니다.

1. 비밀을 섞는 마법 (혼합)

사용자 (신뢰할 수 있는 TEE) 는 비밀 문서를 시공 업체에게 보낼 때, **매번 다른 무작위 비눗방울 (랜덤 행렬 A)**로 문서를 감싸서 보냅니다.

• 비유: 여러분이 시공 업체에게 "이 문서를 처리해 주세요"라고 보낼 때, 문서를 매번 다른 모양의 투명 유리창으로 감싸서 보냅니다.
• 시공 업체는 그 유리창 안의 내용을 볼 수 없습니다. 하지만 유리창은 투명한지라, 유리창을 통과한 빛 (데이터) 으로 계산을 할 수는 있습니다.

2. 계산과 반환

시공 업체는 유리창에 감싸진 채로 계산을 하고, 결과를 다시 유리창에 감싸서 돌려보냅니다.

3. 다시 원래대로 (해독)

사용자는 받은 결과를 **그때그때 만든 그 유리창을 제거하는 열쇠 (A 의 역행렬)**로 다시 풀어서 원래의 비밀 문서를 얻습니다.

핵심 포인트:

• 한 번만 쓴다: 이 유리창 (비밀 키) 은 한 번만 쓰고 버립니다. 다음 번에는 완전히 다른 유리창을 씁니다.
• 해커의 딜레마: 해커는 "이 유리창을 뚫어서 내용을 알아내야지!"라고 생각하지만, 다음 번에는 유리창 모양이 완전히 달라져서 이전 정보를 쓸 수 없습니다. 마치 매번 다른 자물쇠가 달린 상자를 보는 것과 같습니다.

🛡️ 해커를 더 막는 두 가지 전략

논문은 해커가 통계적인 방법으로 (예: "이 글자는 자주 나오는 단어겠지") 내용을 유추하는 것을 막기 위해 두 가지 추가 장치를 제안합니다.

1. 비대칭 유리창 (Non-orthogonal mixing):
   • 보통 유리창은 모양을 유지하며 회전만 시키지만, GELO 는 유리창을 비틀고 늘여서 모양을 완전히 왜곡시킵니다. 이렇게 하면 해커가 "원래 모양이 어땠지?"라고 추측하는 것을 어렵게 만듭니다.
2. 소음 섞기 (Shield Vectors):
   • 진짜 비밀 문서 옆에 **아무 의미 없는 소음 (랜덤 데이터)**을 섞어서 보냅니다.
   • 비유: 진주 (비밀) 를 보낼 때, 진주와 섞인 가짜 조개껍질을 대량으로 넣습니다. 해커는 진짜 진주를 찾아내려고 해도, 가짜 껍질들이 너무 많아서 진주를 구별해 내기 어렵습니다.

📊 결과는 어떨까요?

• 정확도: 이 방법을 써도 인공지능의 답변은 100% 정확합니다. (수학적으로 완벽하게 원래대로 돌아오기 때문입니다.)
• 속도: 기존에 비해 약 20~30% 정도 느려집니다. 하지만 암호화 기술 (마법 상자) 을 쓰는 것보다 수백 배는 빠릅니다.
• 보안: 해커가 여러 번 시도해봐도, 매번 다른 유리창 때문에 내용을 알아내는 것은 불가능에 가깝습니다.

🎯 결론: "완벽하지는 않지만, 충분하다 (Good-Enough)"

GELO 는 "완벽한 보안 (100% 암호화)"을 추구하다 속도가 느려지는 대신, **"충분히 안전한 보안"**을 선택했습니다.

"매번 다른 자물쇠로 문서를 감싸서, 해커가 열쇠를 구할 새도 없이 다음 문서를 보낸다."

이 기술 덕분에 우리는 클라우드에서 빠르고 안전한 AI 대화를 즐길 수 있게 될 것입니다. 사용자의 비밀은 안전하게 보호되면서도, AI 는 여전히 빠르게 대답할 수 있게 되는 것이죠.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 대규모 언어 모델 (LLM) 이 공유 가속기 (클라우드 GPU) 에서 실행되는 경우가 늘어나고 있습니다.
• 위협: 악의적인 공격자 (예: 악성 클라우드 제공자) 가 장치 메모리 (VRAM) 에 읽기 접근 권한을 가지면, KV 캐시 (Key-Value Cache) 및 **은닉 상태 (Hidden States)**를 관찰하여 사용자의 프롬프트 (입력 데이터) 를 유출하거나 모델을 역추적할 수 있습니다.
• 기존 방법의 한계:
  • 암호화 기반 (MPC, FHE): 강력한 보안을 제공하지만, 추론 속도가 너무 느려 (100 배 이상 지연) 대화형 LLM 서비스에는 실용적이지 않습니다.
  • 정적 오프스큐레이션 (Static Obfuscation): 가중치나 활성화 값을 고정된 순열 (Permutation) 로 변환하는 방식은 빠르지만, 모델이 공개된 경우 (Open-source) 다중 실행 통계 공격 (Multi-run statistical attacks) 으로 쉽게 깨집니다.
• 목표: 신뢰할 수 없는 가속기 (Untrusted Accelerator) 에서 무거운 선형 대수 연산을 수행하면서도, 민감한 은닉 상태의 프라이버시를 보호하고 상호작용 가능한 수준의 지연 시간 (Latency) 을 유지하는 프로토콜 개발.

2. 방법론 (Methodology: GELO Protocol)

GELO 는 **신뢰 실행 환경 (TEE)**과 신뢰할 수 없는 가속기를 혼합하여 사용하는 하이브리드 프로토콜입니다.

• 핵심 아이디어:
  • TEE 내에서 매 배치 (Per-batch) 마다 새로운 가역적 선형 변환 행렬 $A$를 생성합니다.
  • 은닉 상태 $H$를 $A$와 곱하여 섞은 데이터 $U = AH$를 생성합니다.
  • 이 섞인 데이터 $U$와 모델 가중치 $W$를 신뢰할 수 없는 가속기로 오프로드하여 연산 ($Y = UW$) 을 수행합니다.
  • 가속기에서 결과를 반환받으면, TEE 에서 역행렬 $A^{-1}$을 적용하여 원래 결과를 복구합니다 ($A^{-1}(AH)W = HW$).
• 작동 원리:
  • 동적 혼합 (Dynamic Mixing): $A$는 배치마다 새로 생성되고 재사용되지 않으므로, 공격자는 단일 배치의 블라인드 소스 분리 (Blind Source Separation, BSS) 문제만 직면하게 됩니다.
  • 오프로드 대상: Attention 블록의 가장 계산 집약적인 Q, K, V 프로젝션 (및 출력 O) 을 가속기로 오프로드하고, 민감한 비선형 연산은 TEE 내부에서 처리합니다.
• 보안 강화 기법 (Leakage Mitigation):
  • Gram 행렬 누출 방지: 직교 행렬을 사용할 경우 $U^T U = H^T H$가 되어 공분산 정보가 유출될 수 있습니다. 이를 막기 위해 두 가지 방법을 제안합니다.
    1. 비직교 혼합 (Non-orthogonal Mixing): 일반적인 가역 행렬을 사용하여 Gram 행렬을 마스킹합니다 (단, 수치적 안정성 고려 필요).
    2. 실드 벡터 (Shield Vectors): 배치에 고에너지의 무작위 "실드" 벡터 (랜덤 노이즈) 를 추가합니다. 이는 공격자가 실제 데이터의 통계적 구조 (Gram 행렬, 고유값 등) 를 분리해 내는 것을 방해합니다.

3. 주요 기여 (Key Contributions)

1. GELO 프로토콜 제안: 신뢰할 수 없는 가속기에 LLM 프로젝션 계산을 안전하게 오프로드하는 경량 프로토콜을 정립했습니다.
2. 누출 및 식별 가능성 분석:
   • 직교 혼합 시 발생하는 Gram 행렬 누출 채널을 규명했습니다.
   • 식별 불가능성 (Non-identifiability): 단일 배치 내에서는 $H$가 알 수 없는 가역 변환까지만 식별 가능하므로, 추가 정보 없이는 복원이 불가능함을 수학적으로 증명했습니다.
   • 배치 간 혼합이 새로 생성될 경우, 여러 배치를 모아도 정보 이득이 없음을 보였습니다.
3. 공격 평가 및 효율성 검증:
   • ICA(Independent Component Analysis) 및 앵커 기반 공격에 대한 저항성을 실험적으로 입증했습니다.
   • Llama-2 7B 모델에서 약 20~30% 의 지연 시간 오버헤드만 발생시키면서, 대부분의 선형 대수 비용을 오프로드할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 기능적 정확도 (Functional Equality):
  • Float32: 베이스라인과 100% 동일한 출력 (Top-1 토큰 일치율 1.0).
  • 저정밀도 (bfloat16/float16): Top-1 토큰 일치율이 98.8% 이상으로, 수치적 오차가 모델 생성 품질에 실질적인 영향을 미치지 않음을 확인했습니다.
• 성능 (Performance):
  • 지연 시간 오버헤드: 일반적인 배치 크기 (256512) 에서 약 **2030%**의 오버헤드만 발생했습니다.
  • 병목 현상: GELO 자체의 계산 비용 (Mixing/Unmixing) 보다는 TEE 와 가속기 간의 통신 (IPC/Socket) 비용이 전체 지연 시간의 80% 이상을 차지하여, 통신 최적화 여지가 있음을 발견했습니다.
• 보안성 (Security):
  • 앵커 기반 공격 (Anchor-based Attacks): 일부 토큰을 알고 있더라도 (예: 10~20 개), 나머지 은닉 상태를 복원하는 데 실패했습니다.
  • 일반 BSS 공격: 고에너지 실드 벡터 (Shield vectors) 를 추가한 경우, FastICA 등 다양한 BSS 알고리즘이 무작위성 때문에 수렴하지 못하거나 매우 낮은 유사도 (Cosine similarity < 0.2) 만 달성했습니다.

5. 의의 및 결론 (Significance)

• 실용적인 프라이버시 보호: 암호화 방식의 과도한 오버헤드를 피하면서도, 정적 오프스큐레이션의 취약점을 해결하는 "충분히 좋은 (Good-Enough)" 수준의 프라이버시 보호 계층을 제공합니다.
• 클라우드 LLM 배포의 새로운 패러다임: 소수의 TEE 지원 GPU 와 대량의 일반 GPU 를 혼합하여 사용할 때, 민감한 데이터를 TEE 내부에 유지하면서도 대규모 연산을 외부 가속기에 맡길 수 있는 안전한 아키텍처를 제시합니다.
• 미래 연구 방향: vLLM 과 같은 추론 엔진과의 통합, KV 캐시 관리 최적화, 양자화 (Quantization) 환경에서의 안정성 연구, 그리고 더 강력한 사이드 채널 공격에 대한 대응이 필요함을 제시했습니다.

요약하자면, GELO 는 LLM 추론의 프라이버시와 성능 사이의 균형을 맞추기 위해, 동적인 배치별 혼합 기법을 통해 신뢰할 수 없는 하드웨어에서의 데이터 유출을 효과적으로 차단하는 혁신적인 솔루션입니다.