When Speculation Spills Secrets: Side Channels via Speculative Decoding In LLMs

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 배포될 때 성능 (처리량 및 지연 시간) 을 개선하기 위해 Speculative Decoding(추측적 디코딩) 기술이 널리 사용되고 있습니다. 이 기술은 작은 모델이나 휴리스틱을 사용하여 여러 토큰을 미리 추측 (Speculate) 하고, 이를 타겟 모델이 병렬로 검증하는 방식입니다.

하지만 이 연구는 추측적 디코딩이 새로운 사이드 채널 (Side-channel) 취약점을 만들어낸다고 지적합니다.

• 핵심 메커니즘: 추측이 맞으면 (Correct Speculation) 한 번의 반복(iteration) 에서 여러 개의 토큰이 생성되고, 틀리면 (Mis-speculation) 하나의 토큰만 생성됩니다.
• 정보 유출 경로: 이 과정에서 반복(iteration) 당 생성된 토큰 수가 달라지며, 이는 네트워크 패킷의 크기 (Packet Size) 변화로 나타납니다.
• 위협: 암호화된 패킷이라도 크기는 관찰 가능하므로, 악의적인 네트워크 공격자 (예: 해킹된 라우터, 악성 ISP) 는 패킷 크기 변동을 분석하여 사용자의 입력 (프롬프트) 패턴을 추론하고, 민감한 정보를 탈취할 수 있습니다.

2. 방법론 (Methodology)

연구팀은 다음과 같은 위협 모델과 공격 기법을 제안했습니다.

가. 위협 모델 (Threat Model)

1. 네트워크 공격자: 암호화된 LLM 응답 패킷의 크기와 패킷 간격을 관찰할 수 있는 위치 (ISP, 라우터 등) 에 있습니다.
2. 악성 사용자: LLM 과 상호작용하며 입력을 조작하고, 추측된 토큰이 맞는지 (패킷 크기 확인) 를 관찰하여 내부 데이터스토어나 하이퍼파라미터를 유출하려 합니다.

나. 공격 기법

1. 쿼리 지문 공격 (Query Fingerprinting Attack):

   • 오프라인 단계: 공격자가 알려진 50 개의 프롬프트에 대해 추측 패턴 (반복당 토큰 수 시퀀스) 을 수집하고 'Trace'를 생성합니다. 이를 기반으로 랜덤 포레스트 (Random Forest) 분류기를 학습시킵니다.
   • 온라인 단계: 관찰된 패킷 크기 시퀀스를 분류기에 입력하여 사용자의 실제 쿼리가 어떤 것인지 식별합니다.
   • 시나리오: 의료 챗봇 (질병 증상 문의) 을 대상으로Exact Knowledge(정확한 프롬프트 집합 보유), Constrained(구조만 유사), Approximate Knowledge(의미만 유사) 실험을 수행했습니다.

2. 비밀 데이터스토어 유출 공격 (Datastore Leakage Attack):

   • REST(Recovery-based Speculative Decoding) 기술을 타겟으로 합니다. REST 는 데이터스토어에서 텍스트를 검색하여 추측 토큰으로 사용합니다.
   • 악성 사용자가 특정 패턴의 입력을 반복하여, 어떤 토큰이 '맞은 추측 (Correct Speculation)'으로 반환되는지 관찰함으로써 데이터스토어에 저장된 기밀 정보 (예: 사용자 대화 기록, 기업 지식) 를 역추적하여 유출합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 사이드 채널 발견: LLM 의 추측적 디코딩으로 인한 '반복당 토큰 수' 변동이 패킷 크기 변동을 일으키며, 이를 통해 프라이버시 침해가 가능함을 최초로 규명했습니다.
2. 고성능 쿼리 지문 공격: 다양한 추측적 디코딩 기법 (LADE, REST, BiLD, EAGLE) 에 대해 50 개의 프롬프트 집합에서 90% 이상의 정확도로 사용자의 입력을 식별하는 공격을 증명했습니다.
3. 내부 정보 유출: 공격자가 데이터스토어 내용을 초당 25 개 이상의 토큰 속도로 유출할 수 있음을 보였습니다. 또한, 추측 하이퍼파라미터 (N-gram 크기 등) 를 역추적할 수 있음을 입증했습니다.
4. 대응 방안 제시: 패킷 패딩 (Padding) 과 토큰 집계 (Aggregation) 를 포함한 방어 메커니즘을 제안하고 그 효과를 검증했습니다.

4. 실험 결과 (Results)

가. 쿼리 지문 공격 정확도 (Temperature 0.3 기준)

네트워크 공격자가 50 개의 프롬프트 중 사용자의 입력을 맞히는 정확도입니다.

• REST: 100% (가장 취약, 데이터스토어 기반이라 패턴이 안정적)
• BiLD: 95.2%
• LADE: 91.6%
• EAGLE (vLLM 서버): 77.6%
• 참고: 무작위 추측 (Random Baseline) 은 약 2% 수준입니다.

나. 온도 (Temperature) 영향

• 온도가 1.0 으로 높아져도 공격 정확도는 여전히 무작위 추측보다 훨씬 높았습니다 (REST: 99.6%, LADE: 61.2%, BiLD: 63.6%, EAGLE: 24%).
• REST 는 온도 변화에 매우 강건하여 높은 정확도를 유지했습니다.

다. 원격 서버 공격 (vLLM + EAGLE)

• 실제 클라우드 서버 (A100 GPU) 에서 1,500 마일 떨어진 곳에서 수행한 실험에서도 **77.6%**의 정확도를 기록했습니다.
• 기존 연구 (패킷 도착 시간 간격 분석) 보다 패킷 크기 분석이 네트워크 혼잡이나 서버 부하에 덜 민감하여 훨씬 더 강력함을 입증했습니다.

라. 데이터스토어 유출 속도

• REST 를 이용한 공격에서 초당 25 개 이상의 토큰 속도로 데이터스토어 내 기밀 정보를 유출할 수 있었습니다.

5. 대응 방안 및 의의 (Mitigation & Significance)

가. 대응 방안 (Mitigations)

1. 패킷 패딩 (Packet Padding):
   • 고정 길이 패딩: 모든 패킷을 최대 크기로 채움. 공격 정확도를 98% 감소시키지만, 패킷 크기 오버헤드가 230 배 증가하여 비현실적입니다.
   • 랜덤 패딩: 무작위 바이트 추가. 공격 정확도를 70% 감소시키며, 오버헤드는 5~8.7 배로 현실적인 절충안을 제공합니다.
2. 토큰 집계 (Token Aggregation):
   • 여러 반복 (Iteration) 의 토큰을 묶어서 한 번에 전송. 공격 정확도를 **50%**까지 낮추지만, 스트리밍 지연 시간 (Latency) 이 증가하여 사용자 경험을 저하시킬 수 있습니다.

나. 의의 (Significance)

• 보안 패러다임의 전환: 추측적 디코딩이 성능 최적화의 핵심 기술로 자리 잡은 현재, 이를 통해 발생하는 새로운 형태의 프라이버시 위협을 경고합니다.
• 실제 적용 가능성: 의료, 금융 등 민감한 분야에서 LLM 을 사용할 때, 성능 향상을 위해 추측적 디코딩을 도입하면 사용자 입력 (질병, 증상 등) 이 유출될 수 있음을 보여줍니다.
• 방어 필요성: 단순히 토큰 길이를 숨기는 것만으로는 부족하며, 패킷 크기 변동을 제어하는 새로운 방어 체계 (패딩, 집계 등) 가 필수적임을 강조합니다.

결론

이 논문은 LLM 의 성능을 높이는 '추측적 디코딩' 기술이 역설적으로 사용자의 민감한 입력 정보를 네트워크 패킷 크기를 통해 유출시키는 치명적인 사이드 채널 취약점임을 입증했습니다. 연구팀은 고도화된 지문 공격을 통해 높은 정확도로 쿼리를 식별하고 내부 데이터를 탈취할 수 있음을 보였으며, 이에 대한 효과적인 방어 전략을 제시하여 향후 LLM 배포 시 보안과 성능의 균형을 맞추는 중요성을 강조했습니다.