When Speculation Spills Secrets: Side Channels via Speculative Decoding In LLMs

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) desplegados en producción utilizan cada vez más técnicas de decodificación especulativa para mejorar la latencia y el rendimiento (throughput). Esta técnica genera tokens candidatos de forma paralela (usando modelos más pequeños o heurísticas) y luego los verifica en una sola iteración con el modelo objetivo.

El problema central identificado por los autores es que la eficiencia de la especulación depende del contenido de la entrada.

• Cuando la especulación es correcta, se generan y verifican múltiples tokens por iteración.
• Cuando la especulación es incorrecta, el modelo debe retroceder y generar solo un token por iteración (decodificación autoregresiva estándar).

Esta variación en el número de tokens generados por iteración crea un canal lateral. Un atacante que monitoree el tráfico de red (tamaño de los paquetes o conteo de tokens por iteración) puede inferir el patrón de aciertos y fallos de la especulación. Dado que este patrón es único para cada consulta (prompt) y respuesta, permite a un atacante:

1. Fingerprinting (Huella digital): Identificar qué pregunta específica hizo un usuario entre un conjunto de posibles consultas.
2. Filtrado de datos confidenciales: Extraer el contenido de bases de datos privadas utilizadas para la recuperación de tokens (en métodos como REST) o parámetros internos del sistema.

2. Metodología y Modelo de Amenaza

Los autores proponen un modelo de amenaza donde un adversario puede ser:

• Atacante de Red: Un ISP malicioso o un router comprometido que observa los paquetes de red cifrados. Aunque el contenido está cifrado, el tamaño del paquete es visible.
• Usuario Malicioso: Un usuario que interactúa con el LLM y analiza las salidas para inferir información interna.

Mecanismo del Ataque:

1. Fase Offline (Perfilado): El atacante genera un conjunto de consultas de prueba (ej. 50 preguntas médicas). Para cada una, registra la "traza" de la respuesta: el número de tokens generados en cada iteración (o el tamaño del paquete correspondiente). Entrena un clasificador (Random Forest) para asociar estas trazas con las consultas específicas.
2. Fase Online (Ataque): El atacante intercepta el tráfico de una consulta desconocida, extrae la traza de tamaños de paquetes/tokens y utiliza el clasificador para predecir cuál fue la consulta original.

Técnicas Evaluadas:
El estudio evalúa cuatro esquemas de decodificación especulativa:

• REST: Basado en recuperación de datos (Datastore).
• LADE (Lookahead Decoding): Basado en auto-borrador (self-drafting) usando N-gramas.
• BiLD: Utiliza un modelo "draft" más pequeño.
• EAGLE: Integrado en vLLM, basado en características del modelo.

3. Contribuciones Clave

1. Descubrimiento de un nuevo canal lateral: Demostración de que la variación en el número de tokens por iteración debido a la decodificación especulativa es una fuente de fuga de información crítica.
2. Ataques de Huella Digital de Consultas (Query Fingerprinting): Capacidad para identificar consultas privadas con alta precisión, incluso sin conocer el texto exacto, solo basándose en patrones de red.
3. Filtrado de Propiedad Intelectual y Datos Privados: Demostración de cómo un atacante puede extraer sistemáticamente el contenido de una base de datos privada (Datastore) utilizada para la recuperación en REST, a una velocidad de más de 25 tokens/segundo.
4. Evaluación de Mitigaciones: Propuesta y evaluación de contramedidas como el relleno (padding) de paquetes y la agregación de tokens.

4. Resultados Principales

Precisión de Fingerprinting:
Los ataques logran una precisión significativamente superior al azar (que sería ~2% para 50 consultas):

• Temperatura 0.3 (Baja aleatoriedad):
  • REST: 100% de precisión.
  • BiLD: 95.2%.
  • LADE: 91.6%.
  • EAGLE (en servidor remoto vLLM): 77.6%.
• Temperatura 1.0 (Alta aleatoriedad):
  • La precisión disminuye pero sigue siendo alta: REST (99.6%), LADE (61.2%), BiLD (63.6%), EAGLE (24%).
• Conocimiento Aproximado: Incluso cuando el atacante no tiene las consultas exactas para entrenar, sino solo consultas semánticamente similares (fuera de distribución), logra precisión entre 20% y 40% (vs. 2-6% de adivinanza aleatoria).

Robustez:

• El ataque es más robusto que los ataques basados en tiempos de llegada (inter-arrival times) previos, ya que el tamaño del paquete no se ve afectado por la congestión de la red o la carga del servidor.
• Funciona en entornos remotos (cliente a servidor vLLM a más de 1500 millas de distancia).

Filtrado de Datastore (REST):
Un usuario malicioso puede extraer secuencias de tokens de la base de datos de recuperación de REST. Usando estrategias como "reutilizar secuencias filtradas", lograron extraer 200,000 secuencias únicas en 3 horas.

5. Estrategias de Mitigación

Los autores proponen y evalúan dos defensas principales:

1. Agregación de Tokens (Token Aggregation):

   • El servidor agrupa los tokens de múltiples iteraciones antes de enviarlos al cliente.
   • Resultado: Reduce la precisión del ataque drásticamente (hasta un 50% menos de precisión en algunos casos), pero aumenta la latencia percibida por el usuario, degradando la experiencia de streaming.

2. Relleno de Paquetes (Packet Padding):

   • Relleno Constante: Llenar todos los paquetes hasta un tamaño fijo máximo (ej. 1024 bytes).
     • Efecto: Reduce la precisión del ataque al nivel de adivinanza aleatoria (~2%).
     • Costo: Aumenta el tamaño de la carga útil (payload) en un 230x, lo cual es prohibitivo para el ancho de banda.
   • Relleno Aleatorio: Añadir bytes aleatorios al paquete.
     • Efecto: Reduce la precisión significativamente (ej. de 100% a ~27% para REST con un relleno moderado).
     • Costo: Aumenta el tamaño del paquete entre 5x y 8.7x, ofreciendo un equilibrio mejor entre seguridad y rendimiento.

6. Significado e Impacto

Este trabajo revela una vulnerabilidad fundamental en la implementación actual de la decodificación especulativa en LLMs. A medida que estas técnicas se adoptan masivamente para mejorar la velocidad (como en servicios de Google, Cerebras, etc.), se introduce un riesgo de privacidad no trivial.

• Privacidad del Usuario: En aplicaciones sensibles (como chatbots médicos o financieros), un atacante puede inferir enfermedades, síntomas o datos financieros de los usuarios simplemente observando el tráfico de red.
• Propiedad Intelectual: Las empresas que utilizan bases de datos privadas para mejorar la precisión de sus modelos (RAG o recuperación en la especulación) están expuestas a la exfiltración de esos datos.
• Recomendación: Los autores concluyen que la implementación de la decodificación especulativa debe ir acompañada de medidas de mitigación (como padding o agregación) para evitar que la optimización de rendimiento comprometa la privacidad y la seguridad de los datos.