Quantamination: Dynamic Quantization Leaks Your Data Across the Batch

1. Declaración del Problema

El artículo identifica una vulnerabilidad crítica de privacidad en las estrategias de cuantización dinámica utilizadas en los marcos de inferencia de aprendizaje automático modernos.

• Contexto: Para optimizar la utilización de la GPU y reducir los costos de memoria, los marcos de servicio de LLM multiinquilino (por ejemplo, vLLM, SGLang) agrupan solicitudes concurrentes de usuarios. Para acelerar aún más la inferencia, estos sistemas suelen emplear cuantización dinámica, que convierte activaciones de alta precisión (FP16/FP32) a menor precisión (INT8/FP8) en tiempo de ejecución.
• La Vulnerabilidad: A diferencia de la cuantización estática (donde los parámetros se fijan fuera de línea), la cuantización dinámica por tensor calcula parámetros de escala (valores mínimos/máximos) basándose en el lote completo de entradas simultáneamente.
• La Consecuencia: Esto crea un canal lateral entre usuarios. Los datos de entrada de la víctima influyen en los parámetros de cuantización aplicados a la entrada del adversario. Al observar perturbaciones en sus propios logits de salida, un adversario puede inferir información sensible sobre los datos de la víctima ubicados en el mismo lote. Los autores denominan este fenómeno "Cuantaminación".

2. Metodología

Los autores proponen un ataque de canal lateral que explota la naturaleza dependiente de los datos de la cuantización dinámica por tensor.

Modelo de Amenaza

• Capacidades del Adversario: El atacante puede inyectar una entrada manipulada en un lote que contiene una entrada secreta de la víctima (co-localización en el lote). Puede observar la salida del modelo (logits o probabilidades logarítmicas superiores a 1) para su propia entrada.
• Supuestos: El ataque asume que el sistema utiliza cuantización dinámica por tensor (calculando un factor de escala para todo el lote) en lugar de por token (calculando un factor de escala para cada token individualmente).
• Configuraciones: El ataque se evalúa tanto en escenarios de Caja Blanca (acceso local al modelo) como de Caja Negra (acceso mediante API).

Mecánica del Ataque

1. Filtrado de Parámetros de Cuantización: En la cuantización dinámica por tensor, el factor de escala $\alpha$ se calcula como:
   $$\alpha = \frac{\max(X) - \min(X)}{255}$$
   donde $X$ es el tensor de activación combinado del lote. Si la entrada de la víctima tiene una magnitud mayor que la del adversario, domina el $\max$ o el $\min$, alterando $\alpha$.
2. Observación: El adversario observa el cambio resultante en sus propios logits de salida ($\Delta$) causado por la cuantización alterada.
3. Estrategia de Recuperación:
   • Recuperación de Tokens de LLM: El adversario adivina iterativamente los tokens de la víctima. Para cada posición, prueba tokens candidatos del vocabulario. El candidato que produce una diferencia de logits ($\Delta$) que coincide con la diferencia observada cuando se empareja con la víctima se selecciona como el token recuperado.
   • Clasificación: El adversario compara las diferencias de logits de una imagen de la víctima con un conjunto candidato de imágenes para encontrar la coincidencia más cercana o inferir la clase.

3. Contribuciones Clave

• Descubrimiento de la "Cuantaminación": La primera demostración de que la cuantización dinámica por tensor crea un canal lateral que permite la filtración de datos a través de los límites del lote en entornos de inferencia compartidos.
• Análisis de Marcos de Trabajo: Los autores encuestaron los principales marcos de inferencia y descubrieron que al menos 4 marcos populares (vLLM, SGLang, ONNX Runtime, PyTorch) o bien utilizan por defecto o soportan configuraciones que emplean cuantización dinámica por tensor vulnerable, particularmente en modos en línea FP8.
• Implementación Práctica del Ataque: Desarrollaron y validaron ataques tanto para Modelos de Lenguaje Grandes (recuperación de tokens) como para Clasificación de Imágenes (identificación de clase/imagen).
• Diferenciación con Trabajos Previos: A diferencia de ataques anteriores basados en lotes que dependen del enrutamiento MoE, el intercambio de caché KV o gradientes de aprendizaje federado, este ataque no requiere ninguna modificación arquitectónica y explota una propiedad fundamental de la cuantización de inferencia estándar.

4. Resultados Experimentales

A. Recuperación de Tokens de LLM

El ataque se probó en tres modelos (TinyStories-1M, Pythia-70M, SmolLM2-135M) usando un tamaño de lote de 2.

• Precisión: Logró una precisión de recuperación de tokens del 99,6% al 100% en todos los modelos.
• Eficiencia:
  • Para datos dentro de la distribución (por ejemplo, TinyStories sobre datos de TinyStories), el ataque requirió un promedio de 424 consultas por token, lo que es 59 veces más rápido que la búsqueda aleatoria.
  • Para modelos de propósito general (Pythia, SmolLM2) sobre WikiText, la eficiencia fue de 985–1.343 consultas por token (18–25 veces más rápido que la búsqueda aleatoria).
  • Aceleración del Contexto: El primer token es el más costoso de recuperar, pero los tokens subsiguientes se benefician del contexto autoregresivo, reduciendo drásticamente el espacio de búsqueda.
• Viabilidad en Caja Negra: El ataque sigue siendo efectivo incluso con acceso limitado a la API (observando solo las probabilidades logarítmicas superiores a 1), asumiendo decodificación codiciosa.

B. Recuperación de Imágenes de Clasificación

Se realizaron pruebas en MNIST utilizando Simple CNN, ResNet18 y ResNet50.

• Recuperación Exacta: Cuando la imagen secreta existía en el conjunto candidato, las tasas de recuperación fueron del 80–100%, con redes más profundas (ResNet18/50) alcanzando un 100% de éxito incluso con sondas aleatorias.
• Inferencia de Clase: Cuando el secreto no estaba en el conjunto candidato, el ataque tuvo dificultades para identificar la clase exacta (10–16% de precisión frente a una línea base aleatoria del 10%). Sin embargo, el análisis t-SNE reveló que las escalas de cuantización sí se agrupan por clase, lo que sugiere que, aunque la recuperación exacta es difícil sin un conjunto candidato, la filtración a nivel de clase es detectable en redes profundas.

5. Significado e Implicaciones

• Riesgo de Privacidad: La vulnerabilidad representa un riesgo grave para el servicio de ML multiinquilino. Un adversario podría potencialmente reconstruir prompts privados, documentos sensibles o datos propietarios de otros usuarios que comparten el mismo lote de GPU.
• Compensación entre Rendimiento y Seguridad: El artículo destaca que la cuantización dinámica por tensor no solo es subóptima para la precisión (debido al manejo deficiente de distribuciones de activación heterogéneas), sino que también introduce una vulnerabilidad de seguridad concreta.
• Mitigación: Los autores recomiendan cambiar a cuantización dinámica por token, que calcula parámetros de escala de forma independiente para cada token. Esto elimina el flujo de información entre lotes y ya es el estándar para INT8 en muchos marcos de LLM.
• Desafíos del Mundo Real: La discusión señala que los entornos de producción pueden introducir no determinismo (heterogeneidad de hardware, pipelines de muestreo del lado del proveedor) que podrían oscurecer la señal, haciendo potencialmente el ataque más difícil, pero no imposible de ejecutar.

Conclusión

El artículo demuestra que la cuantización dinámica por tensor es una falla de seguridad crítica en el servicio de ML moderno. Al filtrar información sobre las entradas agrupadas a través de los parámetros de cuantización, permite a los adversarios robar datos sensibles de los usuarios. Los autores instan a los desarrolladores de marcos a utilizar por defecto la cuantización por token para garantizar tanto alta precisión como privacidad del usuario.