Differentially Private and Communication Efficient Large Language Model Split Inference via Stochastic Quantization and Soft Prompt

Resumen Técnico: DEL (Inferencia Dividida Privada y Eficiente)

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) han demostrado capacidades excepcionales, pero su despliegue local en dispositivos con recursos limitados es inviable debido a los altos requisitos computacionales. Por ello, la mayoría de los usuarios dependen de servicios de inferencia en la nube, lo que plantea graves riesgos de privacidad: las consultas de los usuarios pueden contener información sensible (nombres, direcciones, secretos comerciales) que se exponen al proveedor del servicio o se interceptan durante la transmisión.

Las soluciones existentes presentan limitaciones significativas:

• Criptografía (Homomorphic Encryption): Garantiza privacidad pero tiene un costo computacional prohibitivo para LLMs modernos.
• Mecanismos de Perturbación (Split-and-Denoise, InferDPT):
  • Split-and-Denoise (SnD): Envía solo las representaciones intermedias (embeddings) y usa un modelo local para denoising. Sin embargo, está diseñado para tareas de clasificación y no genera texto abierto eficientemente. Además, la alta dimensionalidad de los embeddings perturbados genera una sobrecarga de comunicación masiva.
  • InferDPT: Perturba las entradas localmente y usa un LLM local ligero para extraer coherencia. Esto requiere desplegar un modelo local en el dispositivo del usuario, lo que consume mucha memoria y energía, y degrada el rendimiento si el modelo local es débil.

El objetivo es lograr una inferencia dividida que sea:

1. Privada: Garantizar Privacidad Diferencial (DP).
2. Eficiente en comunicación: Reducir drásticamente el ancho de banda.
3. Sin carga local: Eliminar la necesidad de modelos de denoising o inferencia en el dispositivo del usuario.
4. Útil: Mantener la calidad de la generación de texto.

2. Metodología: El Framework DEL

El authors proponen DEL, un marco que integra tres componentes principales para abordar el problema:

A. Reducción de Dimensionalidad y Proyección (Encoder-Decoder)

• En lugar de transmitir los embeddings originales de alta dimensión (ej. 4096 dimensiones), el usuario utiliza un codificador preentrenado ($G_l$) para proyectar los tokens en un espacio latente de baja dimensión ($d \ll b$).
• Esto reduce la cantidad de datos a transmitir y mitiga la "maldición de la dimensionalidad" asociada a la privacidad diferencial (donde el ruido necesario crece con la dimensión).
• El servidor utiliza un decodificador preentrenado ($G_c$) para reconstruir los embeddings al tamaño original antes de procesarlos en el LLM.

B. Mecanismo de Privacidad: Cuantización Estocástica $n$-bits

• Se propone un mecanismo de cuantización estocástica $n$-bits que actúa sobre las representaciones latentes.
• A diferencia de la adición de ruido gaussiano continuo (que requiere transmitir números de punto flotante de 32 bits), este mecanismo mapea cada coordenada a uno de $2^n$ niveles discretos.
• Ventaja clave: Proporciona garantías de Privacidad Diferencial Local (LDP) (específicamente $\mu$-GDP) mientras reduce drásticamente el ancho de banda (de 32 bits a 1, 2 o 4 bits por coordenada).
• El mecanismo es un estimador no sesgado y teóricamente demuestra que, bajo ciertas condiciones, ofrece la misma garantía de privacidad que el mecanismo gaussiano pero con una eficiencia de comunicación superior.

C. Recuperación de Utilidad: Soft Prompt en el Servidor

• La perturbación de los embeddings inevitablemente degrada el rendimiento del LLM. En lugar de usar un modelo local costoso para "limpiar" el ruido, DEL utiliza un Soft Prompt (una secuencia de embeddings continuos entrenables) en el lado del servidor.
• Este Soft Prompt se prepone a los embeddings reconstruidos y privatizados antes de entrar al LLM.
• El prompt se entrena específicamente para adaptarse a la distribución de los datos perturbados, compensando la pérdida de utilidad causada por la privacidad sin requerir ningún procesamiento adicional en el dispositivo del usuario.

3. Contribuciones Clave

1. Nuevo Mecanismo DP para Inferencia Dividida: Introducen una proyección a espacio latente combinada con cuantización estocástica, logrando garantías de privacidad robustas con una reducción masiva en la sobrecarga de comunicación.
2. Framework Liviano sin Modelos Locales: Eliminan la necesidad de desplegar modelos de denoising o LLMs locales en dispositivos con recursos limitados, desplazando la carga de recuperación de utilidad al servidor mediante Soft Prompts.
3. Mejor Compromiso Privacidad-Utilidad: Son los primeros en demostrar la efectividad de los Soft Prompts para mejorar el trade-off entre privacidad y utilidad en la inferencia de LLMs.
4. Validación Exhaustiva: Demuestran la superioridad del método sobre el estado del arte (RANTEXT, InferDPT, SnD) en tareas de generación de texto abierto y comprensión del lenguaje natural (NLU).

4. Resultados Experimentales

Los experimentos se realizaron en modelos como Llama3-8B, Qwen2.5-7B y BERT, utilizando datasets como WikiText-2, PTB, CNN/Daily Mail, QQP y MRPC.

• Generación de Texto Abierto:

  • DEL supera consistentemente a InferDPT y RANTEXT en métricas de coherencia (COH) y perplejidad (PPL) bajo los mismos niveles de privacidad (medidos por la Tasa de Éxito del Ataque de Inversión de Embeddings - ASR).
  • A diferencia de InferDPT, cuyo rendimiento depende fuertemente de la capacidad del modelo local (y a menudo ignora al servidor remoto), DEL aprovecha al máximo la capacidad del LLM remoto.
  • En escenarios con requisitos de privacidad más laxos (ASR más alto), DEL incluso supera al rendimiento del LLM remoto sin perturbación en algunos casos, gracias al ajuste fino del Soft Prompt.

• Eficiencia de Comunicación:

  • Mientras que los mecanismos gaussianos transmiten embeddings de 32 bits por dimensión, DEL reduce esto a 1-4 bits por coordenada tras la compresión, logrando una reducción de ancho de banda de más de 30x en comparación con métodos basados en ruido gaussiano directo.

• Tareas de NLU (Clasificación):

  • En tareas como QQP y MRPC, DEL supera a SnD (Split-and-Denoise) en precisión y AUC, incluso utilizando cuantización de 1 o 2 bits, demostrando que la recuperación de utilidad mediante Soft Prompt es superior al denoising tradicional.

• Transferibilidad:

  • Los Soft Prompts entrenados en un dataset público (C4) o en un nivel de privacidad específico ($\mu$) muestran una fuerte capacidad de transferencia a otros datasets y niveles de privacidad, lo que facilita su implementación práctica.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la privacidad práctica en la inferencia de LLMs:

• Escalabilidad: Al eliminar la necesidad de modelos locales pesados y reducir drásticamente el ancho de banda, DEL hace viable la inferencia privada en dispositivos móviles y de borde.
• Equilibrio Óptimo: Resuelve el dilema tradicional entre privacidad y utilidad, demostrando que se puede proteger la información del usuario sin sacrificar la calidad de la respuesta generada por el modelo.
• Nueva Dirección de Investigación: Introduce el uso de Soft Prompts como una herramienta fundamental para mitigar los efectos adversos de la privacidad diferencial en modelos de lenguaje, abriendo nuevas vías para la optimización de sistemas de inferencia dividida.

En conclusión, DEL ofrece una solución robusta, eficiente y escalable para permitir que los usuarios interactúen con LLMs potentes en la nube sin comprometer su privacidad ni sobrecargar sus dispositivos locales.