DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

Resumen Técnico: DP-FUSION

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) carecen de garantías de privacidad inherentes durante la inferencia. Cuando los LLMs se aumentan con herramientas o bases de datos externas que contienen información sensible (por ejemplo, Información de Identificación Personal o PII), los resultados del modelo pueden revelar inadvertidamente este contexto. Los métodos existentes de inferencia con preservación de la privacidad sufren limitaciones significativas:

1. Falta de Garantías Probables: Métodos como la ingeniería de prompts o el simple escrutinio (redacción) no ofrecen garantías formales de privacidad y son vulnerables a ataques de reconstrucción o de inferencia de membresía.
2. Mala Relación Utilidad/Privacidad: Los métodos de inferencia con Privacidad Diferencial (DP) como DP-Decoding (interpolación con ruido uniforme) o DP-Prompt (recorte de logits) suelen resultar en una degradación severa de la calidad del texto (alta perplejidad) para lograr la privacidad.

El desafío específico abordado es la privatización de documentos: parafrasear un documento que contiene tokens sensibles de tal manera que un atacante no pueda inferir de manera fiable los tokens sensibles originales a partir del texto parafraseado, manteniendo al mismo tiempo una alta calidad de texto.

Metodología: DP-FUSION

Los autores proponen DP-FUSION, un mecanismo de Inferencia con Privacidad Diferencial (DPI) a nivel de token que acota de forma demostrable la influencia de los tokens de contexto sensibles en el contenido generado. El método opera bajo un modelo de amenaza donde un atacante de caja gris adaptativo conoce el método de inferencia, la arquitectura del modelo y los pesos, y observa el resultado privatizado y la entrada redactada.

Mecanismo Central

DP-FUSION adapta el concepto de predicción privada basada en ensambles (similar a PMixED) al entorno de inferencia. El proceso consta de cuatro pasos principales:

1. Etiquetado de Tokens: Se identifica un subconjunto de tokens sensibles en el documento de entrada y se agrupan en grupos de privacidad ($G_1, \dots, G_m$) utilizando un etiquetador (por ejemplo, NER).
2. Inferencia Base (Pública): El LLM se ejecuta sobre el documento con todos los tokens sensibles redactados (reemplazados por marcadores de posición de igual longitud) para obtener una distribución de siguiente token "pública" ($p_{pub}$).
3. Inferencia Privada: El LLM se ejecuta $m$ veces (una para cada grupo de privacidad), donde solo se revelan los tokens de un grupo específico $G_i$ junto con el contexto redactado. Esto genera $m$ distribuciones de siguiente token "privadas" ($p_{priv, i}$).
4. Mezcla de Distribuciones (Mollificación): Para cada grupo $i$, se calcula un coeficiente $\lambda_i \in [0, 1]$ mediante búsqueda por bisección. $\lambda_i$ es el valor máximo tal que la divergencia de Rényi entre la distribución mixta ($\lambda_i p_{priv, i} + (1-\lambda_i) p_{pub}$) y la distribución base $p_{pub}$ satisface un presupuesto de privacidad predefinido $\beta_i$.
   • La distribución de siguiente token final es un promedio de estas distribuciones mezcladas.
   • Se muestrea un token de esta distribución mixta.

Garantías de Privacidad

El método proporciona Privacidad Diferencial de Rényi (RDP) por grupo $(\alpha, \beta_i)$.

• Definición de Vecindad: Dos documentos se consideran adyacentes si difieren únicamente por la presencia/ausencia de todos los tokens en un único grupo de privacidad.
• Límite Teórico: El algoritmo asegura que la divergencia de Rényi simétrica entre las distribuciones de salida de documentos adyacentes esté acotada. Esto se traduce en garantías de $(\epsilon, \delta)$-DP para todo el transcript generado, donde $\epsilon$ está controlado por el número de tokens generados, el orden de Rényi $\alpha$ y los presupuestos de grupo $\beta_i$.
• Robustez: El mecanismo limita la ventaja del atacante incluso si la consulta es elegida de forma adversaria (por ejemplo, intentos de jailbreak).

Contribuciones Clave

1. Inferencia DP a Nivel de Token: Introducción de un método que proporciona garantías de DP demostrables a nivel de token durante la inferencia de LLM, específicamente para tareas de parafraseo.
2. Mejor Relación Utilidad/Privacidad: A diferencia de los métodos anteriores que añaden ruido a la distribución de salida o recortan los logits, DP-FUSION mezcla distribuciones basadas en la diferencia entre contextos "sensibles" y "no sensibles". Esto permite la retención de más información semántica mientras se limita estrictamente la filtración de tokens específicos.
3. Mitigación de la Inyección de Prompts: Los autores demuestran que el mecanismo también puede aplicarse a la seguridad, donde los "tokens sensibles" se definen como fragmentos recuperados de fuentes no confiables (por ejemplo, en tuberías de RAG). Al limitar la influencia de estos fragmentos, DP-FUSION mitiga los ataques de inyección de prompts.
4. Implementación de Código Abierto: Los autores lanzan un paquete PyPI y un repositorio de GitHub que permiten la aplicación de DP-FUSION a cualquier LLM y conjunto de datos.

Resultados Experimentales

Los experimentos se realizaron utilizando el modelo Qwen 2.5 7B-Instruct en el conjunto de datos TAB-ECHR (casos de la Corte Europea de Derechos Humanos con PII anotados manualmente).

• Utilidad (Perplejidad): DP-FUSION logró una perplejidad (PPL) de 1.426 en un ajuste de privacidad relajado ($\alpha\beta = 0.10$) y de 1.459 en un ajuste estricto ($\alpha\beta = 0.01$).
  • Esto es significativamente mejor que DP-Decoding (PPL > 3.9) y DP-Prompt (PPL > 4.26 para ancho 50, y >100 para ancho 5).
  • DP-FUSION logra una perplejidad 6 veces menor que el mejor baseline (DP-Prompt) en niveles de privacidad comparables.
• Utilidad (LLM-como-Juez): En comparaciones por pares contra otros métodos, los parafraseos de DP-FUSION ganaron >95% de las veces contra DP-Decoding y DP-Prompt. También superó al baseline "No DPI - NER" (redacción pura) el 45% de las veces en configuraciones de privacidad estricta.
• Privacidad (Tasa de Éxito de Ataque): Los autores evaluaron ataques de recuperación de tokens (ataques Min-K% y LOSS).
  • DP-FUSION mantuvo una Tasa de Éxito de Ataque (ASR) cercana al azar (aprox. 26-29% para $|C|=5$) incluso con alta utilidad.
  • En contraste, DP-Prompt (ancho 50) mostró un ASR de ~50%, lo que indica un fallo al proporcionar privacidad empírica a pesar de su menor perplejidad.
  • DP-FUSION ofreció una privacidad ligeramente mejor que el baseline No-DPI NER en ajustes estrictos debido a la aleatoriedad introducida durante la mezcla de distribuciones.

Significancia y Reivindicaciones

El artículo afirma que DP-FUSION representa un avance significativo en el despliegue de LLMs con datos sensibles al ofrecer garantías de privacidad demostrables sin la severa degradación de utilidad vista en los métodos de inferencia con DP existentes.

• Cambio de Paradigma: Los autores argumentan que, en lugar de tratar la privacidad como un paso de post-procesamiento o una inyección de ruido global, la privacidad puede gestionarse modelando explícitamente la influencia de grupos de tokens específicos y acotando dicha influencia mediante la mezcla de distribuciones.
• Practicidad: El método es computacionalmente factible (paralelizable) y funciona con LLMs existentes sin requerir reentrenamiento.
• Utilidad Dual: Más allá de la privacidad, se afirma que el mecanismo es efectivo contra amenazas de seguridad como la inyección de prompts en sistemas RAG, proporcionando un enfoque unificado para manejar el contexto no confiable.

Los autores mantienen la modestia respecto a la dependencia de la calidad del etiquetador de tokens inicial (NER), reconociendo que los falsos negativos en el etiquetado quedan fuera de las garantías teóricas, aunque los resultados empíricos sugieren que los etiquetadores estándar son suficientes para los casos de uso demostrados.