Beyond Theoretical Bounds: Empirical Privacy Loss Calibration for Text Rewriting Under Local Differential Privacy

1. Planteamiento del Problema

El uso creciente de Grandes Modelos de Lenguaje (LLM) ha incrementado la necesidad de compartir datos textuales de manera privada. La Privacidad Diferencial Local (LDP) es un enfoque donde los usuarios perturban sus propios datos antes de enviarlos, sin necesidad de un curador confiable.

Sin embargo, existe una brecha crítica entre la garantía teórica y la privacidad práctica en la reescritura de texto:

• Ininterpretabilidad del $\epsilon$: El parámetro de presupuesto de privacidad ($\epsilon$) se utiliza como un límite superior teórico para la pérdida de privacidad. Sin embargo, un valor nominal de $\epsilon$ (por ejemplo, $\epsilon=10$) no comunica directamente cuánto se filtra la información en la práctica.
• Incomparabilidad entre mecanismos: Diferentes mecanismos de reescritura definen la privacidad a distintas granularidades (nivel de token vs. nivel de oración). Un $\epsilon$ a nivel de token no es directamente comparable con un $\epsilon$ a nivel de oración debido a la composición de los presupuestos.
• Falta de calibración empírica: Los mecanismos con el mismo $\epsilon$ nominal pueden producir resultados con niveles de fuga de privacidad radicalmente diferentes, como se demuestra en los ejemplos del artículo (Tabla 1), donde algunas salidas son casi idénticas al original y otras son ininteligibles, a pesar de tener el mismo presupuesto teórico.

El problema central es la falta de una métrica común y empírica para evaluar y comparar la privacidad real de estos mecanismos más allá de los límites teóricos.

2. Metodología: TeDA (Text Distinguishability Audit)

Los autores proponen TeDA, un marco de calibración empírica basado en la indistinguibilidad. La idea fundamental es medir la capacidad de un adversario para identificar la fuente original de un texto privatizado entre un conjunto de candidatos.

Componentes Clave del Método:

1. Ataques de Indistinguibilidad:
   Se diseñan dos tipos de ataques para evaluar la privacidad en diferentes espacios:

   • Atribución basada en texto (Surface-level): Utiliza un LLM (Qwen3-8B) para comparar el texto privatizado con candidatos originales basándose en cues superficiales (redacción, sintaxis). Esto simula lo que un adversario humano percibiría.
   • Atribución basada en embeddings (Semantic-level): Utiliza modelos de incrustación (como all-mpnet-base-v2) para medir la distancia semántica en el espacio vectorial. Esto detecta fugas de significado que persisten incluso si la forma superficial cambia drásticamente.

2. Selección de Candidatos (Probabilistic Transition Sampling):
   A diferencia de los datos tabulares, el espacio de texto es vasto y estructurado. La elección de los "distractores" (candidatos incorrectos) es crítica.

   • Se propone una estrategia unificada que interpola entre muestreo uniforme, muestreo "más similar" (candidatos semánticamente cercanos) y muestreo "más diverso" (candidatos semánticamente distantes).
   • El estudio adopta el muestreo más diverso ($\lambda < 0$) como configuración principal para maximizar la presión sobre el adversario y obtener una estimación conservadora y robusta de la privacidad.

3. Estimación Eficiente:
   Los métodos de auditoría tradicionales requieren millones de pruebas de Monte Carlo para estimar tasas de Verdaderos Positivos (TP) y Falsos Positivos (FP) por separado, lo cual es prohibitivo para mecanismos que ejecutan LLMs grandes.

   • TeDA introduce un estimador de forma reducida que demuestra que la información de distinguibilidad puede capturarse únicamente mediante eventos de éxito agregados, eliminando la necesidad de calcular FP explícitamente. Esto reduce a la mitad las consultas al modelo, haciendo la evaluación escalable.

3. Contribuciones Clave

1. Marco TeDA: Primer marco de auditoría empírica diseñado específicamente para la reescritura de texto bajo LDP, extendiendo la auditoría basada en distinguibilidad desde datos tabulares a dominios de lenguaje natural de alta dimensión.
2. Estrategias de Ataque Complementarias: La combinación de ataques basados en LLM (superficie) y embeddings (semántica) proporciona una visión holística de la privacidad, capturando tanto la fuga de estilo como la de significado.
3. Eficiencia Computacional: El nuevo estimador permite evaluar mecanismos costosos (como DP-BART o DP-MLM) con un costo computacional viable ($10^4$ pruebas en lugar de $10^6$), manteniendo la precisión estadística.
4. Calibración Cruzada: Proporciona una base común para comparar mecanismos que reportan $\epsilon$ en granularidades incompatibles (token vs. oración), demostrando que los valores nominales no son suficientes para la toma de decisiones.

4. Resultados Experimentales

El estudio evaluó seis mecanismos representativos (ADePT, DP-BART, DP-Paraphrase, DP-Prompt, DP-MLM, DP-ST) en cuatro conjuntos de datos (ATIS, SST-2, SNIPS, Trustpilot).

• Discrepancia entre $\epsilon$ Teórico y Empírico ($\epsilon_{emp}$):

  • Los mecanismos que inyectan ruido en el espacio de embeddings a nivel de oración (ADePT y DP-BART) mostraron un $\epsilon_{emp}$ cercano a cero, incluso con presupuestos nominales altos ($\epsilon=1000$ o $2500$). Esto indica una fuerte protección empírica.
  • Los mecanismos a nivel de token (DP-MLM, DP-Paraphrase, DP-Prompt) mostraron un $\epsilon_{emp}$ significativamente más alto que crece con el presupuesto nominal, revelando fugas de privacidad mucho mayores de lo que sugiere su $\epsilon$ nominal.
  • Conclusión: Un $\epsilon=1000$ en un mecanismo de oración es mucho más privado que un $\epsilon=1000$ en un mecanismo de token (que equivale a un $\epsilon$ efectivo de $N \times 1000$ a nivel de oración).

• Comportamiento Anómalo:

  • DP-BART: Mostró una disminución no monótona en la distinguibilidad a $\epsilon$ muy altos. Esto se debe a que, con mucho ruido, el modelo decae a contenido genérico o memorizado, volviéndose difícil de atribuir a la fuente original (aunque esto también destruye la utilidad).
  • DP-Paraphrase: Mostró una respuesta plana. El modelo fine-tuneado en pares de implicación (SNLI) tiende a generar patrones estilísticos fijos (ej. empezar con "The...") independientemente del presupuesto, haciendo que la salida sea insensible a cambios en $\epsilon$.

• Compromiso Privacidad-Utilidad:
  La métrica $\epsilon_{emp}$ se correlaciona mejor con la utilidad real (precisión en tareas de clasificación downstream) que el $\epsilon$ nominal. Los mecanismos con bajo $\epsilon_{emp}$ (como ADePT) preservan mejor la utilidad, mientras que los de alto $\epsilon_{emp}$ (aunque tengan $\epsilon$ nominal bajo) sufren más degradación o ofrecen menos protección real.

5. Significado e Impacto

El trabajo es fundamental para el despliegue real de LDP en NLP por las siguientes razones:

1. Superación de la Teoría: Demuestra que las garantías teóricas ($\epsilon$) a menudo son demasiado conservadoras o mal interpretadas, y que la privacidad real debe medirse empíricamente.
2. Herramienta de Comparación: Ofrece a los investigadores y practicantes una herramienta para comparar mecanismos dispares en un terreno común, facilitando la selección del mecanismo adecuado según el equilibrio deseado entre privacidad y utilidad.
3. Auditoría de Mecanismos: Permite identificar fallos en la implementación o diseño de mecanismos específicos (como el comportamiento de saturación de DP-Paraphrase o la inestabilidad de DP-BART en ciertos rangos).
4. Estándar Futuro: Establece un protocolo para la auditoría empírica en dominios de texto, sugiriendo que la comunidad debe moverse hacia la reporte de métricas de distinguibilidad empírica junto con los límites teóricos.

En resumen, TeDA transforma la evaluación de la privacidad en texto de un ejercicio teórico abstracto a una medición práctica y comparable, revelando que la "privacidad nominal" puede ser una ilusión si no se calibra empíricamente.