A Systematic Exploration of Text Decomposition and Budget Distribution in Differentially Private Text Obfuscation

1. Planteamiento del Problema

El artículo aborda una brecha crítica en la ofuscación de texto con Privacidad Diferencial (DP). Aunque la DP garantiza la privacidad añadiendo ruido a los datos, su aplicación al texto es desafiante porque el texto es secuencial y el significado semántico depende de la relación entre las palabras.

• El Problema Central: La mayoría de los métodos existentes aplican la DP a nivel de palabra (perturbando tokens individuales). Sin embargo, la privatización significativa del texto debe preservar la utilidad de todo el documento.
• El Desafío: Distribuir simplemente un presupuesto de privacidad fijo ($\epsilon$) de manera uniforme en todas las palabras es subóptimo. No tiene en cuenta la importancia variable de diferentes palabras ni la cohesión semántica de las frases.
• La Brecha: No ha existido una evaluación sistemática de cómo la descomposición de texto (dividir el texto en unidades significativas como frases o oraciones) interactúa con la distribución del presupuesto de privacidad (asignar $\epsilon$ basándose en la importancia de la palabra). Se desconoce si combinaciones específicas de estas técnicas producen mejores compensaciones entre privacidad y utilidad.

2. Metodología

Los autores diseñaron una configuración experimental factorial completa para evaluar 180 configuraciones diferentes. El flujo de trabajo involucra tres etapas principales:

A. Descomposición de Texto (5 Métodos)

En lugar de tratar el texto como una secuencia plana de palabras, los autores descomponen los documentos de entrada en "fragmentos" (Expresiones de Múltiples Palabras o MWE) utilizando cinco estrategias distintas:

1. Basado en Asociación (PMI): Utiliza la Información Mutua Puntual para seleccionar de manera codiciosa los n-gramas más largos (bigramas, trigramas, cuatrigramas) que aparecen frecuentemente juntos.
2. Basado en Asociación (LLR): Utiliza la Razón de Verosimilitud Logarítmica para identificar colocaciones estadísticamente significativas.
3. Basado en Asociación (puntuación t): Utiliza puntuaciones t para medir la fuerza de la asociación entre palabras.
4. Basado en POS: Utiliza un BigramTagger entrenado (NLTK) para segmentar el texto basándose en patrones de Parte del Discurso (por ejemplo, frases nominales).
5. Basado en WordNet: Selecciona de manera codiciosa los n-gramas más largos que existen como sinsets en la base de datos léxica WordNet.

B. Distribución del Presupuesto de Privacidad (6 Métodos)

Una vez que el texto se fragmenta, el presupuesto total a nivel de documento ($\epsilon$) debe asignarse a estos fragmentos. Los autores probaron seis estrategias de distribución:

1. Línea Base: Distribución uniforme ($\epsilon$ dividido equitativamente por el número de palabras).
2. Pesos de Atención: Utiliza puntuaciones de atención de BERT para identificar tokens importantes; una mayor importancia recibe un $\epsilon$ más bajo (más ruido).
3. Gradientes Integrados: Utiliza Captum para calcular vectores de atribución para los tokens; la importancia se deriva de la norma L2 de estos vectores.
4. Contenido de Información (IC): Utiliza valores de IC precalculados de NLTK basados en frecuencias de WordNet; las palabras más raras reciben un $\epsilon$ más bajo.
5. KEYBERT: Utiliza incrustaciones de BERT para extraer palabras clave; puntuaciones de palabras clave más altas reciben un $\epsilon$ más bajo.
6. YAKE: Utiliza un método estadístico de extracción de palabras clave; puntuaciones más bajas (que indican mayor importancia) reciben un $\epsilon$ más bajo.

C. Mecanismo de Privatización

• Entrenamiento de Incrustaciones: Para cada método de descomposición, se entrena un modelo Word2Vec donde los n-gramas se tratan como tokens individuales (por ejemplo, "todo_el_mundo").
• Ofuscación: Se aplica el mecanismo MADLIB (DP Local Métrica). Añade ruido Laplaciano calibrado a la incrustación de cada fragmento basado en su presupuesto asignado y proyecta el vector ruidoso de vuelta al n-gram válido más cercano en el vocabulario.
• Conjuntos de Datos: Los experimentos se ejecutaron en reseñas de Trustpilot y Yelp (10k muestras cada una) en tres niveles de privacidad (Alto, Medio, Bajo $\epsilon$).

D. Métricas de Evaluación

El estudio evalúa tres dimensiones:

1. Privacidad:
   • Enmascaramiento de PI: Porcentaje de Identificadores Personales (PI) eliminados con éxito.
   • Inferencia Adversarial: Atacantes estáticos y adaptativos (modelos DeBERTa) intentando inferir la identidad/género del autor.
2. Utilidad:
   • Utilidad de Flujo Inferior: Puntuación F1 de un modelo de análisis de sentimientos ajustado finamente en texto ofuscado.
   • Similitud Semántica: Similitud coseno entre las incrustaciones del texto original y el ofuscado.
   • Cohesión: Perplejidad (GPT-2) del texto ofuscado.
3. Compensación: Una métrica de Ganancia Relativa (RG) que pondera las ganancias de privacidad frente a las pérdidas de utilidad.

3. Contribuciones Clave

1. Evaluación Sistemática: El primer estudio integral que evalúa 180 configuraciones únicas (5 descomposiciones $\times$ 6 distribuciones $\times$ 2 conjuntos de datos $\times$ 3 niveles de privacidad).
2. Demostración de Sensibilidad al Diseño: Demuestra que las decisiones de diseño impactan significativamente los resultados. Incluso con un $\epsilon$ a nivel de documento idéntico, diferentes pares de descomposición/distribución producen compensaciones entre privacidad y utilidad muy diferentes.
3. Identificación de Emparejamientos Óptimos:
   • Mejor Compensación: La descomposición basada en POS combinada con Pesos de Atención produjo la mayor Ganancia Relativa (0.236).
   • Mejor Preservación de Utilidad: La descomposición PMI combinada con la distribución YAKE.
   • Mejor Protección de Privacidad: La descomposición LLR combinada con la distribución KeyBERT.
4. Código de Código Abierto: Se lanzó una base de código modular para facilitar la investigación futura en la ofuscación de texto con DP.

4. Resultados y Hallazgos Clave

• No hay un Ganador Universal: No existe una única "mejor" combinación para todos los escenarios. La estrategia óptima depende de si la prioridad es maximizar la privacidad, preservar la utilidad o equilibrar ambas.
• Significancia de la Descomposición: El análisis estadístico (ANOVA de dos vías) mostró que la elección del método de descomposición tiene un impacto más consistente y significativo en la compensación ($F=5.57, p<0.001$) que el método de distribución, aunque ambos son significativos.
• Interacción: La interacción entre la descomposición y la distribución no fue estadísticamente significativa, lo que sugiere que estas dos etapas pueden optimizarse de manera algo independiente.
• El "Caso Curioso" de las Compensaciones: El estudio observó que a medida que disminuye el nivel de privacidad (mayor $\epsilon$), la ganancia relativa aumenta paradójicamente. Esto sugiere que la preservación de la utilidad a menudo domina el cálculo de la compensación en niveles altos de $\epsilon$, y que el punto "óptimo" requiere un equilibrio cuidadoso para evitar escenarios donde se logra una alta utilidad a costa de una ganancia de privacidad insignificante.
• Importancia Lingüística: Los resultados validan que tratar el texto como una estructura lingüística (frases, etiquetas POS) en lugar de una bolsa de palabras es crucial para una ofuscación DP efectiva.

5. Significancia

Este artículo cambia fundamentalmente el paradigma de la ofuscación de texto con DP, pasando de un enfoque "talla única" a nivel de palabra a un marco modular informado por la lingüística.

• Implicación Práctica: Los profesionales pueden ahora seleccionar estrategias específicas de descomposición y distribución basadas en su dominio específico (por ejemplo, reseñas vs. noticias) y objetivos de privacidad, en lugar de depender de una presupuestación uniforme ingenua.
• Contribución Teórica: Proporciona evidencia empírica de que garantías teóricas de privacidad equivalentes ($\epsilon$) no garantizan resultados empíricos equivalentes. El método de aplicar el presupuesto es tan importante como el tamaño del presupuesto en sí.
• Trabajo Futuro: El artículo sienta las bases para sistemas DP "inteligentes" que adapten dinámicamente la fragmentación de texto y la asignación de presupuestos para maximizar la utilidad de los datos privatizados mientras mantienen estándares rigurosos de privacidad.