Resumen Técnico: Integración de la Correlación de Características en la Privacidad Diferencial con Aplicaciones en DP-ERM

Enunciado del Problema

La Privacidad Diferencial (DP) estándar impone restricciones de privacidad uniformes en todas las características de un conjunto de datos, tratando cada característica como igualmente sensible. Esta suposición a menudo conduce a compromisos privacidad-utilidad excesivamente conservadores en aplicaciones del mundo real donde la sensibilidad de las características es heterogénea. Por ejemplo, en datos de salud, las lecturas de presión arterial pueden ser altamente sensibles, mientras que los grupos de edad lo son menos. Sin embargo, estas características suelen estar correlacionadas; revelar la edad puede filtrar inadvertidamente información sobre las distribuciones de la presión arterial.

Los enfoques de DP "semi-sensibles" existentes intentan abordar esto tratando algunas características como públicas y otras como privadas. No obstante, estos métodos a menudo asumen independencia entre las características sensibles e insensibles. Cuando existen correlaciones, tratar una característica como pública aún puede comprometer la privacidad de la característica sensible con la que se correlaciona, lo que conduce a posibles violaciones de privacidad. Por el contrario, aplicar ruido uniforme a todas las características (DP estándar) distorsiona el conjunto de datos innecesariamente, degradando la utilidad. El artículo identifica una brecha en la literatura existente: la falta de marcos que consideren rigurosamente las correlaciones entre características sensibles e insensibles para mejorar la utilidad sin sacrificar las garantías de privacidad.

Metodología: Marco CorrDP

Los autores proponen CorrDP (Privacidad Diferencial consciente de la Correlación), una definición relajada de DP que incorpora las correlaciones de características en la restricción de privacidad.

1. Definición de CorrDP

CorrDP modifica la definición estándar de DP introduciendo una métrica de distancia $d(D, D')$ entre bases de datos vecinas $D$ y $D'$.

• Bases de Datos Vecinas: Definidas como aquellas que difieren en como máximo una entrada, donde la diferencia ocurre ya sea en características sensibles ($S$) o en características insensibles ($U$), pero no en ambas simultáneamente.
• Métrica de Distancia: La restricción de privacidad se relaja basándose en la correlación entre la característica cambiada y las características sensibles.
  $$P(A(D) \in R) \leq e^{\frac{\epsilon}{d(D, D')}} P(A(D') \in R) + \delta$$
• Elección de la Métrica: El artículo utiliza la Distancia de Variación Total (TV) para cuantificar la correlación. Específicamente, $d(D, D')$ se define como la distancia TV máxima entre las distribuciones condicionales de las características sensibles dadas las características insensibles antes y después del cambio.
  • Si el cambio ocurre en una característica sensible, $d(D, D') = 1$ (DP estándar).
  • Si el cambio ocurre en una característica insensible que es independiente de las características sensibles, $d(D, D') = 0$ (sin costo de privacidad).
  • Si el cambio ocurre en una característica insensible correlacionada con características sensibles, $d(D, D') \in (0, 1)$, relajando el presupuesto de privacidad a $\epsilon / d(D, D')$.

2. Mecanismos y Algoritmos

Los autores adaptan mecanismos estándar al marco CorrDP:

• Mecanismo de Laplace CorrDP: Introduce una "sensibilidad correlacionada" $\Delta_C f$ que pondera la sensibilidad de las características insensibles por su distancia TV a las características sensibles. Esto permite una inyección de ruido reducida en las características insensibles.
• CorrDP-SGD (Descenso de Gradiente Estocástico): Aplicado a la Minimización del Riesgo Empírico (DP-ERM).
  • Calibración del Ruido: La varianza del ruido $\sigma_i^2$ para la $i$-ésima característica se ajusta. Para características sensibles ($i \in S$), se utiliza ruido estándar. Para características insensibles ($i \in U$), la escala de ruido se reduce por un factor dependiente de $\max\{TV(i), m_s^2/m^2\}$, donde $m_s$ es el número de características sensibles y $m$ es la dimensión total.
  • Manejo de Correlaciones Desconocidas: Cuando la distancia TV es desconocida, los autores proponen un procedimiento de estimación utilizando un límite superior de confianza de la distancia TV empírica. Demuestran que este paso de estimación, cuando está adecuadamente acotado, mantiene las garantías de privacidad y utilidad.

3. Garantías Teóricas

• Privacidad: Los algoritmos propuestos satisfacen $(\epsilon, \delta)$-CorrDP.
• Utilidad: Para funciones de pérdida convexas (incluyendo Modelos Lineales Generalizados como OLS y Regresión Logística), la brecha de utilidad (riesgo empírico excesivo) está acotada por:
  $$R(\theta_{priv}) = \tilde{O}\left( \frac{\sqrt{m_s + \min\{\sum_{i \in U} TV(i), m_s/4\}}}{n\epsilon} \right)$$
  Esto representa una mejora sobre el límite estándar de DP-ERM de $\tilde{O}(\sqrt{m}/(n\epsilon))$ cuando el número de características sensibles $m_s$ es pequeño en relación con las características totales $m$, y las características insensibles están débilmente correlacionadas con las sensibles.
• Límite Inferior: El artículo establece un límite inferior casi coincidente, confirmando que la mejora de utilidad es teóricamente ajustada.

Contribuciones Clave

1. Nuevo Marco (CorrDP): Introducción de una noción de DP que incorpora explícitamente las correlaciones de características mediante una métrica de distancia (distancia TV), colapsando a la DP estándar cuando todas las características son sensibles.
2. Utilidad Mejorada en DP-ERM: Diseño de algoritmos CorrDP-SGD que incorporan ruido dependiente de la distancia. Los resultados teóricos muestran una mejora en la utilidad por un factor de $\sqrt{m/m_s}$ bajo condiciones leves.
3. Estimación de Distancia: Un procedimiento para estimar la distancia TV desconocida a partir del conjunto de datos utilizando límites superiores de confianza, asegurando que el error de estimación no comprometa las garantías de privacidad o utilidad.
4. Extensión a Redes Neuronales: Adaptación del marco a redes neuronales, reduciendo específicamente el ruido en la primera capa donde se procesan las características insensibles, obteniendo un rendimiento mejorado sobre el DP-SGD estándar.
5. Validación Empírica: Experimentos en conjuntos de datos sintéticos y del mundo real (Adult, Sepsis, Tarjeta de Crédito, Costo Médico) que demuestran que CorrDP supera consistentemente a la DP estándar y a las líneas base "Parcial" (descartando características sensibles), logrando una precisión comparable a la "Semi" (ignorando correlaciones) pero con garantías de privacidad más fuertes.

Resultados

• Datos Sintéticos: En tareas de regresión de cresta, CorrDP logró brechas de utilidad más bajas (mejor precisión) que la DP estándar en diversos presupuestos de privacidad ($\epsilon$), particularmente en regímenes de alta privacidad. Rindió de manera comparable a la línea base "Semi" (que ignora las correlaciones) pero con protección de privacidad rigurosa.
• Conjuntos de Datos del Mundo Real:
  • Adult (Predicción de Ingresos): CorrDP superó a la línea base Semi y sufrió menos de una caída del 4% en precisión en comparación con los modelos no privados en regímenes de alta privacidad.
  • Sepsis (Predicción de Supervivencia): Utilizando una red neuronal de 2 capas, CorrDP igualó el rendimiento de Semi y superó consistentemente a la DP Estándar.
  • Tarjeta de Crédito y Costo Médico: Se observaron tendencias similares, con CorrDP logrando una utilidad cercana a Semi mientras mantenía garantías estrictas de privacidad.
• Estimación de la Distancia TV: El método de estimación propuesto manejó con éxito las correlaciones desconocidas, ajustando dinámicamente las escalas de ruido basándose en la fuerza de correlación estimada (por ejemplo, en el conjunto de datos Adult, la característica "clase de trabajo" requirió un ruido mayor debido a su alta correlación con características sensibles).

Significado y Afirmaciones

El artículo afirma que CorrDP ofrece una forma fundamentada de relajar las restricciones de privacidad en presencia de correlaciones de características sin comprometer las garantías de privacidad rigurosas. Al cuantificar la "filtración" desde características insensibles hacia sensibles mediante la distancia TV, el marco permite una inyección de ruido dependiente de la distancia.

Los autores enfatizan que su enfoque:

• No depende de datos públicos ni de suposiciones específicas sobre la geometría del gradiente (a diferencia de otros métodos de mejora de utilidad).
• Proporciona una generalización natural de la DP estándar y la DP semi-sensible.
• Demuestra que tener en cuenta las correlaciones permite una utilidad significativamente mejor en entornos de alta dimensión donde solo un subconjunto de características es realmente sensible.

El trabajo se presenta como un paso hacia un aprendizaje automático que preserva la privacidad de manera más práctica, reconociendo que los datos del mundo real a menudo contienen niveles de sensibilidad heterogéneos y dependencias complejas que la DP estándar no explota para obtener ganancias de utilidad. Los autores señalan limitaciones, como el costo computacional de estimar distancias TV en altas dimensiones y el requisito de particiones claramente definidas de sensibles/insensibles, señalando estos aspectos como direcciones para futuras investigaciones.