Metric-Normalized Posterior Leakage (mPL): Attacker-Aligned Privacy for Joint Consumption

Resumen Técnico: Fuga de Posterior Normalizada por Métrica (mPL) para Consumo Conjunto

Enunciado del Problema
La Privacidad Diferencial Local (LDP) y su variante consciente de la métrica, la Privacidad Diferencial Métrica (mDP), tradicionalmente ofrecen garantías por registro al acotar la indistinguibilidad de las distribuciones de salida para cualquier par de entradas. Sin embargo, estos marcos a menudo asumen liberaciones independientes o analizan la privacidad sobre una base por registro. En los sistemas modernos de aprendizaje automático, los datos se consumen frecuentemente bajo observación conjunta, donde un adversario agrega múltiples liberaciones correlacionadas (por ejemplo, una secuencia de tokens perturbados en una oración o múltiples ubicaciones perturbadas en una trayectoria).

El artículo argumenta que las garantías estándar de mDP pueden ser insuficientes en estos entornos. Incluso si un mecanismo satisface mDP para registros individuales, un atacante equipado con modelos de inferencia aprendidos (por ejemplo, RNN, LSTM, Transformers) puede agregar evidencia a través de elementos correlacionados para agudizar significativamente sus creencias posteriores sobre los secretos originales. Esta fuga de "consumo conjunto" no es capturada por los límites de razón por liberación, lo que genera una brecha entre las garantías teóricas de privacidad y el riesgo inferencial real.

Metodología
Para abordar esto, los autores introducen un nuevo marco de privacidad centrado en la Fuga de Posterior Normalizada por Métrica (mPL) y un mecanismo de auditoría adaptativo llamado mPL Adaptativo (AmPL).

1. Fuga de Posterior Normalizada por Métrica (mPL):

   • Definición: mPL cuantifica el cambio en las probabilidades posteriores de un atacante entre dos secretos candidatos ($x_i$ y $x_j$) después de observar una liberación conjunta $y$, normalizado por la distancia semántica $d(x_i, x_j)$ entre ellos.
   • Equivalencia Teórica: Los autores demuestran que, para una sola liberación o composiciones independientes, acotar uniformemente mPL es matemáticamente equivalente a satisfacer mDP. Esto establece mPL como una generalización que recupera mDP en regímenes estándar.
   • Fallo en el Consumo Conjunto Dependiente: Bajo consumo conjunto dependiente, el artículo demuestra que satisfacer mDP no garantiza una mPL baja. Los secretos correlacionados permiten que los agregadores aprendidos compongan la evidencia, resultando en una alta fuga posterior (mPL grande) incluso cuando se cumplen los límites de mDP por registro.

2. mPL Acotada Probabilísticamente (PBmPL):

   • Reconociendo que el control exacto del peor caso es intratable para datos de alta dimensión y correlacionados, los autores definen PBmPL. Esto relaja la restricción para acotar la probabilidad de que mPL exceda un presupuesto objetivo $\epsilon$, en lugar de requerir que se cumpla para cada instancia posible.

3. Marco mPL Adaptativo (AmPL):

   • Bucle de Confianza y Verificación: AmPL operacionaliza PBmPL a través de un bucle de retroalimentación que involucra a un "adversario aprendido".
   • Paso 1 (Perturbación): Los datos se perturban utilizando mecanismos por nivel (por ejemplo, distinguiendo entre Información de Identificación Personal (PII) e Información Potencialmente Identificable (PoII)).
   • Paso 2 (Auditoría): Una red neuronal de alta capacidad (RNN, LSTM o Transformer) se entrena para reconstruir secretos a partir de datos perturbados. Este modelo aproxima la distribución posterior del atacante.
   • Paso 3 (Retroalimentación y Ajuste): El sistema estima la tasa empírica de violación de mPL. Si las violaciones superan un umbral, los parámetros de perturbación se actualizan adaptativamente para reducir la fuga mientras se equilibra la utilidad.
   • Paso 4 (Reasignación Bayesiana): Para recuperar la utilidad perdida durante la perturbación, el marco aplica una reasignación bayesiana (post-procesamiento) a las salidas perturbadas. Los autores demuestran que este paso preserva la restricción conjunta de mPL.

Contribuciones Clave

• Formalización de mPL: El artículo introduce mPL como una métrica alineada con el atacante y consciente de la geometría que desplaza el objetivo de evaluación desde las razones de salida aisladas hasta la magnitud del agudamiento de creencias bajo observación conjunta.
• Demostración de la Brecha mDP-mPL: A través de modelos explícitos de secretos conjuntos y agregadores aprendidos sin modelo (RNN, LSTM, Transformer), los autores muestran que los mecanismos estándar de mDP (como el Mecanismo Exponencial) pueden fallar en prevenir una fuga posterior significativa cuando los registros están correlacionados.
• Marco Operativo (AmPL): La propuesta de un marco práctico e iterativo que utiliza adversarios aprendidos para auditar y ajustar parámetros de privacidad, avanzando más allá de límites estáticos del peor caso hacia un control probabilístico y basado en datos.
• Garantías Teóricas: El artículo proporciona pruebas para la invarianza de post-procesamiento de mPL, la equivalencia de mPL y mDP en configuraciones independientes, y garantías de concentración para el procedimiento de auditoría basado en muestreo.

Resultados Experimentales
El marco se evaluó en conjuntos de datos de incrustaciones de texto (AG-News, IMDB, Reseñas de Amazon) utilizando incrustaciones GloVe preentrenadas.

• Reducción de Violaciones: Los mecanismos estándar de mDP (Mecanismo Exponencial) exhibieron ratios de violación de mPL no triviales (por ejemplo, ~19.29% en AG-News con un atacante Transformer en $\epsilon=2.40$). En contraste, AmPL redujo sustancialmente estas violaciones (por ejemplo, a ~15.07% en la misma configuración, con reducciones mayores en otras configuraciones, como una reducción relativa del 57.1% en AG-News con una RNN).
• Preservación de la Utilidad: Los autores encontraron que, aunque AmPL redujo la fuga, la pérdida de utilidad (medida por la distorsión semántica) permaneció comparable a los métodos estándar, particularmente cuando se aplicó reasignación bayesiana. La reasignación mejoró significativamente la utilidad, reduciendo la pérdida de ~0.22 a ~0.13 en ciertas configuraciones sin comprometer la garantía de privacidad.
• Robustez: Los resultados se mantuvieron a través de diferentes arquitecturas de atacantes (RNN, LSTM, Transformer) y conjuntos de datos, indicando que el marco controla efectivamente la fuga contra ataques de inferencia aprendidos fuertes.

Significado y Afirmaciones
El artículo afirma que mPL y el marco AmPL proporcionan una protección práctica y certificable para entornos de consumo conjunto donde las garantías tradicionales por registro son insuficientes. Al alinear la métrica de privacidad con las capacidades inferenciales reales de los atacantes modernos (que agregan evidencia correlacionada), los autores argumentan que PBmPL ofrece una evaluación más realista del riesgo. El significado radica en cerrar la brecha entre los límites teóricos de privacidad diferencial y la realidad empírica de los ataques de inferencia en sistemas basados en incrustaciones, ofreciendo un método para equilibrar dinámicamente la privacidad y la utilidad en presencia de adversarios aprendidos. Los autores señalan que, aunque su auditoría depende de la clase de atacante elegida, proporciona una manera modular de evaluar y mitigar los riesgos de fuga que el análisis por liberación pasa por alto.