Optimal Fairness under Local Differential Privacy

Resumen Técnico: Equidad Óptima bajo Privacidad Diferencial Local

Planteamiento del Problema
Los modelos de aprendizaje automático dependen cada vez más de atributos sensibles (por ejemplo, raza, género) para decisiones de alto riesgo, lo que plantea preocupaciones sobre la equidad y la privacidad. Si bien la Privacidad Diferencial (DP) es el estándar para la privacidad, se ha demostrado que la DP central puede exacerbar potencialmente la inequidad. En contraste, la Privacidad Diferencial Local (LDP), donde los datos se perturban antes de salir del dispositivo del usuario, permanece poco explorada en cuanto a su interacción con la equidad. Los enfoques de equidad basados en LDP existentes a menudo dependen de mecanismos específicos como la Respuesta Aleatoria Generalizada (GRR) o la Respuesta Aleatoria (RR) y se ven frecuentemente limitados a atributos sensibles binarios. El problema central abordado es cómo diseñar óptimamente mecanismos de LDP que minimicen la inequidad de los datos tanto para atributos sensibles binarios como multivalorados, preservando al mismo la utilidad no trivial, y establecer teóricamente cómo esta reducción de la inequidad de los datos se traduce en una mejora de la equidad de la clasificación.

Metodología
Los autores proponen un marco de preprocesamiento donde los atributos sensibles se perturban utilizando un mecanismo de LDP óptimo antes del entrenamiento del modelo. La metodología se divide en derivación teórica y validación empírica:

1. Derivación del Mecanismo Óptimo:

   • Atributos Binarios: Para atributos sensibles binarios ($A \in \{0, 1\}$), los autores derivan una solución óptima de forma cerrada. Formulan el problema como la minimización de la relación entre la inequidad de los datos en el conjunto de datos perturbado y el conjunto de datos original, sujeto a un presupuesto de privacidad $\epsilon$ fijo. Se demuestra que el mecanismo óptimo depende de la distribución de los datos (específicamente las probabilidades condicionales de la etiqueta dado el atributo) y del parámetro de privacidad. A diferencia de la RR estándar, el mecanismo óptimo no necesariamente trata ambas clases de forma simétrica; ajusta la probabilidad de reportar el valor real basándose en qué clase es más prevalente o discriminatoria.
   • Atributos No Binarios: Para atributos multivalorados ($A \in [k]$), el problema se reformula como un programa lineal fraccionario min-max. El objetivo es minimizar una métrica de inequidad de datos (específicamente la Definición 1, $\Delta$) sujeto a:
     • Restricciones de $\epsilon$-LDP.
     • Restricciones de estocasticidad de fila (las probabilidades suman 1).
     • Restricciones de veracidad (la probabilidad de reportar el valor correcto $\ge$ la probabilidad de reportar un valor erróneo).
     • Restricciones de utilidad (limitando la probabilidad total de error a un umbral $\zeta$).
       Este optimización se resuelve numéricamente utilizando el método de rama y límite (branch-and-bound).

2. Vínculo Teórico con la Equidad de Clasificación:
   El artículo establece una conexión teórica entre la minimización de la inequidad de los datos y la reducción de la inequidad de la clasificación. Introduce el concepto de clasificadores óptimos de Discriminación-Precisión (DA): clasificadores que no están estrictamente dominados por ningún otro clasificador en términos de precisión y discriminación. Los autores demuestran que, para los clasificadores DA-óptimos, entrenar con datos con menor inequidad (específicamente menor $\Delta'$) garantiza una reducción en la brecha de paridad estadística del clasificador resultante.

3. Validación Experimental:
   El mecanismo propuesto (OPT) se evalúa en diversos conjuntos de datos (Adult, LSAC, COMPAS, Bank, Student Performance, German Credit) utilizando LightGBM y Regresión Logística.

   • Líneas Base: OPT se compara con mecanismos de LDP estándar (GRR/RR, Selección de Subconjuntos - SS) e intervenciones de equidad de vanguardia (FairProjection, FairBalance).
   • Métricas: El rendimiento se mide mediante Precisión, Paridad Estadística ($\Delta_{SP}$), Oportunidad Igualada ($\Delta_{EO}$) y Media de Igualdad de Oportunidades ($\Delta_{MEO}$).

Contribuciones Clave

• Diseño de Mecanismos Óptimos: El artículo proporciona el primer mecanismo de LDP de forma cerrada para atributos sensibles binarios y un marco numérico tratable para atributos no binarios para minimizar la inequidad de los datos.
• Justificación Teórica: Demuestra que para los clasificadores DA-óptimos, la reducción de la inequidad de los datos mediante el preprocesamiento de LDP conduce directamente a una reducción de la inequidad de la clasificación, cerrando la brecha entre el preprocesamiento consciente de la privacidad y la equidad de la clasificación.
• Superioridad Empírica: El mecanismo OPT propuesto supera consistentemente a los mecanismos de LDP existentes (GRR, SS) en la reducción de la inequidad, manteniendo una precisión comparable a las líneas base no privadas.
• Mejores Compromisos: En comparación con los métodos de equidad de preprocesamiento (FairBalance) y postprocesamiento (FairProjection), OPT logra un compromiso precisión-equidad más favorable y preserva simultáneamente la privacidad de los atributos sensibles.

Resultados

• Atributos Binarios: En los conjuntos de datos Adult y LSAC, OPT reduce significativamente las brechas de paridad estadística y de oportunidad igualada (por ejemplo, reduciendo casi a la mitad las brechas en LSAC) mientras mantiene una precisión comparable a RR y SS.
• Atributos No Binarios: Para atributos multivalorados (por ejemplo, raza, ingresos familiares), el mecanismo OPT resuelto numéricamente logra menores brechas de equidad que GRR y SS, particularmente en presupuestos de privacidad más altos ($\epsilon$), con una pérdida de precisión insignificante.
• Comparación con Métodos de Equidad: Al compararse con FairProjection (post-procesamiento) y FairBalance (pre-procesamiento) en niveles de precisión equivalentes, OPT generalmente produce menores brechas de equidad (por ejemplo, en el conjunto de datos COMPAS, OPT redujo $\Delta_{SP}$ del 26.8% al 24.3% en comparación con FairProjection). En el conjunto de datos Bank, OPT logró una mayor precisión (90.1% frente a 84.5%) y un menor $\Delta_{EO}$ que FairBalance.
• Integración: OPT reemplaza con éxito a RR en el marco de dos pasos de [13], demostrando adaptabilidad en entornos donde solo se dispone de atributos sensibles privatizados.

Significado y Reivindicaciones
El artículo sostiene que la Privacidad Diferencial Local sirve como una intervención de preprocesamiento fundamentada y efectiva para mejorar la equidad. A diferencia de la DP central, que puede ser fundamentalmente incompatible con la equidad, la LDP ofrece un mecanismo donde la aleatoriedad inherente a la preservación de la privacidad puede mitigar activamente la inequidad de los datos. Los autores posicionan su trabajo como un vínculo directo entre el preprocesamiento consciente de la privacidad y la equidad de la clasificación, demostrando que la perturbación óptima de los atributos sensibles es una herramienta simple pero poderosa para mitigar el sesgo sin sacrificar la utilidad del modelo. Los resultados sugieren que la LDP no es meramente una herramienta de privacidad, sino una estrategia viable para la amplificación de la equidad en los flujos de trabajo de aprendizaje automático.