Differentially Private Nonparametric Confidence Intervals Under Minimal Distributional Assumptions

Resumen Técnico: Intervalos de Confianza No Paramétricos con Privacidad Diferencial Bajo Suposiciones Distribucionales Mínimas

Enunciado del Problema
El artículo aborda el desafío de construir intervalos de confianza (IC) no paramétricos con privacidad diferencial (PD) para cantidades estadísticas arbitrarias. Si bien los IC son fundamentales para cuantificar la incertidumbre en la inferencia estadística, los métodos existentes de PD enfrentan limitaciones significativas. Los enfoques actuales a menudo dependen de suposiciones fuertes, como la normalidad asintótica de la estadística, o están vinculados a mecanismos de privacidad específicos (por ejemplo, adición de ruido gaussiano). Además, los métodos basados en bootstrapping o en Bag-of-Little-Bootstrap (BLB) pueden resultar poco prácticos en regímenes de muestras finitas, dando lugar a menudo a intervalos que son inválidos (subcobertura) o excesivamente conservadores (demasiado anchos). Los autores tienen como objetivo desarrollar un marco general que convierta cualquier estimador de PD que satisfaga condiciones leves en un IC no paramétrico válido, sin requerir distribuciones límite específicas ni suposiciones de suavidad sobre el funcional objetivo.

Metodología: PrivSub (Muestreo Privado)
La solución propuesta, PrivSub, aprovecha la técnica estadística de submuestreo en lugar de bootstrapping. El algoritmo opera de la siguiente manera:

1. Estimación Completa: Calcular una estimación con privacidad diferencial de la cantidad objetivo en el conjunto de datos completo utilizando un mecanismo $M_{full}$.
2. Submuestreo: Extraer $T$ subconjuntos de tamaño $m$ del conjunto de datos sin reemplazo.
3. Subestimación Privada: Aplicar un estimador con privacidad diferencial $M_{sub}$ a cada uno de los $T$ subconjuntos.
4. Post-procesamiento: Construir la Función de Distribución Acumulada (CDF) empírica de las estadísticas privadas centradas y reescaladas. Específicamente, el método centra las estimaciones de los subconjuntos alrededor de la estimación del conjunto de datos completo y las reescala mediante la relación de las tasas de convergencia $\tau_m / \tau_n$ (donde $\tau_n$ es la tasa de convergencia de la estadística).
5. Construcción del Intervalo: El IC final se deriva tomando los cuantiles $\alpha/2$ y $1-\alpha/2$ de esta CDF empírica.

El marco es de "caja negra", lo que significa que no requiere conocimiento de la forma específica de la distribución límite, solo la existencia de una y una tasa de convergencia conocida. La garantía de privacidad se logra aplicando mecanismos estándar de PD a los cálculos de los subconjuntos y utilizando la amplificación de privacidad por submuestreo, seguida de composición sobre las $T$ iteraciones.

Contribuciones Clave

• Marco General: Los autores proponen un método que transforma cualquier estimador de PD en un IC no paramétrico bajo suposiciones distribucionales mínimas. No requiere que la estadística sea asintóticamente normal ni que el funcional sea suave.
• Garantías Teóricas: El artículo demuestra que la CDF empírica inducida por PrivSub converge a la verdadera distribución de muestreo de la estadística privada (Teorema 3.3). En consecuencia, se demuestra que el IC resultante es asintóticamente válido y ajustado (Corolario 3.4), siempre que el mecanismo de privacidad sea $\tau_n$-consistente (es decir, que el error inducido por la privacidad sea de un orden menor que el error estadístico).
• Análisis de Privacidad: Los autores proporcionan límites rigurosos de privacidad para el algoritmo, considerando tanto PD pura ($\delta=0$) como PD aproximada ($\delta > 0$), utilizando amplificación por submuestreo y teoremas de composición avanzada.
• Guía Heurística: Aunque no se pueden derivar hiperparámetros óptimos de muestra finita ($m$ y $T$) bajo suposiciones mínimas, el artículo ofrece orientación heurística. Sugiere una restricción $m \cdot T \gtrsim n$ para equilibrar el uso de datos y el costo de privacidad, y recomienda $m \propto n^{2/3}$ y $T=60$ para estabilidad práctica.

Resultados Empíricos
Los autores evalúan PrivSub frente a métodos existentes de IC no paramétricos generales de PD, específicamente BLBquant (basado en BLB) y PrivBoot (basado en bootstrap privado), en tres tareas:

1. Estimación de la Mediana: Bajo una distribución normal truncada.
2. Estimación de la Pendiente de Regresión Logística: Un escenario paramétrico con una distribución límite normal.
3. Estadístico de Kolmogorov-Smirnov (KS): Un funcional no suave con una distribución límite no normal.

Hallazgos:

• Validez y Ajuste: PrivSub produce consistentemente ICs con una cobertura cercana al nivel nominal (por ejemplo, 90%). En contraste, BLBquant frecuentemente presenta subcobertura (inválido) en muestras finitas, mientras que PrivBoot es consistentemente excesivamente conservador, produciendo intervalos significativamente más anchos.
• Robustez: PrivSub funciona bien tanto en funcionales suaves (mediana, regresión) como no suaves (KS). Destaca notablemente sobre sus competidores en el experimento KS, donde las distribuciones límite no normales desafían a otros métodos.
• Rendimiento en Muestras Finitas: El método logra anchos competitivos con, y a menudo menores que, las líneas base no privadas correspondientes, mientras que los métodos privados competidores a menudo sufren de anchos excesivos debido a los costos de composición de la privacidad o a la invalidez.

Significado y Afirmaciones
El artículo afirma que PrivSub ofrece un enfoque modular y general para la inferencia estadística privada. Su significado principal radica en relajar las suposiciones requeridas para ICs de PD válidos. A diferencia de trabajos anteriores que exigen normalidad asintótica o mecanismos de ruido específicos, PrivSub depende únicamente de la existencia de una distribución límite y una tasa de convergencia conocida. Esto hace que el marco sea aplicable a una clase más amplia de problemas estadísticos, particularmente aquellos que involucran funcionales no suaves o distribuciones complejas donde los métodos tradicionales de bootstrap o de aproximación normal fallan. Los autores enfatizan que sus garantías teóricas se traducen en un rendimiento práctico, ofreciendo una alternativa robusta para la cuantificación de la incertidumbre en el análisis de datos sensibles a la privacidad.