Locally Private Online Quantile Regression: Estimation and Inference

Resumen Técnico: Regresión de Cuantiles en Línea con Privacidad Local

Planteamiento del Problema
El artículo aborda el desafío de realizar una regresión de cuantiles (QR) en línea bajo un protocolo de un solo reporte, de nivel de usuario, con privacidad diferencial local de $\varepsilon$ ($\varepsilon$-LDP). En la QR en línea estándar, el servidor actualiza el estimador utilizando la contribución de la ecuación de estimación $g_\beta(X, Y) = X \{ \mathbb{1}(Y \le X^\top \beta) - \tau \}$. Este vector acopla la covariable $X$ con una comparación de residuos (la función indicadora). Bajo LDP a nivel de usuario, un servidor recibe únicamente un reporte privatizado de cada usuario. La dificultad central es que la privatización estándar de este vector es imposible sin violar la restricción de privacidad o destruir la estructura de media condicional necesaria para la aproximación estocástica. Específicamente, si el servidor no puede observar $X$ y el indicador directamente, no puede formar el vector de actualización insesgado necesario para la convergencia. Los métodos existentes para cuantiles privados escalares o para QR distribuida central/privada no abordan este problema específico de la "ecuación de estimación decodificada", donde un único reporte LDP debe transformarse en una actualización insesgada y dependiente de la covariable.

Metodología
Los autores proponen un marco en el que el servidor no recibe el gradiente bruto, sino una entrada decodificada que preserva la media condicional de la ecuación de estimación.

1. Geometría Consciente del Soporte: La contribución exacta de la ecuación de estimación de la QR $g_\beta(O)$ reside en una geometría de soporte de dos caras específica $G_\tau$. La coordenada de la intersección identifica la cara activa ($\mathbb{1}(Y \le X^\top \beta) = 0$ o $1$), y las coordenadas de la pendiente están restringidas a intervalos simétricos determinados por la cara y las covariables acotadas.
2. El Canal CQX(q, s): Los autores construyen un canal de alfabeto finito llamado CQX($q, s$), donde $q$ es el tamaño de la rejilla para la cuantización de la pendiente y $s$ es el tamaño de un bloque de coordenadas seleccionado.
   • Procesamiento Local: Cada usuario computa $g_\beta(X, Y)$ localmente. Cuantizan estocásticamente las coordenadas de la pendiente seleccionadas (usando una rejilla pública) a una categoría finita. Si la intersección es seleccionada, actúa como una etiqueta de cara; de lo contrario, las pendientes se cuantizan en una rejilla incondicional.
   • Respuesta Aleatorizada: El usuario aplica una respuesta aleatorizada a la categoría finita resultante (la "categoría del bloque seleccionado") para generar un único reporte LDP.
   • Decodificación por parte del Servidor: El servidor aplica un decodificador de respuesta aleatoria afín para corregir la distorsión y utiliza la reconstrucción de Horvitz-Thompson para recuperar el vector completo.
   • Propiedad Clave: La entrada decodificada $\tilde{g}_\beta$ satisface la insesgadez condicional: $E[\tilde{g}_\beta(X, Y) \mid X, Y, \beta] = g_\beta(X, Y)$. Esto permite al servidor utilizar la entrada decodificada en un esquema de promediado de Polyak-Ruppert proyectado ($\beta_i = \Pi_B \{ \beta_{i-1} - \eta_i \tilde{g}_i(\beta_{i-1}) \}$) sin sesgar el parámetro objetivo.
3. Inferencia: El artículo desarrolla procedimientos de inferencia libres de la matriz Hessiana que no requieren estimar la Hessiana de la QR (lo cual es difícil bajo LDP). Estos incluyen:
   • Autonormalización (SN): Utiliza la variación temporal de los promedios de Polyak en una única trayectoria.
   • Divide y Conquista (DC): Particiona el flujo en grupos disjuntos para calcular promedios de grupo y formar conjuntos de confianza de tipo Hotelling.
   • HiGrad: Utiliza una estructura de árbol pública para generar centros de grupo correlacionados con plantillas de covarianza conocidas para la estudentización.

Contribuciones Clave

1. Formulación: El artículo formula la QR lineal en streaming bajo LDP de un solo reporte a nivel de usuario como un problema de ecuación de estimación decodificada, separando la garantía de privacidad del reporte del requisito de preservación de la media de la aproximación estocástica.
2. Construcción del Mecanismo: Introduce el canal CQX($q, s$), que combina selección de coordenadas pública, cuantización estocástica consciente del soporte, respuesta aleatoria y decodificación afín. Este mecanismo explota la geometría de soporte de dos caras de la contribución de la QR para asegurar que la entrada decodificada del servidor sea condicionalmente insesgada.
3. Garantías Teóricas: Para diseños de canal finitos fijos, los autores demuestran:
   • Privacidad local ($\varepsilon$-LDP) para la contribución de un solo registro.
   • Insesgadez del decodificador condicional.
   • Consistencia y normalidad asintótica del estimador promediado de Polyak-Ruppert proyectado.
   • Validez de la inferencia autonormalizada libre de Hessiana para contrastes escalares prescritos y elipsoides de vectores.
4. Validación Empírica: A través de simulaciones y una ilustración con datos de viajes de taxis de la ciudad de Nueva York, el artículo demuestra que la trayectoria privada se aproxima a la referencia no privada en línea a medida que aumenta el presupuesto de privacidad ($\varepsilon$). El canal propuesto supera a la liberación de Laplace directa (que ignora el soporte) y a la liberación exponencial de cara (que desplaza la media) en términos de error de estimación y cuantificación de la incertidumbre.

Resultados

• Precisión de Estimación: En las simulaciones, el mecanismo CQX($q, s$) logra un error de estimación euclidiano medio inferior comparado con las bases geométricas (Laplace Directa y Exponencial de Cara). El mecanismo Exponencial de Cara suele fallar en cuantiles altos ($\tau=0.75$) debido al desajuste del campo medio que causa la saturación del límite de proyección.
• Recuperación de Alto Presupuesto: A medida que $\varepsilon \to \infty$ y la resolución de la rejilla $q$ aumenta, la covarianza del estimador privado converge a la del oráculo ASGD no privado.
• Calibración de la Inferencia: Los procedimientos de autonormalización (SN), divide y conquista (DC) e HiGrad proporcionan intervalos de confianza con tasas de cobertura cercanas al nivel nominal del 95%, particularmente para contrastes escalares y contrastes densos. Los elipsoides de vector completo son más sensibles a la información efectiva finita y al condicionamiento, pero siguen siendo válidos bajo las condiciones de rango establecidas.
• Aplicación a Datos Reales: En el conjunto de datos de taxis de NYC, los estimadores privados preservan la calibración de validación (tasas de acierto) y la pérdida de verificación predictiva del referente no privado, con un rendimiento que mejora a medida que $\varepsilon$ aumenta.

Significancia y Reivindicaciones
El artículo afirma presentar el primer marco de LDP de un solo reporte para la estimación e inferencia de QR en línea basado en entradas de ecuaciones de estimación decodificadas que preservan la media. Argumenta que los enfoques de SGD con ruido aditivo estándar no son adecuados para la QR porque ignoran la geometría de soporte específica de la ecuación de estimación. Al desacoplar el mecanismo de privacidad de la actualización de estimación mediante un paso de decodificación, los autores muestran que la privacidad local de un solo reporte es compatible con la QR en línea. La significancia radica en permitir la inferencia estadística válida (consistencia, normalidad, intervalos de confianza) en un entorno de streaming con restricciones de privacidad sin requerir un curador de confianza o múltiples reportes por usuario. Los autores señalan que la teoría está deliberadamente fijada en dimensiones y depende de covariables acotadas; las extensiones a entornos de alta dimensión o diseños de canal adaptativos se dejan para trabajos futuros.