Differentially Private One-Shot Federated Inference for Linear Mixed Models via Lossless Likelihood Reconstruction

Aquí presento un resumen técnico detallado del artículo "Inferencia Federada One-Shot con Privacidad Diferencial para Modelos Mixtos Lineales mediante Reconstrucción Sin Pérdidas de Verosimilitud".

1. Planteamiento del Problema

El aprendizaje federado (FL) permite realizar inferencias estadísticas en múltiples sitios sin compartir datos a nivel individual, lo cual es crucial en investigación biomédica. Sin embargo, los métodos de FL "one-shot" (de un solo paso), donde los sitios envían estadísticas resumidas una sola vez al servidor central, enfrentan un riesgo de privacidad significativo:

• Reconstrucción de Datos Individuales: Cuando los tamaños de muestra dentro de un sitio son pequeños y las covariables son discretas (binarias), las estadísticas resumidas compartidas (específicamente las matrices de producto cruzado o matrices Gram, $X^\top X$) pueden permitir la reconstrucción exacta de los datos individuales mediante problemas de programación entera (0-1).
• Limitaciones de Métodos Existentes:
  • Los métodos de reconstrucción de verosimilitud existentes para Modelos Mixtos Lineales (LMM) son estadísticamente eficientes pero no garantizan privacidad formal.
  • Los enfoques de privacidad diferencial (DP) actuales suelen requerir comunicación iterativa, inferencia aproximada o asumen tamaños de muestra grandes por sitio, lo cual no es realista en estudios multicéntricos donde muchos centros tienen pocos pacientes.

El objetivo es desarrollar un marco que combine la reconstrucción exacta de la verosimilitud (para mantener la eficiencia estadística) con privacidad diferencial formal (para prevenir la reconstrucción), operando bajo un régimen asintótico donde el número de sitios ($K$) crece, pero el tamaño de muestra por sitio ($n_k$) puede ser pequeño.

2. Metodología Propuesta

Los autores proponen un marco de inferencia federada one-shot para LMMs con una estructura de covarianza de intercepto aleatorio, integrando privacidad diferencial mediante un mecanismo de perturbación gaussiana.

A. Reconstrucción de Verosimilitud sin Pérdidas

Se basa en el hecho de que, bajo un modelo de intercepto aleatorio, la verosimilitud agrupada puede reconstruirse exactamente a partir de estadísticas suficientes a nivel de sitio:

• Resumen de Sitio $k$: Cada sitio comparte dos matrices:
  1. $S_k$: Contiene los productos cruzados de los datos observados ($y_k^\top y_k, y_k^\top X_k, X_k^\top X_k$).
  2. $T_k$: Contiene los productos cruzados ponderados por el vector de unos ($1_{n_k}$), necesarios para la estructura de correlación intra-grupo.
• Reconstrucción: El servidor central utiliza $\{S_k, T_k\}$ para reconstruir la función de verosimilitud logarítmica (ML) y la verosimilitud restringida (REML) del modelo agrupado sin necesidad de los datos individuales (IPD).

B. Mecanismo de Privacidad Diferencial (DP)

Para mitigar el riesgo de reconstrucción de las matrices $S_k$ y $T_k$:

• Perturbación: Se aplica un mecanismo gaussiano a las estadísticas resumidas antes de enviarlas.
  • $\tilde{S}_k = S_k + U_{k1}$
  • $\tilde{T}_k = T_k + U_{k2}$
  • Donde $U$ son matrices de ruido con entradas i.i.d. $N(0, \sigma_{DP}^2)$.
• Sensibilidad Global: La sensibilidad se calcula utilizando la norma de Frobenius. Para covariables binarias, la sensibilidad global $\Delta_F$ está acotada por $2p$ (donde $p$ es el número de covariables).
• Garantía DP: El ruido se calibra para cumplir con $(\epsilon, \delta)$-privacidad diferencial. Se utiliza un esquema de asignación de privacidad ajustado a la dimensión para equilibrar el ruido y la complejidad combinatoria del problema de reconstrucción.

C. Estimación y Varianza Robusta

• Estimador: Se maximiza la función de verosimilitud perturbada ($l_{DP}$) para obtener estimadores $\hat{\beta}_{DP}, \hat{\sigma}^2_{DP}, \hat{\tau}^2_{DP}$.
• Varianza Robusta (Cluster-Robust): Se desarrollan estimadores de varianza tipo "sandwich" (CR0) que se pueden calcular exclusivamente a partir de las estadísticas perturbadas. Esto es crucial porque:
  • Proporciona inferencia válida incluso si la estructura de covarianza del modelo está mal especificada.
  • Permite correcciones de muestra pequeña (CR1, CR1p) sin necesidad de datos individuales.

3. Contribuciones Clave

1. Extensión a un Entorno Privado: Se extiende la reconstrucción exacta de verosimilitud de LMMs a un entorno formalmente privado mediante la perturbación de estadísticas suficientes.
2. Inferencia Válida bajo Asintótica Multi-Sitio: Se demuestra teóricamente que el estimador propuesto es consistente y asintóticamente normal bajo un régimen donde $K \to \infty$ y $n_k$ permanece acotado.
3. Caracterización del Costo Estadístico: Se deriva una expresión cerrada para el costo estadístico de la privacidad, mostrando que el error de estimación adicional escala como $O(\sigma_{DP}^2 / K)$. Esto implica que el impacto del ruido de privacidad disminuye a medida que aumenta el número de sitios.
4. Estimadores de Varianza Computables: Se demuestra que los estimadores de varianza robusta (sandwich) pueden calcularse sin acceso a los datos individuales, incluso con estadísticas perturbadas.

4. Resultados Principales

A. Estudios de Simulación

• Riesgo de Reconstrucción: En escenarios sin ruido, las matrices Gram con muestras pequeñas y covariables binarias permiten reconstruir los datos originales con alta precisión. La adición de ruido DP (incluso moderado, $\epsilon_0 \le 8$) reduce la tasa de reconstrucción a casi cero, mitigando efectivamente el riesgo de divulgación.
• Precisión de Estimación:
  • El error de estimación ($L_2$) y el costo de privacidad disminuyen a medida que aumenta $\epsilon$ (menos privacidad) y $K$ (más sitios).
  • Con un número moderado o grande de sitios, el método mantiene una precisión competitiva en comparación con el uso de datos individuales (IPD).
• Incertidumbre (SE):
  • Bajo privacidad estricta ($\epsilon$ bajo) y pocos sitios ($K$ pequeño), los errores estándar (SE) pueden inflarse significativamente, dificultando la inferencia.
  • A medida que $K$ aumenta, la inflación de los SE se mitiga, y la calibración de los intervalos de confianza se vuelve adecuada.
• Robustez: El método mantiene su validez incluso bajo especificación incorrecta del modelo (omisión de covariables o estructura de efectos aleatorios incorrecta), gracias al uso de la varianza robusta.

B. Aplicación a Datos Reales

• Se utilizó un conjunto de datos de pruebas de COVID-19 de 88 clínicas (15,524 pacientes).
• Resultados: Incluso bajo configuraciones de privacidad estrictas (donde el riesgo de reconstrucción es bajo), el costo en términos de error de estimación ($L_2$) fue menor a 0.05 y el factor de inflación de SE no superó 1.5.
• Conclusión: Es posible lograr protecciones de privacidad significativas con una pérdida mínima de eficiencia estadística en conjuntos de datos multicéntricos reales.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en el análisis de datos médicos federados: la tensión entre la necesidad de privacidad formal y la eficiencia estadística en estudios con muchos sitios pequeños.

• Viabilidad Práctica: Demuestra que la inferencia federada "one-shot" es viable para Modelos Mixtos Lineales sin sacrificar la privacidad, eliminando la necesidad de iteraciones costosas en tiempo real.
• Protección de Pacientes: Ofrece una solución técnica para evitar la re-identificación de pacientes en estudios donde los centros tienen pocos participantes, un escenario común en enfermedades raras o subpoblaciones específicas.
• Guía para la Implementación: Proporciona una comprensión teórica de cómo equilibrar los parámetros de privacidad ($\epsilon, \delta$) con el número de sitios ($K$) para lograr inferencias válidas.

En resumen, el método propuesto permite a los investigadores realizar análisis estadísticos rigurosos y seguros sobre datos distribuidos, garantizando que la privacidad de los pacientes no se vea comprometida por la simple publicación de estadísticas resumidas.