Continual Learning With Participation Privacy: An Auditable Buffering-Aggregation Recipe

Resumen Técnico: Aprendizaje Continuo con Privacidad de Participación

Planteamiento del Problema
Los sistemas modernos de aprendizaje federado y de flujo de datos (streaming) liberan frecuentemente instantáneas (snapshots) intermedias del modelo durante el entrenamiento, exponiendo toda la trayectoria de actualizaciones $(w(t))_{t \ge 0}$ a un adversario en lugar de solo un modelo final. Mientras que los análisis clásicos de privacidad diferencial (DP) para la liberación continua suelen asumir flujos de vecindad de Hamming (donde dos flujos difieren en exactamente un índice temporal), muchos despliegues del mundo real requieren privacidad de participación. En este escenario, un usuario puede desear asegurar una denegación plausible sobre si participó o no. Esto motiva el uso de flujos de vecindad de edición única (distancia de edición), donde dos flujos son vecinos si uno puede obtenerse del otro insertando o eliminando un único evento de usuario.

La dificultad central es que una sola inserción o eliminación desplaza la alineación de todas las posiciones subsiguientes en el flujo. En consecuencia, un par de vecindad por edición puede estar arbitrariamente lejos de ser de vecindad de Hamming. Además, el aprendizaje continuo es intrínsecamente interactivo: los modelos liberados influyen en las actualizaciones futuras de los usuarios, creando un bucle de retroalimentación adaptativo. Las primitivas de DP continua estándar (por ejemplo, sumas de prefijos basadas en árboles) fueron analizadas originalmente bajo supuestos de Hamming estáticos y no adaptativos, y sus garantías no se transfieren directamente a la combinación de flujos de vecindad por edición e interacción adaptativa.

Metodología: Una Receta de Agregación y Almacenamiento en Búfer Auditable
Los autores proponen un pipeline modular que consta de dos componentes principales: un envoltorio de almacenamiento en búfer aleatorizado y una primitiva de DP de liberación continua certificada.

1. Almacenamiento en Búfer Aleatorizado (RandBin):

   • Este componente actúa como una interfaz que convierte un flujo de eventos de vecindad de edición única en un flujo de actualizaciones por contenedores (bins) de estilo Hamming y disperso.
   • Introduce retrasos aleatorios, liberando las actualizaciones de los usuarios en "contenedores" de tamaño controlado $[U, 2U]$, donde $U$ es un parámetro calibrado por el presupuesto de privacidad $(\varepsilon, \delta)$.
   • Al aleatorizar los límites de estos contenedores, una sola inserción o eliminación en el flujo de entrada induce solo una perturbación limitada de tipo Hamming en el flujo de contenedores emitido (específicamente, afectando a lo sumo a dos contenedores adyacentes).
   • El mecanismo proporciona garantías explícitas de acumulación (backlog) y retraso, asegurando que el número de eventos pendientes permanezca acotado con alta probabilidad.

2. Certificación de Seguridad Adaptativa:

   • Los autores introducen un teorema de certificación para determinar cuándo una prueba de DP no adaptativa estándar para una primitiva continua sigue siendo válida bajo interacción adaptativa (retroalimentación).
   • La certificación requiere dos condiciones estructurales para la primitiva descendente:
     • Aleatoriedad Fresca por Ronda: El mecanismo debe utilizar aleatoriedad independiente en cada paso de liberación.
     • Contexto Estable (Decomponibilidad Cuantitativa): Las actualizaciones adaptativas comunes pueden cambiar la estadística liberada, pero no deben alterar el costo de privacidad de la discrepancia de Hamming única entre flujos vecinos.
       impletando estas condiciones (por ejemplo, sumas de prefijos basadas en árboles, mecanismos de matrices triangulares inferiores) se consideran "seguros ante la retroalimentación", lo que permite que sus análisis de privacidad no adaptativos se trasladen directamente al escenario adaptativo.

3. Composición Modular:

   • El pipeline compone el almacenamiento en búfer aleatorizado (que reduce la vecindad por edición a la vecindad de Hamming) con el agregador de DP certificado.
   • La garantía de privacidad de extremo a extremo se deriva mediante un teorema de composición modular, combinando la propiedad de preservación de vecindad (NPDP) del envoltorio con la propiedad de DP adaptativa del agregador.

Contribuciones Clave

• Formalización del Aprendizaje Continuo con Vecindad de Edición: El artículo formaliza la privacidad de participación mediante flujos de actualización de usuario de vecindad de edición única en un entorno de aprendizaje continuo con liberaciones intermedias y retroalimentación adaptativa.
• Vínculo Explícito entre Privacidad y Latencia: Los autores proporcionan un pipeline modular donde los parámetros de privacidad objetivo $(\varepsilon, \delta)$ determinan explícitamente el nivel de almacenamiento en búfer $U$, induciendo así un retraso/obsolescencia cuantificable en el proceso de aprendizaje.
• Teorema de Certificación para la Seguridad Adaptativa: Se establece una condición reutilizable y verificable bajo la cual las pruebas de DP de vecindad de Hamming no adaptativas estándar para primitivas continuas siguen siendo válidas bajo interacción adaptativa. Esta condición combina la aleatoriedad fresca con un requisito de contexto estable.
• Garantía de Extremo a Extremo: El artículo demuestra que el pipeline compuesto logra $(\varepsilon, \delta)$-DP para flujos de edición única bajo retroalimentación.

Resultados e Instanciación

• Garantías Teóricas: El teorema principal (Teorema 3.1) establece que, al configurar el nivel de almacenamiento en búfer $U = \Theta(\frac{1}{\varepsilon_b} \log \frac{1}{\delta_b})$, el sistema logra $(\varepsilon, \delta)$-DP para flujos de edición única. La acumulación (backlog) está acotada por $O(\frac{1}{\varepsilon_b} \log t (\log t + \log \frac{1}{\delta_b}))$.
• Instanciación de SGD: La receta se instancia con el descenso de gradiente estocástico (SGD) de flujo. El agregador utiliza mecanismos estándar de suma de prefijos basados en árboles o matrices triangulares inferiores.
• Contexto Experimental: El artículo hace referencia a experimentos en un trabajo complementario [CSZZ26] que reportan la precisión frente a $(\varepsilon, \delta)$ y distribuciones de retraso empíricas. La convergencia teórica de las variantes de DP-SGD se señala como ya ampliamente analizada en la literatura previa.

Significancia y Reivindicaciones
El artículo afirma cerrar una brecha fundamental entre la privacidad de participación (vecindad de edición) y la liberación continua adaptativa. Demuestra que los análisis de liberación continua ingenuos no se aplican a los flujos de vecindad por edición debido a los desplazamientos de alineación. Al introducir una interfaz de "blindaje" (almacenamiento en búfer aleatorizado) y una certificación estructural para la seguridad adaptativa, los autores permiten el uso seguro de las primitivas de DP continua canónicas (como las sumas de prefijos de árboles) en entornos interactivos y sensibles a la participación.

El trabajo enfatiza la modularidad y la auditabilidad: el pipeline separa el problema de manejar la vecindad de edición (aguas arriba) del problema de manejar la retroalimentación adaptativa (aguas abajo). Esto permite a los diseñadores de sistemas integrar diferentes primitivas certificadas manteniendo garantías de privacidad rigurosas de extremo a extremo con compensaciones explícitas entre privacidad, latencia y utilidad. Los autores señalan que su condición de certificación es suficiente pero no necesaria, y que el retraso inducido por el almacenamiento en búfer es un costo intrínseco para lograr la privacidad de edición en un entorno continuo.