Privacy-Preserving Federated Action Recognition via Differentially Private Selective Tuning and Efficient Communication

Resumen Técnico: FedDP-STECAR

1. Planteamiento del Problema

El reconocimiento de acciones basado en video utilizando redes neuronales profundas (DNN) es crucial para aplicaciones en tiempo real, pero su implementación en entornos centralizados plantea graves riesgos de privacidad. El Aprendizaje Federado (FL) permite entrenar modelos colaborativamente sin compartir datos crudos, pero en el contexto de video enfrenta dos desafíos fundamentales:

1. Exposición del Modelo: Los gradientes intercambiados entre clientes y servidor pueden ser explotados para reconstruir contenido visual sensible o inferir patrones de movimiento e identidad de los usuarios.
2. Sobrecarga de Comunicación: La sincronización de modelos de video completos (de alta dimensión) a través de múltiples clientes satura el ancho de banda y aumenta significativamente los costos de energía y latencia.

La integración de Privacidad Diferencial (DP) en el aprendizaje federado de video es compleja: los presupuestos de privacidad estrictos suelen degradar la precisión del modelo, y la inyección uniforme de ruido en todas las capas infla los costos de comunicación sin considerar la sensibilidad específica de cada capa o la correlación temporal de los videos.

2. Metodología Propuesta: FedDP-STECAR

Los autores proponen FedDP-STECAR (Federated Differential Privacy with Selective Tuning and Efficient Communication for Action Recognition), un marco diseñado para mitigar la exposición del modelo y minimizar la sobrecarga de comunicación sin sacrificar la coherencia temporal de las características del video.

La metodología se basa en tres pilares técnicos:

• Ajuste Selectivo (Selective Tuning):

  • En lugar de actualizar todos los parámetros del modelo, el marco divide los parámetros en dos subconjuntos: congelados ($\theta_f$) y entrenables ($\theta_t$).
  • Solo se ajustan y perturban un subconjunto pequeño de capas relevantes para la tarea (específicamente, la cabeza de clasificación y las etapas finales del transformador).
  • Esto confina el ruido de la Privacidad Diferencial a un subespacio reducido, limitando la propagación del ruido y preservando la coherencia temporal de las características extraídas por las capas congeladas.

• Privacidad Diferencial con Muestreo de Nivel Superior (TLS):

  • Se implementa DP-SGD (Descenso de Gradiente Estocástico con Privacidad Diferencial) solo sobre los parámetros seleccionados.
  • Se utiliza Muestreo sin Reemplazo (Top-Level Sampling) durante las épocas locales. Esto asegura que cada muestra se utilice una sola vez por época, reduciendo la exposición repetida de gradientes y proporcionando una amplificación de la privacidad.
  • Los gradientes se recortan (clipping) y se añade ruido gaussiano calibrado solo a los parámetros activos.

• Comunicación Eficiente y Agnóstica a la Agregación:

  • Los clientes solo transmiten las actualizaciones de las capas ajustadas ($\Delta^t_k$), enmascarando el resto del modelo.
  • El servidor agrega estas actualizaciones parciales utilizando operadores de agregación estándar (como FedAvg o FedNova), haciendo que el marco sea agnóstico al algoritmo de agregación.
  • Esto reduce drásticamente el tráfico de red, ya que no se necesitan sincronizar los parámetros completos del modelo en cada ronda.

3. Contribuciones Clave

1. Estrategia de Ajuste Selectivo: Confina el ruido de DP a parámetros relevantes para la tarea, reduciendo perturbaciones innecesarias. Bajo un presupuesto de privacidad estricto ($\epsilon = 0.65$), este enfoque logra hasta un 70.2% más de precisión en comparación con el ajuste fino completo en entornos centralizados.
2. Eficiencia en Escenarios Federados: En configuraciones federadas, FedDP-STECAR reduce el tiempo de ejecución total en un 48% y el tráfico de comunicación en un 99% (de ~1456 MB a ~3.1 MB por ronda), manteniendo una precisión de reconocimiento alta (73.1% con $\epsilon = 1.33$).
3. Integración de TLS: Incorpora muestreo sin reemplazo para la amplificación de la privacidad. Aunque introduce una ligera compensación en escenarios federados, mejora significativamente la utilidad del modelo en configuraciones centralizadas bajo privacidad estricta.

4. Resultados Experimentales

Los experimentos se realizaron utilizando el conjunto de datos UCF-101 y la arquitectura de transformador MViT-B-16x4.

• Eficiencia de Comunicación:

  • Reducción del tráfico de datos: 99.8% (de 1456 MB a 3.1 MB por cliente por ronda).
  • Reducción de la latencia de comunicación: De 174.72 segundos a 0.37 segundos (una aceleración de 470x).
  • Reducción del tiempo de ejecución (runtime): Aproximadamente 47.5% más rápido que el ajuste fino completo.

• Rendimiento de Precisión:

  • Centralizado: Con $\epsilon = 0.65$, el modelo con ajuste selectivo y TLS (DP-Adam-SelTLS) supera al ajuste completo (DP-Adam-FT) en un 70.2% de precisión.
  • Federado: Con $\epsilon = 1.33$, el ajuste selectivo logra una precisión del 73.06%, mientras que el ajuste completo cae a niveles inaceptables (~22.42%).
  • Escalabilidad: El modelo mantiene una precisión superior al 72% incluso al aumentar el número de clientes de 2 a 20 y al variar los presupuestos de privacidad, mientras que el ajuste completo colapsa por debajo del 20%.

• Robustez del Aglomerador: El marco funciona eficazmente tanto con FedAvg como con FedNova, demostrando su agnosticismo y generalidad.

5. Significado e Impacto

El trabajo de FedDP-STECAR es significativo porque aborda la trinidad de desafíos en el aprendizaje federado de video: privacidad, precisión y eficiencia de comunicación.

• Viabilidad Práctica: Demuestra que es posible desplegar sistemas de reconocimiento de acciones en entornos sensibles a la privacidad (como salud o vigilancia) sin incurrir en costos de ancho de banda prohibitivos ni sacrificar la utilidad del modelo.
• Optimización de Recursos: Al evitar la transmisión de modelos completos y limitar el ruido a capas críticas, el método hace que el entrenamiento federado de video sea escalable y energéticamente eficiente.
• Avance en DP: Proporciona una solución a la degradación de precisión típica de la DP en video, demostrando que la selectividad en la actualización de parámetros es clave para mantener la coherencia temporal y la discriminabilidad de las acciones.

En conclusión, FedDP-STECAR establece un nuevo estándar para el reconocimiento de acciones federado, equilibrando rigurosamente la protección de la privacidad con la eficiencia operativa y el rendimiento del modelo.