Privacy-Preserving Federated Action Recognition via Differentially Private Selective Tuning and Efficient Communication

1. Problema e Contexto

O reconhecimento de ações baseado em vídeo utilizando Redes Neurais Profundas (DNNs) é crucial para aplicações em saúde e vigilância. No entanto, a abordagem centralizada levanta sérias preocupações de privacidade, pois exige a partilha de dados brutos de vídeo. A Aprendizagem Federada (FL) surge como solução para treinar modelos colaborativamente sem centralizar os dados, mas enfrenta dois desafios fundamentais neste contexto:

1. Exposição do Modelo: Os gradientes trocados entre os clientes e o servidor podem vazar padrões de movimento sensíveis ou informações de identidade, permitindo a reconstrução de conteúdo visual ou inferência de ações do usuário.
2. Sobrecarga de Comunicação: A sincronização de modelos de vídeo completos (que são de alta dimensão) entre múltiplos clientes satura a largura de banda, aumenta a latência e eleva os custos energéticos, tornando a implementação em larga escala inviável.

A integração de Privacidade Diferencial (DP) para mitigar vazamentos de dados geralmente degrada a precisão do modelo (devido ao ruído adicionado) e não resolve o problema de comunicação, pois muitas vezes ainda exige a transmissão de gradientes de todas as camadas.

2. Metodologia Proposta: FedDP-STECAR

Os autores propõem o FedDP-STECAR (Federated Differential Privacy with Selective Tuning and Efficient Communication for Action Recognition), um framework que otimiza simultaneamente privacidade, precisão e eficiência de comunicação.

Componentes Principais:

• Ajuste Seletivo (Selective Tuning):
  • Em vez de atualizar todos os parâmetros do modelo, o framework congela a maioria das camadas e realiza o fine-tuning apenas em um subconjunto pequeno e relevante de camadas (geralmente as camadas finais do transformador e a cabeça de classificação).
  • O ruído da Privacidade Diferencial (DP) é aplicado apenas a esses parâmetros treináveis. Isso reduz a superfície de vazamento de informação e preserva a coerência temporal das características do vídeo, evitando a degradação excessiva causada pelo ruído em camadas que já possuem representações robustas (pré-treinadas).
• Privacidade Diferencial (DP-SGD) com Amostragem de Nível Superior (TLS):
  • Utiliza o algoritmo DP-SGD com corte de gradiente (gradient clipping) e adição de ruído gaussiano.
  • Implementa Top-Level Sampling (TLS), que amostra os dados sem reposição durante as épocas locais. Isso amplifica a privacidade (reduzindo o custo de privacidade $\epsilon$) e melhora a estabilidade do aprendizado ao manter a diversidade temporal nos batches.
• Comunicação Eficiente:
  • Durante a agregação, os clientes transmitem apenas os gradientes/atualizações das camadas ajustadas seletivamente, e não o modelo completo.
  • O servidor agrega essas atualizações mascaradas de forma agnóstica ao algoritmo de agregação (funciona tanto com FedAvg quanto com FedNova).

3. Contribuições Chave

1. Estratégia de Ajuste Seletivo: Confina o ruído DP a parâmetros específicos, reduzindo perturbações desnecessárias. Em cenários centralizados com orçamento de privacidade estrito ($\epsilon = 0.65$), o modelo alcançou até 70,2% a mais de precisão em comparação com fine-tuning completo.
2. Redução Massiva de Comunicação: Ao transmitir apenas as camadas ajustadas, o tráfego de comunicação foi reduzido em mais de 99% (de ~1456 MB para ~3,1 MB por rodada) em comparação com atualizações de modelo completo, resultando em um tempo de execução 48% menor.
3. Escalabilidade e Agnosticismo: O framework demonstrou ser agnóstico ao método de agregação (FedAvg e FedNova) e escalável para diferentes números de clientes (de 2 a 20), mantendo alta precisão mesmo sob restrições de privacidade rigorosas.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados UCF-101 utilizando a arquitetura de transformador MViT-B-16x4.

• Desempenho em Cenário Federado ($\epsilon = 1.33$):
  • Precisão: O FedDP-STECAR alcançou 73,1% de precisão, enquanto o fine-tuning completo com DP caiu para cerca de 22-28%.
  • Eficiência: Redução de 48% no tempo total de execução e redução de 99,8% no tráfego de dados (de 1456 MB para 3,1 MB).
  • Latência: A latência de comunicação caiu de 174,7 segundos para apenas 0,37 segundos.
• Desempenho em Cenário Centralizado ($\epsilon = 0.65$):
  • O modelo com ajuste seletivo e TLS superou significativamente as abordagens de fine-tuning completo, provando que restringir o ruído a camadas críticas preserva a utilidade do modelo sob orçamentos de privacidade muito baixos.
• Escalabilidade: Mesmo com o aumento para 20 clientes e 20 rodadas, a precisão do método seletivo manteve-se acima de 72%, enquanto os métodos de fine-tuning completo colapsaram para abaixo de 20%.

5. Significado e Conclusão

O trabalho do FedDP-STECAR é significativo porque resolve o dilema tríplice da Aprendizagem Federada em vídeo: Privacidade, Precisão e Eficiência de Comunicação.

Ao demonstrar que é possível treinar modelos complexos de vídeo de forma colaborativa sem compartilhar dados brutos, sem sobrecarregar a rede e mantendo alta precisão sob rigorosas garantias de privacidade, o framework viabiliza a aplicação prática de sistemas de reconhecimento de ações em ambientes sensíveis, como hospitais e sistemas de vigilância pública. A abordagem de "ajuste seletivo" combinada com DP oferece um novo paradigma para otimizar a troca de informações em redes neurais profundas distribuídas.