Privacy-Preserving Federated Action Recognition via Differentially Private Selective Tuning and Efficient Communication

1. Probleemstelling

Het artikel adresseert twee fundamentele uitdagingen bij het toepassen van Federated Learning (FL) voor video-actieherkenning:

• Modelblootstelling (Privacy): Hoewel FL ruwe videodata niet deelt, kunnen de uitgewisselde gradiënten tussen clients en de server gevoelige informatie lekken, zoals bewegingspatronen of identiteit. Bestaande methoden voor Differentiële Privacy (DP) voegen vaak ruis toe aan het volledige model, wat de nauwkeurigheid aanzienlijk verlaagt, vooral bij video-taken waar temporele coherentie cruciaal is.
• Communicatie-Overhead: Video-modellen (zoals Transformers) zijn hoogdimensionaal. Het synchroniseren van volledige modelupdates tussen clients en server veroorzaakt enorme bandbreedtekosten en latentie, wat de schaalbaarheid beperkt.

Bestaande oplossingen slagen er niet in om een optimale balans te vinden tussen privacy, nauwkeurigheid en communicatie-efficiëntie, vooral in niet-IID federale omgevingen.

2. Methodologie: FedDP-STECAR

De auteurs stellen FedDP-STECAR (Federated Differential Privacy with Selective Tuning and Efficient Communication for Action Recognition) voor. Dit framework combineert drie kerncomponenten:

A. Selectieve Fine-tuning (Selective Tuning)

In plaats van het volledige model te updaten, partitioneert het framework de modelparameters ($\Theta$) in twee subsets:

• Vaste parameters ($\theta_f$): Deze worden bevroren.
• Trainbare parameters ($\theta_t$): Alleen een klein, taakrelevant subset (de classificatiekop en de laatste transformer-stages) wordt bijgestuurd.
• DP-SGD: Differentiële Privacy wordt alleen toegepast op deze trainbare subset. Hierdoor wordt de ruis beperkt tot kritieke lagen, wat de "aanvalsvlakte" voor privacylekken verkleint en de temporele coherentie in video-features behoudt.

B. Top-Level Sampling (TLS)

Om de privacy te versterken, wordt sampling zonder vervanging gebruikt tijdens de lokale epochen.

• Dit zorgt ervoor dat elk voorbeeld slechts één keer per lokale epoch wordt gebruikt.
• Dit verlaagt de totale privacy-kost ($\epsilon$) via privacy-amplification, waardoor het model robuuster is onder strikte privacybudgetten.

C. Communicatie-efficiënte Aggregatie

• Clients sturen alleen de updates van de trainbare subset ($\theta_t$) naar de server, niet het volledige model.
• De server voert een aggregatie-agnostische update uit (werkt met zowel FedAvg als FedNova).
• Dit reduceert de dataverkeer drastisch, omdat slechts een fractie van de parameters wordt verzonden.

3. Belangrijkste Bijdragen

1. Strategie voor Selectieve Fine-tuning: Het beperken van DP-ruis tot taakrelevante parameters. Dit resulteert in een nauwkeurigheidsverbetering van maximaal 70,2% vergeleken met volledige fine-tuning onder strikte privacy ($\epsilon = 0,65$) in centrale settings.
2. Extreme Efficiëntie: In federale settings reduceert het framework het communicatietraffic met >99% en de totale runtime met 48%, terwijl een hoge herkeningsnauwkeurigheid (73,1%) behouden blijft.
3. Integratie van TLS: Het introduceren van Top-Level Sampling voor privacy-amplification, wat de bruikbaarheid van het model verbetert onder strikte privacy, met slechts een minimale afweging in federale settings.
4. Aggregatie-Agnostisch Ontwerp: Het framework is compatibel met verschillende federale optimalisatoren (FedAvg en FedNova) zonder prestatieverlies.

4. Experimentele Resultaten

De methoden zijn getest op het UCF-101 dataset met het MViT-B-16x4 transformer-model.

• Centrale Privacy (DP):

  • Bij een strikt privacybudget ($\epsilon = 0,65$) bereikt het selectieve model (DP-Adam-SelTLS) 70,2% hogere nauwkeurigheid dan een volledig gefinetuned DP-baseline.
  • Dit bewijst dat het beperken van ruis tot specifieke lagen de modelgebruikswaarde (utility) behoudt.

• Federale Settings (FedAvg & FedNova):

  • Nauwkeurigheid: Het selectieve model bereikt 73,1% nauwkeurigheid bij $\epsilon = 1,33$, terwijl volledige fine-tuning (FT) faalt met nauwkeurigheden onder de 30%.
  • Communicatie: Het dataverkeer per client per ronde daalt van 1456 MB (volledig model) naar slechts 3,1 MB (selectieve laag), een reductie van 99,8%.
  • Snelheid: De communicatie-latentie daalt van ~175 seconden naar 0,37 seconden (een versnelling van 470x). De totale runtime wordt met 48% verkort.

• Schaalbaarheid:

  • Het framework behoudt een nauwkeurigheid boven de 72% zelfs bij 20 clients en verschillende privacybudgetten, terwijl volledige fine-tuning instort bij toenemende complexiteit en privacy-eisen.

5. Betekenis en Conclusie

FedDP-STECAR biedt een praktische oplossing voor de veilige en schaalbare implementatie van video-actieherkenning in real-world scenario's zoals gezondheidszorg en surveillance.

• Technische Impact: Het overbrugt de kloof tussen strikte privacy-eisen en modelprestaties door slimme selectie van parameters in plaats van brute-force ruis toevoeging.
• Praktische Toepassing: Door de communicatiekosten met >99% te verlagen, maakt het FL voor zware video-modellen haalbaar op netwerken met beperkte bandbreedte.
• Privacy: Het biedt een robuust mechanisme tegen gradiënt-injectie-aanvallen en reconstructie van gevoelige bewegingsdata, zonder de temporele dynamiek van video's te vernietigen.

Kortom, dit werk bewijst dat het mogelijk is om privacy, nauwkeurigheid en efficiëntie gelijktijdig te optimaliseren in federale video-learning door selectieve fine-tuning te combineren met differentiële privacy en sampling-strategieën.