DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
Das Papier stellt DP-LAC vor, eine leichte Methode für differenziell privates federiertes Feinabstimmen von Sprachmodellen, die den Clipping-Schwellenwert effizient schätzt und anpasst, ohne zusätzliche Privatsphärenkosten oder Hyperparameter-Optimierung, und eine Genauigkeitsverbesserung von 6,6 % gegenüber bestehenden Ansätzen erzielt.