Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
Die Autoren stellen Clip21-SGD2M vor, einen neuen Algorithmus für das Federated Learning, der durch eine innovative Kombination aus Clipping, Heavy-Ball-Momentum und Error Feedback sowohl optimale Konvergenzraten bei beliebiger Datenheterogenität als auch starke lokale Differentialprivatsphäre-Garantien ohne restriktive Annahmen erreicht.