FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
Das Papier stellt FedMomentum vor, ein neuartiges Framework für das federierte Fine-Tuning von LLMs mit LoRA, das durch mathematisch korrekte Aggregation und SVD-basierte Rekonstruktion den Trainingsmomentum erhält und so die Konvergenzgeschwindigkeit sowie die Endgenauigkeit im Vergleich zu bestehenden Methoden verbessert.