Efficient Zeroth-Order Federated Finetuning of Language Models on Resource-Constrained Devices
यह शोध पत्र एक नवीन ज़ीरोथ-ऑर्डर फेडरेटेड लर्निंग पद्धति प्रस्तावित करता है जो मॉडलों को ब्लॉक्स में विभाजित करती है और मध्यवर्ती एक्टिवेशन्स के कुशल पुन: उपयोग को सक्षम करने के लिए रणनीतिक रूप से परटर्बेशन्स (perturbations) आवंटित करती है, जिससे संसाधन-सीमित उपकरणों पर लार्ज लैंग्वेज मॉडल्स की फाइन-ट्यूनिंग के लिए कम्प्यूटेशनल मांग में 3 गुना कमी आती है और साथ ही फेडरेटेड लर्निंग के मेमोरी और कम्युनिकेशन लाभ भी बने रहते हैं।