DarwinLM: Evolutionary Structured Pruning of Large Language Models
डार्विनएलएम (DarwinLM) एक प्रशिक्षण-जागरूक संरचित प्रूनिंग विधि है जो इष्टतम गैर-समान मॉडल उप-संरचनाओं की पहचान करने के लिए हल्के मल्टीस्टेप प्रशिक्षण के साथ एक विकासवादी खोज प्रक्रिया का उपयोग करती है, जिससे विभिन्न बड़े भाषा मॉडलों पर अत्याधुनिक प्रदर्शन प्राप्त होता है और संपीड़न के बाद प्रशिक्षण डेटा की आवश्यकताओं में महत्वपूर्ण रूप से कमी आती है।