OP-LoRA: The Blessing of Dimensionality
OP-LoRA एक नवीन पैरामीटर-कुशल फाइन-ट्यूनिंग विधि है जो प्रशिक्षण के दौरान LoRA वेट्स की भविष्यवाणी करने के लिए अस्थायी रूप से एक सहायक MLP का उपयोग करती है, जिससे मौजूदा दृष्टिकोणों की तुलना में शून्य अनुमान लागत (inference cost) और अधिक वास्तुशिल्प लचीलापन प्रदान करते हुए अनुकूलन स्थिरता और प्रदर्शन में सुधार होता है।