Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
यह शोध पत्र ऑर्थोगोनल सबस्पेस फॉर रोबस्ट मॉडल मर्जिंग (OSRM) का प्रस्ताव करता है, जो एक ऐसी विधि है जो टास्क इंटरफेरेंस को कम करने और कई LoRA-अनुकूलित लैंग्वेज मॉडल्स को मर्ज करने के प्रदर्शन और मजबूती में महत्वपूर्ण रूप से सुधार करने के लिए फाइन-ट्यूनिंग से पहले LoRA सबस्पेस को बाधित करती है।