MASA: Rethinking the Representational Bottleneck in LoRA with Multi-A Shared Adaptation
यह शोध पत्र MASA का प्रस्ताव करता है, जो एक नवीन पैरामीटर-कुशल फाइन-ट्यूनिंग (Parameter-Efficient Fine-Tuning) आर्किटेक्चर है जो कई डाउन-प्रोजेक्शन मैट्रिसेस () के एक एसिमेट्रिकल साझा एन्सेम्बल (asymmetrically shared ensemble) का उपयोग करके विविध विशेषताओं को कैप्चर करता है, जिससे LoRA की रिप्रजेंटेशनल बाधा (representational bottleneck) कम हो जाती है, जिन्हें फिर एक एकल लेयर-विशिष्ट अप-प्रोजेक्शन मैट्रिक्स () द्वारा एकीकृत किया जाता है, और इस प्रकार समान पैरामीटर दक्षता के साथ विभिन्न कार्यों में बेहतर प्रदर्शन प्राप्त किया जाता है।