Neural Subspace Reallocation: Continual Learning as Retrieval-Based Subspace Memory Management
यह शोध पत्र न्यूरल सबस्पेस रीएलोकेशन (NSR) को प्रस्तुत करता है, जो एक निरंतर सीखने (continual learning) का ढांचा है जो LoRA मॉड्यूल को एक फ्रीज्ड बैकबोन पर संपीड़ित (compressible), प्रतिग्रहित (retrievable) मेमोरी यूनिट के रूप में मानता है, और यह प्रदर्शित करता है कि टास्कनॉलेजबैंक (TaskKnowledgeBank) से सरल समानता-आधारित रिट्रीवल, भूलने की प्रक्रिया (forgetting) को कम करने और कार्य रिकवरी को तेज करने के साथ-साथ न्यूनतम मेमोरी फुटप्रिंट बनाए रखते हुए जटिल सीखे गए एलोकेशन पॉलिसियों की तुलना में काफी बेहतर प्रदर्शन करता है।