💬 NLP
Locas: Your Models are Principled Initializers of Locally-Supported Parametric Memories
यह शोध पत्र Locas को प्रस्तुत करता है, जो एक नए प्रकार की स्थानीय रूप से समर्थित पैरामीट्रिक मेमोरी (locally-supported parametric memory) है जो टेस्ट-टाइम ट्रेनिंग और निरंतर सीखने (continual learning) के बीच के अंतर को पाटता है, जिससे मॉडल मापदंडों में लचीले ऑफलोडिंग या स्थायी एकीकरण की अनुमति मिलती है, जहाँ सिद्धांत-आधारित इनिशियलाइजेशन न्यूनतम अतिरिक्त मापदंडों के साथ तेज़ अभिसरण (fast convergence), प्रभावी ज्ञान प्रतिधारण और विनाशकारी विस्मृति (catastrophic forgetting) को न्यूनतम सुनिश्चित करता है।