Meta-Learning Transformers to Improve In-Context Generalization
यह शोध पत्र ट्रांसफार्मर के इन-कॉन्टेक्स्ट सामान्यीकरण (in-context generalization) को बेहतर बनाने के लिए क्यूरेटेड, लघु-स्तरीय, डोमेन-विशिष्ट डेटासेट्स का उपयोग करते हुए एक मेटा-लर्निंग प्रशिक्षण रणनीति प्रस्तावित करता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण बड़े पैमाने पर प्रशिक्षण के तुलनीय प्रदर्शन प्राप्त करने के साथ-साथ बेहतर डेटा गुणवत्ता, मॉड्यूलैरिटी और विस्मृति (forgetting) के विरुद्ध श्रेष्ठ सुदृढ़ता प्रदान करता है।