Soft Head Selection for Injecting ICL-Derived Task Embeddings
تقدم الورقة البحثية SITE، وهي طريقة تعتمد على التدرج (gradient-based) لتحديد رؤوس الانتباه ذات الصلة بالمهمة لحقن التضمينات المستمدة من التعلم في السياق (ICL)، والتي تتفوق بشكل كبير على أساليب التكيف القائمة على التضمين وأساليب التعلم في السياق بلقطات قليلة الحالية، مع تطلب عدد أقل من المعلمات القابلة للتدريب مقارنة بالضبط الدقيق الفعال للمعلمات (PEFT) عبر مهام ونماذج بمقاييس متنوعة.