Leviathan: Decoupling Input and Output Representations in Language Models
تقدم الورقة البحثية "ليفياثان" (Leviathan)، وهي بنية "ترانسفورمر" (Transformer) تعمل على فصل تمثيلات المدخلات عن المخرجات من خلال استبدال مصفوفة التضمين المترابطة القياسية بترميز متجهي للتضمين المتعلم (LEV)، مما يحقق تحسينات ملحوظة في أداء نمذجة اللغة ومعايير الاختبار اللاحقة مع حد أدنى من الزيادة في عدد المعلمات.