Language Model Memory and Memory Models for Language
تجادل هذه الورقة بأن تدريب التنبؤ بالرمز التالي المعياري ينتج تمثيلات فقيرة معلوماتياً وغير صالحة للذاكرة، وتقترح بنية مشفر-فك تشفير قابلة للتوازي يتم تدريبها باستخدام أهداف سببية واحتفاظ بالمعلومات مشتركة لتحقيق تكوين ذاكرة عالي الدقة وكفاءة حوسبية.