Mixing Times of Glauber Dynamics on Masked Language Models
تتقصى هذه الورقة السلوك التوزيعي العالمي لنماذج اللغات المقنعة عبر نمذجة إعادة أخذ عينات الرموز التكرارية كـسلسلة ماركوف من ديناميكيات غلاوبر، كاشفةً أنه في حين تؤدي أنظمة درجات الحرارة المرتفعة إلى خلط سريع، فإن ظروف درجات الحرارة المنخفضة تسبب حالة من عدم الاستقرار (metastability) وبطء التقارب بسبب حالات عدم التوافق الجوهرية في الشروط الشرطية المحلية للنماذج.