Training Language Models via Neural Cellular Automata
تقترح هذه الورقة استخدام الخلايا الآلية العصبية لتوليد بيانات اصطناعية غير لغوية قابلة للتحكم من أجل مرحلة ما قبل ما قبل التدريب للنماذج اللغوية الكبيرة، مما يثبت أن هذا النهج يحسن الأداء في المهام اللاحقة وسرعة التقارب بشكل كبير مع التفوق على التدريب على مجموعات بيانات لغوية طبيعية أكبر بكثير.