TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention
تقدم هذه الورقة TextNCA، وهو خلية عصبية خلوية هرمية (hierarchical Neural Cellular Automaton) لنمذجة اللغة، لتثبت أن جدول الانتباه المتدرج من الضيق إلى الواسع هو المحرك الرئيسي للأداء، بينما توفر التكرارات والمكونات المعمارية المحددة فوائد أصغر ومحدودة.