Toeplitz MLP Mixers are Low Complexity, Information-Rich Sequence Models
تقدم الورقة البحثية نموذج "Toeplitz MLP Mixer" (TMM)، وهو بنية شبيهة بالمحولات (transformer) تستبدل آلية الانتباه بضرب مصفوفة "توبليتز" (Toeplitz) ذات القناع المثلثي لتحقيق تعقيد أقل من التربيعي، مع إظهار كفاءة تدريب فائقة، وقدرة أعلى على الاحتفاظ بالمعلومات، وأداء أفضل في التعلم داخل السياق مقارنة بالنماذج الأخرى ذات التعقيد الأقل من التربيعي.