Stem: Rethinking Causal Information Flow in Sparse Attention
تقترح الورقة البحثية Stem، وهي وحدة انتباه متفرقة جديدة قابلة للتشغيل المباشر (plug-and-play)، تعمل على تحسين تدفق المعلومات السببية في النماذج اللغوية الكبيرة من خلال توظيف اختيار الرموز المعتمد على الموقع ومقياس مدرك للمخرجات لتقليل التعقيد الحسابي وزمن استجابة مرحلة التعبئة المسبقة (pre-filling latency) بشكل كبير مع الحفاظ على دقة فائقة.