Better Models, Faster Training: Sigmoid Attention for single-cell Foundation Models
تقدم هذه الورقة البحثية "انتباه السجمويد" (sigmoid attention) كبديل مدعوم نظرياً ومتفوق تجريبياً لـ "انتباه السوفت ماكس" (softmax) لنماذج التأسيس الخاصة بالخلايا المفردة، حيث تُظهر أنه ينتج تمثيلات أفضل، وتدريباً أسرع، واستقراراً فائقاً، مع كونه مدعوماً بنواة "تريتون" (Triton kernel) عالية الكفاءة.