🧬 biology

Better Models, Faster Training: Sigmoid Attention for single-cell Foundation Models

تقدم هذه الورقة البحثية "انتباه السجمويد" (sigmoid attention) كبديل مدعوم نظرياً ومتفوق تجريبياً لـ "انتباه السوفت ماكس" (softmax) لنماذج التأسيس الخاصة بالخلايا المفردة، حيث تُظهر أنه ينتج تمثيلات أفضل، وتدريباً أسرع، واستقراراً فائقاً، مع كونه مدعوماً بنواة "تريتون" (Triton kernel) عالية الكفاءة.

المؤلفون الأصليون: Vijay Sadashivaiah, Georgios Dasoulas, Judith Mueller, Soumya Ghosh

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vijay Sadashivaiah, Georgios Dasoulas, Judith Mueller, Soumya Ghosh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم كمبيوتر فهم "اللغة" المعقدة لخلية واحدة. في هذه اللغة، كل جين هو بمثابة كلمة، وسلوك الخلية هو جملة مكونة من آلاف هذه الكلمات. لفهم الجملة، يستخدم الكمبيوتر آلية تسمى "الانتباه" (Attention)، والتي تقرر أي الكلمات مهمة للتركيز عليها عند محاولة التنبؤ بالكلمة التالية.

لسنوات، كانت الطريقة القياسية للقيام بذلك هي "انتباه سوفت ماكس" (Softmax Attention). يجادل مؤلفو هذه الورقة البحثية بأن هذه الطريقة القديمة، بالنسبة للبيانات البيولوجية، تشبه محاولة خوض سباق وأنت تحمل حقيبة ظهر ثقيلة وغير مستقرة. لذا، يقترحون طريقة جديدة أخف وأكثر استقراراً تسمى "انتباه سيجمويد" (Sigmoid Attention).

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. المشكلة في الطريقة القديمة (Softmax)

فكر في "انتباه سوفت ماكس" كمعلم صارم لديه إمداد محدود من "نقاط الانتباه" (مثل 100 نقطة إجمالاً). إذا أعطى المعلم 50 نقطة للكلمة "الجين أ"، فإنه يجب أن يأخذ 50 نقطة من جميع الكلمات الأخرى.

المشكلة البيولوجية: في الخلية، غالباً ما تعمل الجينات معاً في فرق. قد يتم التحكم في جين واحد من قبل ثلاثة منظمات مختلفة في نفس الوقت. نموذج "المعلم الصارم" هذا يفرض منافسة تجعل التركيز على جين واحد يعني تجاهل الآخرين. وهذا لا يتوافق مع كيفية عمل البيولوجيا في الواقع.
مشكلة الاستقرار: كلما أصبحت الجمل أطول (الخلايا تحتوي على آلاف الجينات)، يصبح هذا "المعلم الصارم" متوتراً. الرياضيات وراء هذه الطريقة يمكن أن تصبح غير مستقرة، مما يؤدي إلى انفجار حسابات الكمبيوتر، مثل بالون ينتفخ حتى ينفجر. يؤدي هذا إلى فشل عمليات التدريب وإضاعة الوقت.

2. الحل الجديد (Sigmoid Attention)

يقترح المؤلفون "انتباه سيجمويد"، وهو يشبه معلماً لديه إمداد غير محدود من نقاط الانتباه.

كيف يعمل: بدلاً من أخذ النقاط من كلمة لإعطائها لأخرى، يمكن لهذا المعلم إعطاء درجة عالية للجين (أ)، والجين (ب)، والجين (ج) في وقت واحد دون أي مقايضات.
الفائدة: هذا يناسب البيولوجيا بشكل أفضل لأنه يسمح للنموذج بإدراك أنه يمكن لعدة جينات أن تكون نشطة في وقت واحد. كما أنه يعمل بمثادة "ممتص للصدمات" للرياضيات، مما يمنع الحسابات من الانفجار حتى عندما تصبح الجمل طويلة جداً.

3. الثلاثة انتصارات الكبرى

تزعم الورقة أن هذه الطريقة الجديدة تتفوق في ثلاث مجالات محددة:

أ. فهم أفضل (تمثيلات أفضل):
عندما اختبروا الطريقة الجديدة على ست مجموعات بيانات بيولوجية مختلفة، تعلمت النماذج فصل أنواع الخلايا المختلفة بشكل أفضل بكثير. تخيل أنك تحاول فرز كومة من قطع "الليغو" المختلطة؛ الطريقة القديمة (Softmax) فرزتها بشكل جيد، لكن الطريقة الجديدة (Sigmoid) فرزتها بدقة شديدة بحيث كانت الألوان المختلفة (أنواع الخلايا) متميزة بوضوح عن بعضها البعض. وجدوا تحسناً بنسبة 25% في الفصل بين أنواع الخلايا.
ب. تدريب أسرع:
لأن الرياضيات أبسط (لا تحتاج للقيام بعملية "أخذ من بيتر ليعطى لبول" المعقدة)، يعمل الكمبيوتر بشكل أسرع. وجد المؤلفون أن النماذج التي تستخدم "انتباه سيجمويد" تتدرب بسرعة تصل إلى 10% أكثر من الطريقة القديمة.
ج. استقرار لا يتزعزع:
هذه هي النتيجة الأكثر دراماتيكية. وضع المؤلفون النماذج تحت "اختبار جهد" عبر جعلها تتعلم على تسلسلات طويلة جداً بدون أي شبكات أمان (مثل تقليم التدرج/gradient clipping).
- النتيجة: الطريقة القديمة (Softmax) انهارت واحترقت، حيث انفجرت أرقامها الداخلية بمعامل قدره 10,000. أما الطটিفة الجديدة (Sigmoid) فقد ظلت هادئة، وتعلمت بسلاسة، ولم تنهار أبداً. الأمر يشبه قيادة سيارة نحو منحدر: السيارة القديمة تفككت، بينما السيارة الجديدة كانت تمتلك مظلة هبوط وهبطت بسلام.

4. ترقية "المحرك" (TritonSigmoid)

قد تتساءل: "إذا كانت الرياضيات مختلفة، أليس من المفترض أن تكون أبطأ في التشغيل؟". قام المؤلفون ببناء محرك عالي السرعة مخصص يسمى TritonSigmoid لضمان تشغيل هذه الطريقة الجديدة بأقصى سرعة ممكنة على بطاقات الرسوميات الحديثة (GPUs).

التحدي: البيانات البيولوجية "متعرجة". بعض الخلايا لديها 500 جين، وأخرى لديها 10,000 جين. لمعالجة مجموعة منها معاً، يجب ملء الفراغات في الجينات القصيرة بمساحات فارغة (مثل ملء صندوق قصير بفقاعات الحماية).
الابتكار: معظم المحركات السريعة الموجودة حالياً تختنق بسبب هذه "فقاعات الحماية" (الpadding). محرك المؤلفون الجديد ذكي بما يكفي لتجاهل المساحات الفارغة تماماً. إنه يعمل بسرعة 515 TFLOPS (مقياس للسرعة)، متفوقاً على أفضل الأداءات الحالية.

الملخص

تخلص الورقة البحثية إلى أنه لبناء "نماذج تأسيسية" (ذكاء اصطناوي فائق الذكاء) لبيولوجيا الخلية الواحدة، فإن "انتباه سيجمويد" يتفوق على "انتباه سوفت ماكس" التقليدي. فهو يتعلم بشكل أفضل، ويتدرب بشكل أسرع، ولا ينهار عندما تصبح البيانات فوضوية أو طويلة. لقد أصدر المؤلفون أيضاً الكود الخاص بهم حتى يتمكن الآخرون من استخدام هذا "المحرك" الجديد الأكثر استقراراً لاكتشافاتهم البيولوجية الخاصة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "نماذج أفضل، تدريب أسرع: انتباه السيجمويد (Sigmoid Attention) لنماذج التأسيس في الخلية الواحدة."

1. بيان المشكلة

تواجه نماذج التأسيس البيولوجية، وخاصة تلك التي تعالج بيانات تسلسل الحمض النووي الريبي أحادي الخلية (scRNA-seq)، تحديات فريدة تجعل بنى "المحول" (Transformer) القياسية (التي تعتمد على انتباه Softmax) غير مثالية:

الواقع البيولوجي مقابل الانتباه التنافسي: يفرض انتباه Softmax "منافسة صفرية المجموع" حيث تستلزم زيادة الانتباه على رمز جيني واحد تقليل الانتباه على الرموز الأخرى. ومع ذلك، فإن التنظيم الجيني غالبًا ما يكون نمطيًا ومتداخلًا؛ إذ يمكن لجين واحد أن يتم تنظيمه بشكل مشترك بواسطة عوامل نسخ متعددة في آن واحد. لا يستطيع Softmax نمذجة هذا التنظيم غير التنافسي ومتعدد الأوجه بفعالية.
عدم استقرار التدريب: مع زيادة أطوال التسلسلات (غالبًا ما تحتوي ملفات scRNA-seq على آلاف الجينات)، يعاني انتباه Softmax من عدم الاستقرار العددي. تؤدي درجات الانتباه العالية إلى انهيار الإنتروبيا (entropy collapse)، مما يتسبب في انفجار التدرجات (gradient explosions) وتباعد كارثي في التدريب، خاصة في سيناريوهات السياق الطويل دون استخدام تقنية تقليم التدرج (gradient clipping).
عدم الكفاءة الحسابية مع الأطوال المتغيرة: تظهر التسلسلات البيولوجية تباينًا شديدًا في الطول (من مئات إلى آلاف الجينات لكل خلية). وعلى عكس النصوص، لا يمكن تعبئة هذه التسلسلات بسهولة؛ فهي تتطلب حشوًا (padding). كما أن نوى الانتباه الفعالة الموجودة حاليًا (مثل FlashAttention-2 أو FlashSigmoid) إما تفتقر إلى دعم الحشو الأصلي أو تفشل في التعامل مع الطبيعة "المسننة" (jagged) للبيانات البيولوجية بكفاءة، مما يؤدي إلى هدر حسابي كبير.

2. المنهجية

يقترح المؤلفون استبدال انتباه Softmax بـ انتباه السيجمويد (Sigmoid Attention) وتطوير نواة (kernel) متخصصة عالية الأداء لتدعمه.

أ. آلية انتباه السيجمويد (Sigmoid Attention Mechanism)

بدلاً من تطبيع درجات الانتباه عبر الرموز (tokens) باستخدام Softmax، يطبق انتباه السيجمويد دالة سيجمويد ( $\sigma$ ) على حاصل الضرب النقطي بين الاستعلام (Query) والمفتاح (Key):
$\text{SigmoidAttn}(X) = \sigma\left(\frac{QK^\top}{\sqrt{d}} + b\right)V$

فك الارتباط (Decoupling): على عكس Softmax، يتم حساب أوزان السيجمويد بشكل مستقل. يمكن للاستعلام الواحد أن ينتبه بقوة لعدة مفاتيح في وقت واحد، مما يحاكي شبكات التنظيم الجيني المشترك بشكل أفضل.
ضمانات الاستقرار: نظريًا، المشتق الخاص بدالة السيجمويد محدود عالميًا ( $\le 0.25$ )، ومصفوفة جاكوبي (Jacobian) الخاصة بها قطرية. هذا يلغي الارتباط التدرجي بين الرموز والحساسية الأسية لدرجات القيم المتأصلة في Softmax، مما يمنع انفجار التدرجات.

ب. نواة TritonSigmoid

لجعل انتباه السيجمويد عمليًا للبيانات البيولوجية، قام المؤلفون بتنفيذ TritonSigmoid، وهي نواة GPU مخصصة باستخدام لغة البرمجة Triton. تشمل الابتكارات الرئيسية ما يلي:

دعم الحشو الأصلي (Native Padding Support): تستخدم النواة الحوسبة المتفرقة كليًا (block-sparse computation) لتحديد وتخطي الكتل المحشوة بالكامل، مما يتجنب العمليات الحسابية الضائعة على المواضع المقنعة (masked positions). وهذا أمر بالغ الأهمية للتعامل مع الطبيعة المتغيرة الطول لبيانات scRNA-seq.
تمرير خلفي مُحسّن (Optimized Backward Pass): تم تفكيك التمرير الخلفي إلى نواتين لإزالة العمليات الذرية (atomic operations)، باستخدام التراكم المباشر للتدرج لتحقيق استقرار عددي وأداء أفضل.
التحسين العتادي (Hardware Optimization): تستفيد النواة من دوال tanh المحسنة عتاديًا (التي تقرب السيجمويد) وقراءات الذاكرة المنقولة (transposed memory reads) لزيادة معدل الإنتاجية على وحدات NVIDIA H100.

3. المساهمات الرئيسية

التنفيذ الفعال (TritonSigmoid): نواة عالية الأداء تحقق 515 TFLOPS على وحدات H100 (متفوقة على FlashAttention-2 التي تحقق 361 TFLOPS وFlashSigmoid التي تحقق 440 TFLOPS). وهي أول تنفيذ يجمع بين انتباه السيجمويد ودعم الحشو الأصلي الفعال.
التفوق التجريبي: أثبتت الدراسة أن انتباه السيجمويد يتعلم تمثيلات أفضل من Softmax عبر ست مجموعات بيانات متنوعة للخلايا المفردة، محققة فقدان تحقق (validation loss) أقل وحفاظًا فائقًا على البنية البيولوجية.
استقرار التدريب: أثبت انتباه السيجمويد قدرته على منع الفشل الكارثي في التدريب خلال اختبارات الضغط (السياقات الطويلة، بدون تقليم التدرج) حيث يفشل Softmax.

4. النتائج

أ. الأداء الحسابي

الإنتاجية (Throughput): تحقق TritonSigmoid تسريعًا يصل إلى 7.15 ضعفًا في عمليات التمرير الأمامي و2.44 ضعفًا في عمليات التمرير الخلفي مقارنة بانتباه PyTorch القياسي.
كفاءة الحشو: مع وجود حشو بنسبة 25%، تعد TritonSigmoid أسرع بنسبة 29% في التمرير الأمامي من FlashAttention-2. انخفاض TFLOPS بسبب الحشو ضئيل (~9.3%)، مما يثبت فعالية آلية تخطي الكتل المتفرقة.
التدريب النهائي (End-to-End): النماذج المدربة باستخدام انتباه السيجمويد أسرع في التدريب بنسبة 4-10% من نظيراتها التي تستخدم Softmax، وتتسع هذه الفجوة مع زيادة طول السياق (على سبيل المثال، توفير 645 ساعة من زمن GPU لنموذج بـ 1.4 مليار معلمة وسياق 8K).

ب. جودة النموذج (تعلم التمثيل)

تم التقييم على ست مجموعات بيانات (الدماغ، الدم، القولون، الرئة، القلب):

فقدان التحقق (Validation Loss): حققت نماذج السيجمويد باستمرار فقدان تحقق أقل عبر جميع مجموعات البيانات وأطوال السياق (2K و4K).
تمايز أنواع الخلايا: حقق السيجمويد نسبة أعلى بـ 25% في تباعد المتوسط المربع الأقصى (MMD) بين أنواع الخلايا، مما يشير إلى قدرة تمييز أفضل في مساحة التضمين (embedding space).
الحفاظ البيولوجي: أظهرت نماذج السيجمويد تماسكًا فائقًا لأنواع الخلايا (درجات Silhouette) واتفاقًا في التجميع (Leiden NMI/ARI) مقارنة بـ Softmax.

ج. استقرار التدريب (اختبار الضغط)

في اختبار ضغط باستخدام نماذج بـ 160 مليون معلمة وتسلسلات بطول 8K بدون تقليم التدرج:

Softmax: تباعد بشكل كارثي حول الخطوة 55 ألف. انفجر معيار التدرج العالمي بمقدار أربعة أوامر مقدارية ( $100 \to 1.6 \times 10^6$ )، ونمت درجات الانتباه بشكل أسي ( $2 \times 10^8$ ).
السيجمويد: ظل مستقرًا طوال 80 ألف خطوة. ظلت التدرجات محدودة ( $10–100$ )، وظلت درجات الانتباه تحت السيطرة، مما أكد توقعات الاستقرار النظرية.

5. الأهمية

تؤسس هذه الورقة لـ انتباه السيجمويد (Sigmoid Attention) كبديل متجذر نظريًا ومتفوق تجريبيًا لـ Softmax في نماذج التأسيس البيولوجية.

الأثر النظري: تعالج مشكلة عدم الاستقرار المتأصلة في Softmax في سياقات البيانات البيولوجية عالية الأبعاد والطويلة من خلال الاستفيد من المشتقات المحدودة ومصفوفة جاكوبي القطرية للسيجمويد.
الأثر العملي: إن إصدار TritonSigmoid يزيل الحاجز الحسابي لاستخدام انتباه السيجمويد. ومن خلال حل "مشكلة الحشو" للتسلسلات البيولوجية المسننة، فإنه يتيح تدريب نماذج واسعة النطاق بكفاءة على بيانات scRNA-seq الواقعية.
التقدم في المجال: تشير النتوات إلى أن الطبيعة "التنافسية" لـ Softmax لا تناسب التنظيم الجيني، وأن آليات الانتباه "غير التنافسية" تلتقط بشكل أفضل الشبكات التنظيمية المعقدة والمتداخلة التي تحدد هوية الخلية.

لقد أتاح المؤلفون تنفيذهم عبر الرابط https://github.com/MSDLLCpapers/triton-sigmoid لتسهيل الاعتماد الفوري في مجتمعات المعلوماتية الحيوية والذكاء الاصطناعي.