💻 computer science

HSMLA: Hierarchical Softmax Multi-scale Linear Attention for Efficient Vision Transformers

تقدم هذه الورقة البحثية HSMLA، وهي آلية انتباه مبتكرة تجمع بين الانتباه الخطي القائم على ReLU، والتحسين الانتقائي لـ softmax، والتلافيف العميقة متعددة المقاييس للتغلب على التعقيد التربيعي لنماذج Vision Transformers القياسية، محققةً تسريعاً كبيراً في عملية الاستنتاج مع الحفاظ على دقة عالية في مهام التنبؤ الكثيف مثل تقسيم الصور الطبية وتحليل الأمراض.

المؤلفون الأصليون: Dong Liu, Yanxuan Yu, Renata Borovica-Gajic, Tong Geng, Ying Nian Wu

نُشر 2026-08-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dong Liu, Yanxuan Yu, Renata Borovica-Gajic, Tong Geng, Ying Nian Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول رسم جدارية ضخمة ومفصلة للغاية لمدينة، ولكن ليس لديك سوى دلو صغير من الطلاء ووقت قصير جدًا لإنهاء العمل. إذا حاولت النظر إلى كل طوبة في كل مبنى في نفس الوقت لتقرر أي لون ستستخدم، فسينفد منك الوقت قبل أن تبدأ حتى. هذه هي المشكلة التي تواجه نوعًا من الأدمغة الرقمية يسمى "محول الرؤية" (Vision Transformer). هؤلاء الفنانون الرقميون بارعون في فهم الصور، ولكن عندما تكون الصورة ضخمة — مثل مسح طبي عالي الدقة أو مشهد شارع لسيارة ذاتية القيادة — فإنهم يشعرون بالارتباك. إنهم يحاولون مقارنة كل بكسل بكل بكسل آخر، وهو أمر يشبه محاولة تعريف كل شخص في ملعب كرة قدم بكل شخص آخر في آن واحد. هذا الأمر بطيء جدًا ويستهلك الكثير من الطاقة.

لحل هذه المشكلة، حاول العلماء استخدام طريق مختصر يسمى "الانتباه الخطي" (linear attention). بدلاً من تعريف الجميع بالجميع، جعلوا الجميع يصرخون بملخص عام للغرفة بأكملها. هذا سريع جدًا، ولكن العيب هو أن التفاصيل تصبح ضبابية. الأمر يشبه سماع هتاف الحشود، لكن لا يمكنك سماع الكلمات المحددة التي يصرخ بها أي شخص. بالنسبة للمهام مثل تحديد الحافة الدقيقة لورم في مسح للجسم أو الخطوط الدقيقة على الوجه، فإن هذا الضباب يعد أمرًا غير مقبول. السؤال الكبير كان: هل يمكننا الحصول على سرعة الطريق المختصر ودقة النظرة التفصيلية في آن واحد؟

هنا يأتي اختراع جديد يسمى HSMLA (الانتباه الخطي متعدد المقاييس والبرمجيات الناعمة الهرمي)، الذي ابتكره فريق من الباحثين. فكر في HSMLA كمدير فني ذكي للغاية يعرف تمامًا متى يكسر القواعد. بدلاً من معاملة الجدارية بأكملها بنفس الطريقة، يستخدم HSMLA طريقة فعالة للأجزاء المملة والفارغة من الصورة (مثل السماء أو حائط سادة). إنه يستخدم الملخص العام السريع لهذه المناطق حتى لا يضيع الوقت. ولكن، في اللحظة التي يلمح فيها شيئًا صعبًا — مثل غصن شجرة متعرج، أو حافة مبنى معقدة، أو بقعة مشبوهة في صورة طبية — فإنه ينتقل فورًا إلى "الوضع الفائق". إنه يكبر الصورة ويقوم بالمقارنة البطيئة والمفصلة بكسل ببكسل فقط لذلك الجزء الصغير والمهم.

تظهر الورقة البحثية أن نهج "الخلط والمطابقة" هذا يغير قواعد اللعبة. فمن خلال إجراء العمل الثقيل والبطيء على حوالي 30% فقط من الصورة (الأجزاء التي تحتاج إليها حقًا) وترك الباقي للطريقة السريعة، يعمل HSMLA أسرع بمقدار يصل إلى 4.2 مرة من الطرق القياسية في مهام مثل "الدقة الفائقة" (super-resolution) (أي جعل الصور الضبابية حادة). وفي عالم التصوير الطبي، النتائج أكثر إثارة للإعجاب. ففي فحوصات الأشعة المقطعية المستخدمة لإيجاد الأعضاء، حققت الطريقة الجديدة درجة Dice بلغت 87.3% (وهي مقياس لمدى دقة الكمبيوتر في تحديد حدود العضو) بينما كانت تعمل أسرع بمقدار 3.2 مرة من المعيار السابق. وفي شرائح علم الأمراض المستخدمة للكشف عن السرطان، وصلت إلى 94.2% AUC (وهو مقياس لدقة الكشف) مع تسريع بمقدار 4.1 مرة.

اختبر الباحثون هذا على كل شيء، من تحديد السيارات في شوارع المدن إلى رصد العقد الرئوية الصغيرة، وكانت النتائج متسقة: لا يتعين عليك الاختيار بين السرعة والدقة بعد الآن. النظام ذكي بما يكفي ليعرف متى يسترخي ومتى يركض بسرعة. إنه ليس مجرد فكرة نظرية؛ فقد بناها الفريق واختبرها على أجهزة حقيقية مثل الرقائق الموجودة في السيارات ذاتية القيادة والأجهزة الطبية، وأثبتوا أنها تعمل. لقد وجدوا أنه باستخدام نظام "بوابة" (gating) لتقرير أي أجزاء من الصورة تحتاج إلى النظرة الدقيقة والبطيئة، استطاعوا الحفاظ على وضوح الصورة الشاملة مع شحذ التفاصيل المحلية بدقة حيثما تهم أكثر. الأمر يشبه امتلاك فريق من الرسامين حيث يعمل فنانو الخلفية بسرعة البرق، بينما يتم استدعاء عدد قليل من رسامي التفاصيل المهرة فقط للزهور والوجوه المعقدة، مما يضمن إنهاء الجدارية بأكملها بسرعة دون فقدان لمسة واحدة من الجودة.

ملخص تقني: HSMLA (الانتباه الخطي متعدد المقاييس بـ Softmax الهرمي)

1. بيان المشكلة

حققت نماذج المحولات الرؤية (ViTs) أداءً رائدًا في مختلف مهام الرؤية، لكنها تواجه اختناقات حوسبية كبيرة في التنبؤ الكثيف عالي الدقة بسبب التعقيد التربيعي ( $O(N^2)$ ) لآلية الانتباه الذاتي. وبينما توفر آليات الانتباه الخطي تعقيدًا خطيًا $O(N)$ ، إلا أنها عادة ما تنتج توزيعات انتباه أكثر تسطحًا، مما يضعف نمذجة السياق المحلي. هذا القصور يعد أمرًا بالغ الأهمية بشكل خاص في التطبيقات التي تتطلب انتباهًا محليًا حادًا، مثل التصوير الطبي (حدود الأعضاء، حواف الأورام) ومهام التنبؤ الكثيف عالية الدقة مثل التجزئة الدلالية وتعلية الدقة (super-resolution). غالبًا ما تعتمد البنى الفعالة الموجودة على تطبيق الانتباه الخطي بشكل موحد أو الاعتماد على استراتيجيات تقليم الرموز (token pruning) المصممة للتصنيف وليس للتنبؤ الكثيف، مما يفشل في استعادة التعبير المحلي الضروري دون التضحية بالكفاءة.

2. المنهجية

يقترح المؤلفون HSMLA (الانتباه الخطي متعدد المقاييس بـ Softmax الهرمي)، وهي آلية انتباه هجينة مصممة لموازنة الكفاءة العالمية مع الدقة المحلية. تعمل البنية على مبدأ تخصيص حسابات الـ softmax الكاملة والمكلفة فقط لمجموعة متفرقة من المناطق المكانية الحرجة، مع الاعتماد على الانتباه الخطي الفعال لبقية المناطق.

المكونات الأساسية:

الانتباه الخطي متعدد المقاييس بـ ReLU (العمود الفقري العالمي):
مستلهمًا من EfficientViT، يستخدم HSMLA انتباهً خطيًا يعتمد على ReLU لحساب السياق العالمي بكفاءة. يتم إسقاط الرموز المدخلة وإثراؤها عبر تلافيف عميقة متعددة المقاييس (باستخدام أحجام نواة 3×3، 5×5، و7×7) لالتقاط السياق المحلي عبر مجالات استقبال متعددة. تستغل آلية الانتباه الخطي خاصية التجميع لتليل التعقيد إلى $O(Nd^2)$ ، حيث تقوم بحساب مصطلحات التجميع العالمي ( $Z$ و $D$ ) مرة واحدة لكل طبقة وإعادة استخدامها لجميع الاستعلامات (queries).
البوابات الهرمية على مستوى الكتلة (Hierarchical Block-Level Gating):
لمعالجة نقص الحدة المحلية في الانتباه الخطي، يقدم HSMLA آلية بوابات متعلمة تعمل على مستوى الكتلة (بلاطات مكانية متجاورة) بدلاً من مستوى الرمز (token).
- تسجيل النقاط على مستوى الرأس (Head-Level Scoring): يحسب كل رأس انتباه درجة البوابة بناءً على ميزات متعددة المقاييس.
- التجميع على مستوى الكتلة: يتم تجميع هذه الدرجات لإنتاج بوابة مشتركة $M_b \in [0,1]$ لكل كتلة مكانية.
- التوجيه (Routing): يتم توجيه الكتل التي تتجاوز قيمة البوابة فيها حدًا معينًا $\tau$ (تختار عادةً $\approx 30\%$ من الكتل) فقط إلى مسار صقل softmax محلي. يضمن نهج مستوى الكتلة هذا وصولًا متجانسًا للذاكرة ويتجنب تباعد الفروع لكل رمز، مما يجعله صديقًا للأجهزة (hardware-friendly).
نواة المتبقي ثنائية المسار (Two-Path Residual Kernel):
بدلاً من الاستبدال الثنائي للانتباه الخطي بـ softmax، يستخدم HSMLA استراتيجية صقل متبقي:
- المسار العالمي: يحتفظ كل رمز بسياقه العالمي عبر مسار الانتباه الخطي ( $O_{linear}$ ).
- المسار المحلي: للكتل المختارة، يتم حساب انتباه softmax محلي عبر نافذة صغيرة ( $w \times w$ ).
- التصحيح المتبقي (Residual Correction): المخرج النهائي هو مجموع المخرج الخطي العالمي والتصحيح المتبقي المتفرق ( $R_i = O_{local} - O_{lin-local}$ ). تضمن هذه الصيغة عدم التخلص من السياق العالمي أبدًا، ويتم قصر عملية الـ softmax المكلفة على جوار محلي، مما يقلل التعقيد من $O(\alpha N^2 d)$ إلى $O(\alpha N w^2 d)$ .
التصميم المدرك للأجهزة (Hardware-Aware Design):
تتضمن عملية التدريب مصطلحين للتنظيم لفرض أنماط تنشيط صديقة للأجهزة:
1. مصطلح الميزانية (Budget Term): يعاقب الانحرافات عن نسبة ميزانية softmax المستهدفة ( $\rho$ ) لضمان عمليات حسابية (FLOPs) وحركة مرور ذاكرة يمكن التنبؤ بها.
2. مصطلح النعومة المكانية (Spatial Smoothness Term): يعاقب التغيرات المفاجئة بين بوابات الكتل المتجاورة، مما يشجع على تكوين عناقيد بلاطات متصلة بدلاً من تنشيطات متفرقة. يعمل هذا على تحسين استخدام هرمية الذاكرة (HBM $\to$ L2 $\to$ SRAM) ويقلل من أعباء إطلاق النواة (kernel launch overheads).
تركيب الكتلة (Block Composition):
يتم دمج HSMLA في بنية "الساندوتش" (مشابهة لـ EfficientViT)، حيث يتم التداخل بين وحدة الانتباه والتلافيف العميقة والشبكات المغذية للأمام (FFN).

3. المساهمات الرئيسية

تحليل القيود: تحدد الورقة أن الانتباه الخطي القياسي يفشل في نمذجة الهياكل المحلية الحادة المطلوبة للتنبؤ الكثيف، لا سيما في التصوير الطبي.
بنية HSMLA: وحدة انتباه هرمية مبتكرة تجمع بين الانتباه الخطي متعدد المقاييس وبوابات softmax انتقائية تعتمد على المحتوى وتعتمد على ندرة الاستعلامات.
استراتيجية الصقل المتبقي: صيغة ثنائية المسار تفصل التجميع الخطي العالمي عن التصحيح المحلي المتفرق، مما يحافظ على السياق العالمي مع إضافة الدقة المحلية.
التصميم المشترك مع الأجهزة: تقديم خسائر تنظيمية محددة وخط أنابيب استدلال مضغوط للبلاطات لضمان توافق أقنعة البوابات المتعلمة مع هرميات ذاكرة وحدة معالجة الرسومات (GPU) وأنماط التنفيذ.

4. النتائج التجريبية

قيم المؤلفون HSMLA عبر أربعة إعدادات رؤية: التجزئة الدلالية، تصنيف الصور، تعلية الدقة (super-resolution)، والتصوير الطبي الحيوي.

التجزئة الدلالية (Cityscapes & ADE20K):
- حقق HSMLA-B2 نسبة 81.8% mIoU على Cityscapes مع تسريع قدره 3.7× مقارنة بـ SegFormer-B2.
- على ADE20K، وصل إلى 45.9% mIoU مع نفس التسريع البالغ 3.7×.
- تفوق على EfficientViT-B2 في كل من الدقة (+1.5 mIoU) وزمن الاستجابة (latency).
تصنيف الصور (ImageNet-1K):
- حقق HSMLA-B2 دقة 82.1% Top-1، مساويًا لـ ConvNeXt-B ومتفوقًا على EfficientViT-B2 (+0.3%) مع تسريع قدره 2.3× مقارنة بـ Swin Transformer-B.
التصوير الطبي الحيوي:
- تجزئة أعضاء CT (BTCV): حقق 87.3% Dice و 8.6 mm HD95 مع تسريع قدره 3.2×، متفوقًا بشكل كبير على TransUNet و SwinUNet في كل من الدقة وتحديد الحدود.
- تجزئة الشرائح المرضية WSI (CAMELYON16): وصل إلى 94.2% AUC مع تسريع قدره 4.1×.
- تجزئة الأدوات الجراحية (EndoVis 2017): حقق 89.7% Dice عند 42 FPS على Jetson AGX Orin مع تقليل بصمة الذاكرة.
- كشف عقد الرئة (LUNA16): حقق 95.0% حساسية (sensitivity) مع تسريع قدره 2.9×.
تعلية الدقة (DIV2K):
- حقق HSMLA-B1 قيمة 31.92 dB PSNR مع تسريع قدره 4.2× مقارنة بـ Restormer.

5. الأهمية والادعاءات

تدعي الورقة أن HSMLA ينجح في سد الفجوة بين كفاءة الانتباه الخطي والقدرة التعبيرية المحلية لـ softmax. ومن خلال توجيه مجموعة فرعية متفرقة فقط من الاستعلامات إلى انتباه softmax الكامل، تحقق الطريقة تسريعًا في وقت الاستدلال يصل إلى 4.2× عبر مهام التنبؤ الكثيف مع الحفاظ على الدقة أو تحسينها.

يؤكد المؤلفون أن HSMLA مهم بشكل خاص لـ تطبيقات التصوير عالي الدقة والتصوير الطبي حيث:

يجب أن تعمل النماذج تحت قيود صارمة للزمن والذاكرة على الأجهزة الطرفية (مثل أجهزة فئة Jetson).
يعد الحفاظ على التفاصيل الهيكلية الدقيقة (حدود الأعضاء، حواف الأورام) أمرًا بالغ الأهمية.
يمكن تخصيص الحوسبة ديناميكيًا للمناطق ذات الصلة تشخيصيًا دون التضحية بالسياق العالمي.

يُظهر العمل أن الجمع بين الانتباه الخطي متعدد المقاييس وصقل softmax المعتمد على المحتوى والندرة في الاستعلامات هو اتجاه عملي وفعال للتنبؤ الكثيف عالي الدقة، مما يوفر بديلًا واعدًا لآليات الانتباه التربيعية القياسية في البيئات محدودة الموارد.