ملخص تقني: SparseSAM

بيان المشكلة

يحقق نموذج Segment Anything Model (SAM) أداءً فائقًا في تقسيم الصور مفتوح المفردات (open-vocabulary segmentation)، ولكنه يواجه اختناقات كبيرة في زمن الاستجابة (latency) واستهلاك الذاكرة، مدفوعًا بشكل أساسي بمشفر الرؤية (Vision Transformer - ViT) الخاص به. يستحوذ المشفر على أكثر من 99% من معاملات النموذج وحساباته. تعاني استراتيجيات التحسين الحالية من قيود حرجة:

• دمج الرموز (Token Merging): بينما تقلل طرق مثل Token Merging (ToMe) من طول التسلسل، إلا أنها غير مناسبة لمهام التقسيم (segmentation). نظرًا لأن وحدة فك التشفير (decoder) تتطلب دقة مكانية كاملة، فإن كل عملية دمج تستلزم عملية إلغاء دمج مقابلة. غالبًا ما يتجاوز هذا العبء الإداري لكل طبقة (عمليات scatter-gather) المدخرات الحسابية، مما يؤدي إلى زيادة زمن الاستجابة وتدهور كارثي في الجودة عند معدلات الضغط العالية.
• الانتباه المتفرق (Sparse Attention): تفشل النهج التي تركز فقط على الانتباه (مثل SpargeAttention وPISA) في معالجة التأخير الكبير الذي تسببه طبقات MLP، لا سيما في كتل SAM المحلية. علاوة على ذلك، فإن آليات التفرق الديناميكية تسبب عبئًا تشغيليًا كبيرًا في وقت التشغيل بسبب بناء الأقنعة (mask construction) وتقدير الأهمية عبر الإنترنت، وهو أمر غير مجدٍ نظرًا لبنية SAM التي تتكون من العديد من النوافذ المحلية مع عدد قليل نسبيًا من الرموز لكل رأس (أقل من 200).
• الكمية (Quantization): نادرًا ما تحقق الكمية بعد التدريب (مثل W4A4) تسريعًا ملموسًا في وحدات معالجة الرسومات (GPU) لنموذج SAM، وذلك بسبب أبعاد المصفوفات الصغيرة التي تفشل في إشباع إنتاجية Tensor Core.

هناك فجوة لمنهجية لا تتطلب إعادة تدريب تعمل على تسريع طبقتي الانتباه وMLP معًا مع الحفاظ على دقة مستوى الرمز المطلوبة للتقسيم عالي الجودة.

المنهجية

SparseSAM هو إطار عمل للتفرق الهيكلي لا يتطلب إعادة تدريب، يقدم تقنيتين متكاملتين لتقليل الحسابات دون الحاجة لإعادة تدريب أو بحث ديناميكي أثناء التشغيل.

1. انتباه الترتيب الشريطي (Stripe-Sort Attention)

تعمل هذه الآلية على تحويل الانتباه الكثيف إلى أنماط متفرقة ثابتة وصديقة للأجهزة باستخدام ترتيب دوري (Z-order/Morton) حتمي.

• الترتيب القائم على التدرج: تستخدم الطريقة عامل Sobel خفيف الوزن وخالٍ من المعاملات لحساب مقاديرات التدرج المحلي، والتي تعمل كوكيل لكثافة المعلومات (حدود الأجسام مقابل المناطق الناعمة).
• ترتيب الترتيب الشريطي (Stripe-Sort Permutation): بدلًا من مجرد فرز الرموز حسب الأهمية (والذي من شأنه تجميع العناصر الأمامية في البداية)، تطبق الطريقة استراتيجية "الترتيب الشريطي". فهي تعامل قائمة الرموز المرتبة كمصفوفة وتقوم بعملية تبديل (transpose) قبل تسطيحها (flattening). هذا يؤدي إلى تداخل الرموز عالية الأهمية عبر التسلسل، مما يضمن أن أي مجموعة فرعية مقصوصة أو متفرقة تحافظ على تغطية مكانية واسعة للصورة.
• نمط التفرق الثابت: يقوم هذا الترتيب بتفكيك مصفوفة الانتباه $N \times N$ إلى مخطط موزاييك مكون من $4 \times 4$ من الخرائط الفرعية. يُظهر النمط الناتج بنية قطرية حزامية (تلتقط التفاعلات المحلية) معززة بمجموعة حفظ عالمية صغيرة. يلغي هذا النمط الثابت الحاجة إلى بناء أقنعة ديناميكية، مما يسمح بالتنفيذ الفعال عبر نوى CUDA مخصصة (على غرار FlashAttention-2) دون عبء تشغيلي.

2. اتساق المتبقي لـ MLP (Residual-Consistency MLP)

تعالج هذه التقنية اختناق MLP من خلال استغلال الملاحظة القائلة بأن وحدة فك التشفير في SAM تعتمد على التباين بين المناطق أكثر من اعتمادها على تمثيلات دقيقة لكل رمز.

• توجيه الرموز (Token Routing): بناءً على ترتيب الترتيب الحتمي، يتم تقسيم الرموز إلى "مجموعة الاحتفاظ" ($X_k$) و"المجموعة المتبقية" ($X_r$).
• الحساب الانتقائي: يتم تطبيق MLP فقط على أعلى-$K$ من الرموز في مجموعة الاحتفاظ (تلك ذات التباين العالي في الميزات أو مقدار التحديث العالي).
• انتشار المتبقي (Residual Propagation): تتجاوز الرموز المتبقية في المجموعة المتبقية طبقة MLP تمامًا، وتمر عبر الاتصال المتبقي دون تغيير ($y_i = x_i + \epsilon_i$).
• الحفاظ على الهندسة: تحافظ هذه الطريقة على الهندسة التمثيلية المطلوبة من قبل وحدة فك التشفير مع تقليل التكلفة الحسابية لطبقات MLP بشكل كبير.

تستخدم كلتا التقنيتين مجموعة ترتيب واحدة محسبة مسبقًا ويتم إعادة استخدامها عبر جميع طبقات النموذج، مما يضمن عبئًا ضئيلاً لكل طبقة.

المساهمات الرئيسية

1. التسريع المشترك: يعد SparseSAM أول إطار عمل لا يتطلب إعادة تدريب يعمل على تسريع كل من طبقتي الانتباه وMLP في SAM، متجاوزًا القيود التي تواجهها الطرق التي تحسن مكونًا واحدًا فقط.
2. انتباه الترتيب الشريطي: آلية انتباه متفرقة مهيكلة تستخدم ترتيبًا دوريًا (Z-order) حتميًا لاستحثاث أنماط تفرق ثابتة وحزامية-كتلية. يتجنب هذا النمط عبء الأقنعة الديناميكية ويحافظ على السياق العالمي.
3. اتساق المتبقي لـ MLP: آلية توجيه الرموز التي تطبق تحديثات MLP فقط على الرموز المهمة دلاليًا بينما تمرر غيرها عبر المسار المتبقي، مما يحافظ على تنوع الميزات دون حسابات كثيفة.
4. كفاءة لا تتطلب إعادة تدريب: يعمل إطار العمل بأكمله دون إعادة تدريب، أو تقطير معرفة، أو ضبط دقيق (رغم أن الضبط الدقيق الاختياري أظهر قدرته على استعادة خسائر طفيفة في الدقة).

النتائج التجريبية

تم التقييم عبر أربعة اختبارات مرجعية للتقسيم (MS-COCO، ومجموعات فرعية من HQ-44K تشمل DIS5K-VD، وCOIFT، وThinObject5K-TE، وHRSOD) وثلاث نسخ من SAM (SAM-B, SAM-L, SAM-H):

• الدقة: عند كثافة 0.4 (تفرق بنسبة 60%)، يفقد SparseSAM 0.004 فقط من mIoU. وعند كثافة 0.3، يفقد 0.021 mIoU. يمثل هذا انخفاضًا بمقدار 2.10 ضعف في فقدان الدقة مقارنة بتقدم طرق دمج الرموز.
• التسريع: يحقق النهج متوسط تسريع في الاستدلال بمقدار 2.0× (يصل إلى 2.15× في SAM-B عند كثافة 25% مع الضغط المشترك).
• الذاكرة: يحقق تقليلاً في استخدام الذاكرة بمقدار 2.8×.
• المتانة: على عكس دمج الرموز، الذي يعاني من هبوط نوعي كارثي عند الضغط العالي، يحافظ SparseSAM على دقة قريبة من النموذج الأساسي حتى عند معدلات الضغط القصوى (كثافة < 0.4).
• الأجهزة: على وحدات NVIDIA A100، يحقق تكوين الضغط المشترك ذروة تسريع تبلغ 2.05× عند تفرق بنسبة 25%، متفوقًا على نماذج الانتباه فقط وطرق دمج الرموز عبر مختلف أحجام الدفعات (batch sizes).

الأهمية والادعاءات

يدعي البحث أن SparseSAM يضع معيارًا جديدًا للتقسيم الفعال من خلال حل المقايضة بين سرعة الاستدلال وجودة القناع. تكمن أهميته في:

• تمكين النشر على الحافة (Edge Deployment): من خلال تقليل زمن الاستجداء والذاكرة دون إعادة تدريب، يجعل هذا النموذج نماذج التأسيس الضخمة للتقسيم قابلة للتطبيق في البيئات الحساسة لزمن الاستجلة والمحدودة الموارد (مثل أجهزة الحافة).
• رؤية معمارية: يوضح أن كتل SAM المحلية تعاني من اختناق مزدوج (الانتباه + MLP)، وأن التفرق الثابت المحافظ على الهيكل أفضل من النهج الديناميكية أو القائمة على الدمج لمهام التنبؤ الكثيف.
• القدرة على التعميم: أظهرت آلية MLP ذات الاتساق المتبقي أنها تنتقل بفعالية إلى SAM2 (مشفر Hiera)، مما يشير إلى أن التكرار في تحديثات الرموز هو خاصية عامة لنماذج الظهر (backbones) في التقسيم.

يشير المؤلفون إلى أنه بينما يستخدم النهج الحالي ترتيبًا غير مرتبط بالمحتوى، يمكن للعمل المستقبلي استكشاف استراتيجيات هجينة لتحديد الأهمية الدلالية ديناميكيًا، رغم أن النهج الثابت الحالي يقدم بالفعل مكاسب كفاءة كبيرة.