🤖 AI

Where Do Tokens Go? Understanding Pruning Behaviors in STEP at High Resolutions

تقترح الورقة البحثية إطار عمل STEP، وهو إطار هجين لتقليل الرموز يجمع بين دمج الرقع الفائقة الديناميكي والتقليم عبر الخروج المبكر بواسطة سياسة شبكة عصبية تلافيفية خفيفة الوزن، مما يحسن بشكل كبير من الكفاءة الحسابية وإنتاجية نماذج "Vision Transformers" في مهام التجزئة الدلالية عالية الدقة مع حد أدنى من فقدان الدقة.

المؤلفون الأصليون: Michal Szczepanski, Martyna Poreba, Karim Haroun

نُشر 2026-05-21

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Michal Szczepanski, Martyna Poreba, Karim Haroun

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مرشد سياحي تقود مجموعة ضخمة من السياح ("الرموز" أو الـ tokens) عبر مدينة عملاقة ومعقدة (صورة عالية الدقة) للعثور على معالم محددة (التجزئة الدلالية - semantic segmentation).

في نموذج Vision Transformer (ViT) التقليدي، يتعامل المرشد مع كل طوبة، وورقة شجر، ونصل عشب كأنها شخص منفصل يجب إدارته. حتى لو كان هناك متنزه كامل يتكون فقط من عشب أخضر، فإن المرشد يتوقف ليتحدث إلى كل نصل عشب بشكل فردي. هذا الأمر بطيء ومرهق للغاية، خاصة عندما تكون المدينة ضخمة (دقة عالية).

تقدم الورقة البحثية طريقة جديدة تسمى STEP (الرموز الفائقة والتقليم المبكر - SuperToken and Early-Pruning) لجعل هذه الجولة أسرع بكثير دون فقدان التفاصيل المهمة. وهي تفعل ذلك بطريقتين ذكيتين:

1. استراتيجية "التجميع" (الرموز الفائقة - SuperTokens)

بدلاً من التعامل مع كل قطعة صغيرة من الصورة كشخص منفصل، يستخدم STEP مساعداً ذكياً يسمى dCTS. ينظر هذا المساعد إلى المدينة ويقول: "مهلاً، هذا الجزء الكامل من السماء هو مجرد لون أزرق، وهذا الحقل بالكامل هو مجرد لون أخضر. دعونا نجمعهم معاً!"

التشبيه: تخيل بدلاً من إدارة 4,000 سائح فردي، يقوم المساعد بتجميع 100 شخص يقفون في متنزه ليصبحوا "مجموعة فائقة" واحدة. الآن، يتعين على المرشد التحدث إلى ممثل هذه المجموعة الواحدة فقط بدلاً من 100 فرد.
النتيجة: يمكن للمرشد تجاوز المناطق المملة والمتجانسة (مثل السماء أو جدار فارغ) والتركيز طاقتهم على الأجزاء المعقدة من المدينة (مثل سوق مزدحم أو مبنى به نوافذ كثيرة). وجدت الورقة أن هذا الإجراء وحده يمكنه تقليل عدد الأشخاص الذين يتعين على المرشد إدارتهم بمقدار 2.5 مرة.

2. استراتيجية "الخروج المبكر" (التقليم - Pruning)

بينما تستمر الجولة، يكتشف بعض السياح مكانهم بالضبط بسرعة كبيرة. ربما يرى أحد السياح لافتة "بيتزا" ويعرف فوراً: "أنا في منطقة البيتزا!". هم لا يحتاجون لسماع بقية خطاب المرشد السياحي.

التشبيه: يقوم STEP بتركيب "أبواب خروج" عند نقاط مختلفة على طول مسار الجولة. إذا كان السائح متأكداً بنسبة 100% من موقعه، فيُسمح له بمغادرة الجولة مبكراً. يتوقف عن المشي ويتوقف عن الاستماع، مما يوفر على المرشد طاقة شرح بقية المسار له.
النتيجة: يضطر المرشد للاحتفاظ فقط بالسياح "المتحيرين" أو "غير المتأكدين" طوال مدة الجولة. تظهر الورقة أن ما يصل إلى 40% من السياح يمكن إرسالهم إلى منازلهم مبكراً، مما يوفر وقتاً وطاقة هائلين.

النتائج الكبرى

عندما اختبر الباحثون هذا على حاسوب فائق (NVIDIA A101 GPU) مع خرائط ضخمة وتفصيلية (صور تصل إلى 1024×1024 بكسل):

السرعة: أصبحت الجولة أسرع بكثير. في بعض الحالات، استطاع المرشد معالجة المدينة بسرعة أكبر بمقدار 3.4 مرة من الطريقة القديمة.
الكفاءة: لم يكن على الكمبيوتر القيام بالكثير من العمليات الحسابية. انخفض عبء العمل بمق up to 4 مرات.
الدقة: الأفضل من ذلك هو أن المرشد لم يضع الطريق. حتى مع وجود عدد أقل من الناس وجولات أقصر، ظل المرشد يجد المعالم بدقة تقارب الطريقة السابقة (انخفاض طفيف جداً في الدقة، أقل من 2%).

العقبة (الازدحام المروري)

لاحظت الورقة أيضاً أثراً جانبياً مضحكاً. على الرغم من أن المرشد أصبح يدير عدداً أقل من الناس، إلا أن السرعة لم تكن دائماً تزداد بشكل خطي مستقيم.

التشبيه: تخيل أن المرشد يقود سيارة. حتى لو كان هناك عدد أقل من الركاب، إذا كان على السائق التوقف باستمرار، وفحص الخريطة، واتخاذ قرار بشأن من سيغادر السيارة، فقد تظل السيارة تتحرك ببطء. عملية "التحقق من الشخص المستعد للمغادرة" (آلية التقليم) تخلق نوعاً من الازدحام والارتباك الذي يبطئ الأمور قليلاً.
الاستنتاج: الطريقة فعالة للغاية في تقليل العمل (الحسابات)، ولكن العملية الخاصة بتقرير من يجب استبعاده تحتاج إلى أن تكون أكثر سلاسة لتحقيق أقصى قدر من زيادة السرعة.

باخت-صار: STEP تشبه مرشداً سياحياً ذكياً يجمع السياح المتشابهين معاً ويسمح لأولئك الواثقين بالمغادرة مبكراً. هذا يجعل استكشاف المدن الضخمة والتفصيلية أسرع بكثير وأقل إرهاقاً، مع إنجاز المهمة بشكل صحيح.

ملخص تقني: STEP (الرمز الفائق والتقليم المبكر) للتجزئة الدلالية عالية الدقة

1. بيان المشكلة

حققت نماذج المحولات الرؤية (ViTs) أداءً فائقاً في التجزئة الدلالية بفضل قدرتها على التقاط الاعتمادات طويلة المدى. ومع ذلك، فإن نشرها العملي يعوقه التكاليف الحسابية والذاكرة العالية، مدفوعة بشكل أساسي بالتعقيد التربيعي لآلية الانتباه الذاتي بالنسبة لدقة الصورة. مع زيادة دقة الإدخال (على سبيل المثال، إلى 1024×1024)، تزداد التكلفة الحسابية واستهلاك الذاة بشكل كبير.

تواجه استراتيجيات تقليل الرموز (Tokens) الحالية قيوداً محددة في مهام التنبؤ الكثيف:

طرق مستوى الرقعة (Patch-level methods): (مثل CTS) تعتمد غالباً على معاملات ثابتة (مثل عدد ثابت من الرقع المدمجة)، مما يؤدي إلى أداء غير مثالي في الصور المعقدة (دمج مفرط) أو الصور البسيطة (دمج ناقص).
تقليم مستوى الرمز (Token-level pruning): (التقليم الصلب) غالباً ما يكون غير مناسب للتجزئة الدلالية لأنه يزيل الرموز نهائياً، بينما يتطلب التنبؤ الكثيف الحفاظ على المعلومات المكانية للمخرجات لكل بكسل.
النهج الهجين: تفتقر غالباً إلى القدرة على التكيف مع محتوى الصور المتغير أو تفشل في معالجة تحديات القابلية للتوسع الخاصة بمدخلات الدقة العالية.

يفترض البحث أنه يجب إيجاد توازن بين الكفاءة الحسابية والحفاظ على الدقة، لا سيما في سيناريوهات الدقة العالية حيث تكون المعالجة القائمة على الشبكة القياسية غير فعالة.

2. المنهجية: إطار عمل STEP

يقترح المؤلفون إطار عمل STEP (الرمز الفائق والتقليم المبكر - SuperToken and Early-Pruning)، وهو إطار هجين لتقليل الرموز مصمم لتعزيز كفاءة ViT دون المساس بالدقة بشكل كبير. يعمل STEP على مستويين متكاملين:

2.1 نظام dCTS الديناميكي: دمج الرقع التكيفي

على عكس استراتيجيات الدمج الثابتة، يقدم STEP نظام dCTS، وهو شبكة سياسة خفيفة الوزن وغير مرتبطة بفئة معينة تعتمد على EfficientNetLite0.

الآلية: تقوم الشبكة بتقييم مجموعات من الرقع المتجاورة (نوافذ بمقاسات $2\times2$ ، $4\times4$ ، $8\times8$ ، و $16\times16$ ) للتنبؤ بدرجة تشابه $S \in [0,1]$ .
منطق القرار: إذا تجاوزت درجة التشابه عتبة محددة مسبقاً $\tau$ ، يتم دمج الرقع في رقعة فائقة (superpatch). تتبع هذه العملية تسلسلاً هرمياً من الخشن إلى الناعم لمنع التعارض بين المجموعات المتداخلة.
المخرج: النتيجة هي شبكة من الرقع الفائقة ذات أحجام غير موحدة. يتم تغيير حجمها إلى دقة قياسية (16×16) عبر الاستيفاء الثنائي الخطي وإسقاطها في فضاء التضمين كـ رموز فائقة (supertokens).
الفائدة: يسم الله هذا العدد من الرموز ليتكيف ديناميكياً مع التجانس الدلالي لمحتوى الصورة (على سبيل المثال، دمج مساحات الخلفية الكبيرة مع الحفاظ على الدقة عند حدود الأجسام).

2.2 آلية التقليم المبكر

يدمج STEP استراتيجية الخروج المبكر المستوحاة من DToP (تقليم الرموز الديناميكي) لإيقاف معالجة الرموز "السهلة".

البنية: يتم تقسيم مشفر ViT إلى $S$ من المراحل. تتضمن كل مرحلة رأساً فك تشفير مساعداً (باستخدام وحدة Attention-to-Mask) يحسب درجة الثقة لكل رمز.
منطق التقليم: الرموز التي تتجاوز درجات ثقتها العتبة $\tau$ يتم حجبها وإيقاف انتشارها إلى الطبقات التالية. فقط الرموز ذات الثقة المنخفضة (الصعبة) هي التي تستمر عبر الطبقات الأعمق.
التكامل: هذه الاستراتيجية مكملة لـ dCTS؛ فبينما يقلل dCTS طول التسلسل الأولي، يقوم التقليم المبكر بتقصير مجموعة الرموز النشطة تدريجياً مع تعمق الشبكة.

3. المساهمات الرئيسية

يوضح البحث المساهمات المحددة التالية:

إطار عمل هجين مبتكر: اقتراح STEP، الذي يجمع بين دمج الرقع الديناميكي (dCTS) مع التقليم المبكر للرموز لمعالجة الكفاءة في التجزئة الدلالية.
تقييم الدقة العالية: تجارب واسعة النطاق على صور عالية الدقة (تصل إلى 1024×1024) باستخدام نماذج ViT-Base و ViT-Large. يزعم المؤلفون أن هذا هو أول محاولة لتقييم استراتيجيات تقليم الرموز بشكل منهجي في سياق التجزئة الدلالية عالية الدقة.
تحليل شامل: دراسات استئصال (ablation studies) مفصلة حول معاملات العتبة للدمج، والمواقع المثلى لرؤوس التقليم المساعدة، والمفاضلات بين التعقيد الحسابي (GFLOPs)، وسرعة الاستدلال (FPS)، والدقة (mIoU).
إثبات القابلية للتوسع: أدلة على أن STEP يحافظ على دقة تنافسية مع تقليل التعقيد الحسابي وزمن الاستدلال بشكل كبير، خاصة مع زيادة دقة الصورة وحجم النموذج.

4. النتائج التجريبية

أُجريت التجارب على مجموعات بيانات COCOStuff10k و ADE20K و Cityscapes باستخدام وحدات معالجة رسومية NVIDIA A100.

4.1 الأداء في الدقة القياسية (512×512)

dCTS بمفرده: عند تطبيقه على ViT-Large، يقلل dCTS عدد الرموز بمعامل 2.5 مقارنة بالتقسيم القياسي 16×16. يؤدي هذا إلى تقليل التكلفة الحسابية بمقدار 2.6 ضعف وزيادة الإنتاجية بمقدار 3.4 ضعف مع انخفاض طفيف في الدقة.
STEP الكامل: تطبيق كل من dCTS والتقليم المبكر يحقق ما يصل إلى تقليل في التعقيد الحسابي بمقدار 4 أضعاف وزيادة في سرعة الاستدلال بمقدار 1.7 ضعف، مع أقصى انخفاض في الدقة لا يتجاوز 2.0%.
الإعداد: قدم رأس تقليم واحد موضوع عند الطبقة 16 أو 18 من ViT-Large مقايضة مواتية بين الكفاءة وزمن الاستجابة مقارنة بتكوينات الرؤوس المتعددة.

4.2 الأداء في الدقة العالية (768×768 و 1024×1024)

القابلية للتوسع: مع زيادة الدقة، تعاني نماذج SegViT القياسية من زيادات هائلة في GFLOPs وانخفاض في FPS. تحافظ تكوينات STEP على توازن مستقر.
ViT-Large عند 1024×1024: قللت نسخة dCTS وحدها من GFLOPs من 2086 إلى 802 (أقل تعقيداً بمقدار 2.6 ضعف) وزادت FPS من 12 إلى 41 (أسرع بمقدار 3.4 ضعف)، مع انخفاض هامشي فقط في mIoU.
ديناميكيات تقليم الرموز: يمكن التنبؤ بـ 40% من الرموز بثقة وإيقافها قبل الوصول إلى طبقة المشفر النهائية. في إعدادات الدقة العالية مع ViT-Large، يتم إيقاف متوسط 48% من الرموز مبكراً.

4.3 ملاحظات حول الإنتاجية مقابل FLOPs

لاحظ المؤلفون نتيجة بالغة الأهمية: الإنتاجية (FPS) لا تتناسب خطياً مع تقليل FLOPs.

بينما تنخفض GFLOPs بشكل كبير، فإن المكاسب في سرعة الاستدلال تكون محدودة أحياناً (على سبيل المثال، تقليل 4 أضعاف في GFLOP لا يؤدي دائماً إلى زيادة 4 أضعاف في FPS).
السبب: عمليات الحجب المطلوبة للتقليم المبكر تسبب اختناقات بسبب تدفق التحكم غير المنتظم، وأنماط الوصول إلى الذاكرة الديناميكية، وتغير أشكال التنسورات (tensors). يشير البحث إلى أن عدم الكفاءة في الأجهزة، مثل عمليات نقل الذاكرة غير الضرورية بين GPU و CPU، قد تقلل من مكاسب الأداء المتوقعة.

5. الأهمية والادعاءات

يزعم البحث أن STEP يمثل خطوة مهمة نحو جعل نماذج ViTs قابلة للاستخدام في مهام التنبؤ الكثيف عالية الدقة.

الأول من نوعه: يؤكد المؤلفون أن هذا هو العمل الأول الذي يقيم تقليم الرموز بشكل منهجي عبر مستويات دقة مختلفة في التجزئة الدلالية.
التوازن بين الكفاءة والدقة: يثبت STEP أنه من الممكن تحقيق توفير كبير في الحسابات (يصل إلى 4 أضعاف) وتسريع في الأداء مع إبقاء تدهور الدقة ضمن الحدود المقبولة (أقل من 2.0%).
القدرة على التكيف: أثبتت وحدة dCTS أنها قوية بشكل خاص، حيث تكيف معدلات الدمج مع تعقيد الصورة دون الحاجة إلى معاملات ثابتة، مما يجعلها مناسبة لمشاهد متنوعة من العالم الحقيقي.

يخلص المؤلفون إلى أنه بينما يوفر STEP مزايا واضحة في الكفاءة والقابلية للتوسع، يجب أن تعالج الأعمال المستقبلية عدم الكفاءة على مستوى الأجهزة لآلية التقليم نفسها لتحقيق كامل إمكانات الإنتاجية التي تتنبأ بها تقليلات FLOP.