💻 computer science

Thicker and Quicker: A Jumbo Token for Fast Plain Vision Transformers

تقدم هذه الورقة "Jumbo"، وهو نموذج "Vision Transformer" بسيط، سريع ودقيق، يعزز الكفاءة عبر استبدال رموز الرقع الضيقة (patch tokens) برمز عالمي واحد أعرض ومشترك المعلمات يتم معالجته بواسطة شبكة تغذية أمامية (FFN) تعتمد على الانتباه فقط، مما يحسن الأداء عبر مهام متنوعة مع الحفاظ على التوافق مع أساليب "ViT" الحالية.

المؤلفون الأصليون: Anthony Fuller, Yousef Yassin, Daniel G. Kyrollos, Evan Shelhamer, James R. Green

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Anthony Fuller, Yousef Yassin, Daniel G. Kyrollos, Evan Shelhamer, James R. Green

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير وكالة استخبارات ضخمة وعالية المخاطر (وهي محول الرؤية أو ViT) تحتاج إلى تحليل ملايين الصور كل ثانية.

يعمل نظامك الحالي كالتالي: تقوم بتعيين فريق من 196 محققاً مبتدئاً (وهي رموز الرقع - patch tokens) لمراقبة مربعات صغيرة من الصورة، وتقوم بتعيين مدير واحد (وهو رمز CLS) للنظر في الصورة بأكملها واتخاذ القرار النهائي.

المشكلة:
يقوم المحققون المبتدئون بكل العمل الشاق، لكن المدير الواحد هو عنق الزجاجة. إنه مثقل بالأعباء، ويحاول معالجة الصورة بأكملها بنفس القدر المحدود من القدرات الذهنية التي يمتلكها المبتدئون. ولجعل الوكالة أسرع، عادة ما تضطر إلى تسريح بعض المحققين أو تقليص حجم مكتب المدير، مما يجعل الوكالة أقل دقة.

الحل: "جامبو" (Jumbo)
يقترح مؤلفو هذه الورقة استراتيجية توظيف جديدة تسمى Jumbo. فبدلاً من وجود مدير واحد مثقل بالأعباء والعديد من المبتدئين، يقدمون "رمز جامبو" (Jumbo Token).

إليك كيف يعمل ذلك، مقسماً إلى تشبيهات بسيطة:

1. مدير "جامبو" مقابل المتدربين "الصغار"

في النظام القياسي، يكون المدير والمتدربون بنفس الحجم. في نظام Jumbo، يكون المدير ضخماً.

التشبيه: تخيل أن المتدربين هم حقائب ظهر صغيرة. أما مدير "جامبو" فهو حاوية شحن عملاقة. إنه أعرض بـ 6 مرات (يمتلك قدرة ذهنية أكبر بـ 6 مرات) من المتدرب الواحد.
لماذا يساعد هذا: يمكن لهذا المدير الضخم أن يحمل الكثير من المعلومات العالمية حول الصورة دون الحاجة إلى توظيف المزيد من الأشخاص.

2. خدعة "التقسيم والدمج" (اللمسة السحرية)

قد تعتقد: "إذا كان المدير كبيراً جداً، ألن يستغرق الأمر وقتاً طويلاً لمعالجته؟"

الخدعة: قبل أن يتحدث المدير إلى المتدربين، يقوم النظام بتقسيم المدير الضخم إلى 6 قطع أصغر وذات حجم طبيعي. تتحدث هذه القطع الست مع الـ 196 متدرباً.
إعادة التجميع: بعد الدردشة، يتم لصق القطع الست معاً مرة أخرى لتصبح مديراً ضخماً.
النتيجة: يحصل المدير على فرصة التحدث مع الجميع (تماماً كما في السابق)، ولكن لأنه تم تقسيمه، يمكن للكمبيوتر معالجته بسرعة كبيرة. الأمر يشبه وجود فريق من 6 أشخاص يعملون بالتوازي، ثم دمج ملاحظاتهم في تقرير واحد ضخم فوراً.

3. "الدماغ المشترك" (كفاءة الذاكرة)

عادةً، إذا كان لديك مدير ضخم، فستحتاج إلى دماغ ضخم لكل طبقة من طبقات مؤسستك. هذا مكلف ويستهلك الكثير من الذاكرة.

حل "جامبو": يستخدم مدير "جامبو" دماغاً مشتركاً. حيث تُستخدم نفس مجموعة التعليمات (المعلمات/parameters) للمدير في كل مستوى من مستويات المؤسسة.
التشبيه: تخيل رئيس طهاة بارعاً يكتب بطاقة وصفة واحدة مثالية. بدلاً من شراء كتاب طبخ جديد لكل طبق، يستخدم كل طاهٍ في المطبخ تلك الوصفة نفسها. هذا يوفر المساحة والمال، ومع ذلك يظل الطعام لذيذاً للغاية.

4. لماذا هذا أفضل من الأنظمة "المتخصصة"

هناك أنظمة سريعة أخرى (مثل MobileNet أو EfficientViT) تشبه شاحنات التوصيل المتخصصة. هي سريعة، لكنها لا تستطيع سوى توصيل الطرود (الصور). لا يمكنها التعامل مع البيانات الزمنية، أو الفيديو، أو النماذج ثلاثية الأبعاد دون إعادة بناء كاملة.

قوة "جامبو" الخارقة: لأن "جامبو" يحافظ على الهيكل "البسيط" للوكالة الأصلية، فإنه يصبح شاملاً. يمكنه التعامل مع الصور، والبيانات الزمنية (مثل أسواق الأسهم)، والفيديو، وحتى مهام اللغة دون الحاجة إلى محرك مخصص. إنه سكين سويسري سريع بقدر ما هو مشرط متخصص.

النتائج الواقعية

اختبرت الورقة وكالة "جامبو" هذه على كل شيء، من تحديد القطط والكلاب إلى التنبؤ باتجاهات الأسهم وتحليل الصور الطبية.

السرعة: يعمل أسرع بـ 1.9 مرة من الأنظمة "البسيطة" الأفضل سابقاً.
الدقة: هو أكثر دقة من الأنظمة السريعة المتخصلة.
تعدد الاستخدامات: يعمل بشكل أفضل في "التعلم تحت الإشراف الذاتي" (التعلم بدون تسميات بشرية) وهو أكثر قوة عندما تكون الصور ضبابية أو تالفة.

الخلاصة

تقدم الورقة طريقة لجعل نماذج الرؤية الحاسوبية للذكاء الاصطناعي أكثر سمكاً (أكثر ذكاءً) وأسرع (أسرع) في آن واحد. من خلال جعل رمز "المفكر العالمي" أعرض بكثير واستخدام خدعة التقسيم والدمج الذكية، أنشأوا نظاماً هو:

أسرع من النماذج المتخصلة الضيقة.
أذكى من النماذج القياسية.
مرن بما يكفي للعمل على أي نوع من البيانات تقريباً.

الأمر يشبه ترقية دراجة هوائية إلى سيارة رياضية دون فقدان القدرة على ركوبها في طريق ترابي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "THICKER AND QUICKER: A JUMBO TOKEN FOR FAST PLAIN VISION TRANSFORMERS".

1. بيان المشكلة

أصبحت نماذج Vision Transformers (ViTs) هي البنية المهيمنة في مجال الرؤية الحاسوبية نظرًا لعموميتها، ودقتها، وقدرتها على التعامل مع مهام متنوعة (من التصنيف إلى التجزئة والرؤية ثلاثية الأبعاد). ومع ذلك، تواجه نماذج "Plain ViTs" القياسية (التي تعتمد على الانتباه فقط، وغير هرمية) مقايضة حرجة: فهي غالبًا ما تكون أبطأ وأقل كفاءة في استهلاك الحوسبة مقارنة بالبنيات المتخصصة (مثل EfficientViT أو MobileNetV4) عندما يكون حجم النموذج محدودًا.

تتضمن الحلول الحالية لتحسين سرعة ViT ما يلي:

البنيات الهجينة (Hybrid Architectures): إدخال التلافيف (Convolutions)، أو التجميع (Pooling)، أو الهياكل الهرمية. ورغم أنها أسرع، إلا أنها تفقد واجهة "Plain ViT"، مما يجعلها غير متوافقة مع التعلم الخاضع للإشراف الذاتي (SSL) الحديث، أو إسقاط الرموز (Token Dropping)، أو أشكال المدخلات المرنة (مثل السلاسل الزمنية).
تقليص الرموز (Token Shrinking): تقليل أبعاد التضمين (العرض) عبر جميع الرموز لخفض العمليات الحسابية (FLOPs). وهذا يضحي بالقدرة التمثيلية والدقة.
رموز السجلات (Register Tokens): تضيف الأعمال البحثية الأخيرة (ViT+Registers) رموزًا إضافية قابلة للتعلم لتجميع المعلومات العالمية، مما يحسن الدقة ولكن ليس بالضرورة السرعة أو كفاءة السعة.

المشكلة الجوهرية هي كيفية زيادة سعة النموذج ودقته دون التضحو بسرعة وبساطة وتوافق منظومة (Ecosystem) نماذج Plain ViTs.

2. المنهجية: رمز Jumbo (The Jumbo Token)

يقترح المؤلفون Jumbo، وهي بنية مبتكرة تحافظ على هيكل Plain ViT (انتباه فقط، غير هرمية) مع زيادة سعة النموذج بشكل غير متماثل.

مبادئ التصميم الأساسية

توسيع العرض غير المتماثل (Asymmetric Width Scaling): على عكس نماذج ViT القياسية التي توسع العرض بشكل موحد عبر جميع الرموز، يقدم Jumbo رمزًا واحدًا ضخمًا (Jumbo token) يكون أعرض بمقدار $J \times$ $J \times$ من رموز الرقع (Patch tokens) القياسية.
- رموز الرقع (Patch Tokens): عرض قياسي $D$ .
- رمز Jumbo: عرض $J \times D$ .
تقسيم الرموز للانتباه (Token Splitting for Attention): قبل عملية الانتباه الذاتي متعدد الرؤوس (MHSA)، يتم تقسيم رمز Jumbo العريض إلى $J$ من الرموز المنفصلة، كل منها بعرض $D$ . يتم دمج هذه الرموز مع رموز الرقع لتشكيل تسلسل المدخلات لطبقة الانتباه.
شبكة تغذية أمامية (FFN) مخصصة وعريضة: بعد عملية الانتباه، يتم إعادة تجميع الرموز الـ $J$ $J$ المقسمة (دمجها) مرة أخرى في رمز Jumbo الواحد العريض. ومن الأهمية بمكان أن هذا الرمز تتم معالجته بواسطة شبكة تغذية أمامية (FFN) خاصة به بعرض $J \times D$ $J \times D$ .
- يسم_ح هذا للنموذج بمعالجة المعلومات العالمية بسعة أعلى بكثير من رموز الرقع.
- تستمر رموز الرقع في استخدام شبكة FFN القياسية والمشتركة.
مشاركة المعلمات من أجل الكفاءة (Parameter Sharing for Efficiency): للتخفيف من تكلفة الذاكرة لشبكة FFN الأعرض، يتم مشاركة معلمات Jumbo FFN عبر جميع طبقات الترانسفورمر. وهذا يقلل بشكل كبير من إجمالي عدد المعلمات وبصمة الذاكرة مع الحفاظ على دفعة السعة.
الحفاظ على سمات Plain ViT: تظل البنية تعتمد على الانتباه فقط وغير هرمية. فهي لا تستخدم التلافيف، أو التطبيع الدفعي (Batch Normalization)، أو التجميع المكاني (Spatial Pooling).

لماذا ينجح هذا النهج؟

كفاءة التكلفة: تهيمن طول التسلسل (عدد الرقع) وعرض الرمز على التكلفة الحسابية لطبقة الترانسفورمر. وبما أن رمز Jumbo يتم تقسيمه إلى $J$ من الرموز بعرض $D$ لآلية الانتباه، فإن تكلفة الانتباه تظل مشابهة لنموذج ViT القياسي. التكلفة الإضافية تأتي فقط من شبكة FFN الأعرض المطبقة على رمز واحد (أو $J$ من الرموز بعرض $D$ )، وهي تكلفة ضئيلة مقارنة بمعالجة تسلسل رقع الصورة بأكمله.
السعة العالمية (Global Capacity): يعمل رمز Jumbo كرمز CLS فائق، حيث يقوم بتجميع المعلومات العالمية بأبعاد أعلى بكثير، مما يعالج مشكلة الاختناق حيث يجد رمز CLS الواحد (الذي يمثل 1/197 من التسلسل) صعوبة في تمثيل الصورة بأكملها.

3. المساهمات الرئيسية

بنية جديدة: تقديم رمز Jumbo، الذي يوسع العرض بشكل غير متماثل لتعزيز السعة العالمية دون زيادة طول التسلسل أو تعقيد الانتباه.
الكفاءة عبر المشاركة: آلية مبتكرة لمشاركة معلمات Jumbo FFF العريضة عبر الطبقات، مما يحقق سعة عالية بحد أدنى من عبء الذاكرة.
التوافق مع المنظومة (Ecosystem Compatibility): تعد هذه الطريقة أول بنية كفؤة تتفوق على النماذج المتخصصة (مثل EfficientViT) مع الاحتفاظ بالتوافق الكامل مع منظومة Plain ViT، بما في ذلك:
- إسقاط/إخفاء الرموز (Token dropping/masking) للتدريب والاستدلال الفعال.
- التعلم الخاضع للإشراف الذاتي (SSL) الحديث (MAE, DINOv2).
- أشكال المدخلات المرنة (السلاسل الزمنية، الفيديو، 3D).
- خوارزميات التكيف وقت الاختبار (TTA) المصممة لنماذج ViT القائمة على LayerNorm.
تقييم شامل: تجارب مكثفة عبر تصنيف الصور، التجزئة، التعلم الخاضع للإشراف الذاتي، المتانة، ونمذجة السلاسل الزمنية.

4. النتائج التجريبية

قيم المؤلفون Jumbo على ImageNet-1K، ImageNet-21K، ADE20K، ImageNet-C، ومختلف اختبارات السلاسل الزمنية.

تصنيف الصور (ImageNet-1K):
- يحقق Jumbo الحد الأمثل (Pareto frontier)، حيث يتفوق على البنيات المتخصصة في كفاءة الحوسبة (EfficientViT, SHViT, MobileNetV4) من حيث مقايضة السرعة والدقة.
- مقارنة بـ ViT+Registers، يحسن Jumbo دقة Top-1 بنسبة 0.1% إلى 13% (حسب المقياس) مع الحفاظ على إنتاجية (Throughput) مماثلة.
- عند مقياس Nano، يعد Jumbo أكثر دقة بنسبة 13% من Registers؛ وعند مقياس Tiny، هو أكثر دقة بنسبة 4%.
ImageNet-21K:
- يتفوق Jumbo على ViT+Registers بنسبة 1.2% (Base) و 3.1% (Small).
- هو أسرع بـ 1.9 مرة من Registers لنفس مستوى الدقة.
التجزئة الدلالية (ADE20K):
- باستخدام رأس تجزئة Plain-ViT قياسي، يحسن Jumbo قيمة mIoU بنسبة 1.9% إلى 3.1% فوق Registers عبر أحجام النماذج المختلفة.
التعلم الخاضع للإشراف الذاتي (MAE):
- حقق ViT-Base+Jumbo المدرب مسبقًا باستخدام MAE دقة 73.0% (Linear Probing)، مساويًا أداء خط الأساس ViT-Large (73.0%).
- والأهم من ذلك، حقق Jumbo هذا بـ 2.3 ضعف أقل من المعلمات، و 3.5 ضعف أقل من العمليات الحسابية (FLOPs)، و 3.1 ضعف أعلى في الإنتاجية مقارنة بخط الأساس ViT-Large.
المتانة والتكيف وقت الاختبار (ImageNet-C):
- Jumbo أكثر متانة تجاه التشويهات من Registers بنسبة (+3.6%).
- عند دمجه مع التكيف وقت الاختبار (TTA) المتطور (SAR)، تزداد الزيادة إلى +5.2%.
السلاسل الزمنية:
- عند تطبيقه على PatchTST، احتل Jumbo المركز الأول عبر 20 اختبارًا للسلاسل الزمنية أحادية ومتعددة المتغيرات، متفوقًا على كل من PatchTST القياسي و PatchTST+Registers.

5. الأهمية

تثبت الورقة أن السعة يمكن إضافتها بكفاءة إلى نماذج Vision Transformers دون المساس بمزاياها الهيكلية الأساسية.

كسر المقايضة: يثبت Jumbo أنه ليس من الضروري اللجوء إلى البنيات الهجينة (التلافيفية/الهرمية) لتحقيق سرعة ودقة عاليتين. من خلال التركيز على أين تضاف السعة (الرموز العالمية) بدلاً من مقدار ما يضاف في كل مكان، يحقق Jumbo كفاءة فائقة.
ضمان المستقبل (Future-Proofing): من خلال الحفاظ على واجهة "Plain ViT"، يضمن Jumbo التوافق مع المنظومة المتطورة بسرعة لأدوات الترانسفورمر (SSL، TTA، النماذج متعددة الوسائط). غالبًا ما تصبح النماذجة المتخصصة والفعالة قديمة أو غير متوافقة عند إدخال تقنيات حديثة (مثل إسقاط الرموز أو خسائر SSL محددة)؛ بينما يرث Jumbo هذه المزايا تلقائيًا.
القابلية للتوسع: تتوسع الطريقة بفعالية من نماذج Nano إلى Large وعبر أنواع مختلفة من البيانات (الرؤية، السلاسل الزمنية)، مما يشير إلى مبدأ قابل للتعميم لتصميم ترانسفورمر فعال.

باختصار، يقدم Jumbo حلاً "أكثر سمكًا" (سعة أعلى) و"أسرع" (كفاءة) لنماذج Vision Transformers، واضعًا معيارًا جديدًا للنماذج التي تتطلب أداءً عاليًا وقابلية تطبيق واسعة.