🤖 AI

Separators in Enhancing Autoregressive Pretraining for Vision Mamba

تقدم الورقة البحثية STAR، وهي طريقة تدريب مسبق ذاتية الانحدار مبتكرة تستخدم فواصل صور لمضاعفة طول تسلسل المدخلات لنموذج Vision Mamba أربع مرات، محققةً دقة تنافسية تبلغ 83.5% على ImageNet-1k من خلال الاستفادة بفعالية من الاعتمادات طويلة المدى.

المؤلفون الأصليون: Hanpeng Liu, Zidan Wang, Shuoxi Zhang, Kaiyuan Gao, Kun He

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hanpeng Liu, Zidan Wang, Shuoxi Zhang, Kaiyuan Gao, Kun He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي وسريع جدًا كيف يفهم الصور. هذا الروبوت، المسمى Mamba، هو نوع خاص من الذكاء الاصطناعي بارع للغاية في قراءة القصص الطويلة (مثل الكتب أو الجمل) لأنه يعالج المعلومات في خط مستقيم، كلمة تلو الأخرى.

ومع ذلك، هناك مشكلة: الصور ليست قصصًا. الصورة هي شبكة ثنائية الأبعاد من البكسلات. إذا حاولت تغذية Mamba بصورة كاملة كقائمة واحدة قصيرة من الكلمات، فسيشعر بالملل ولن يتعلم الكثير. الأمر يشبه مطالبة عداء ماراثون بالركض لمسافة 10 أمتار فقط؛ لديه القدرة على ركض ميل كامل، لكنك لا تعطيه سوى مضمار صغير جدًا.

لقد ابتكر الباحثون في هذه الورقة البحثية، بقيادة هانبنغ ليو (Hanpeng Liu)، حيلة ذكية لإصلاح ذلك. أطلقوا على طريقتهم اسم STAR (الفواصل لتدريب ما قبل التنبؤ الذاتي - SeparaTors for AutoRegressive pretraining).

إليك كيف تعمل، مقسمة إلى تشبيهات بسيطة:

1. المشكلة: فخ "القصة القصيرة"

عادةً، عندما نعلم الذكاء الاصطناعي فهم الصور، نُظهر له صورة واحدة في كل مرة. نقوم بتقطيع الصورة إلى قطع صغيرة من أحجية (patches) ونسأل الذكاء الاصطناعي أن يتوقع القطعة التالية بناءً على القطع السابقة.

المشكلة: حتى مع وجود صورة كبيرة، فإن "القصة" لا تزال قصيرة جدًا بالنسبة لـ Mamba. الأمر يشبه قراءة جملة واحدة وتوقع فهم الرواية بأكملها. قدرة Mamba الخارقة هي التعامل مع التسلسلات الطويلة، لكن مهام الصور القياسية لا تمنحه طولًا كافيًا ليبرز مهاراته.

2. الحل: تشبيه "رف الكتب"

أدرك الباحثون: لماذا لا نغذي Mamba برف كامل من الكتب دفعة واحدة بدلاً من مجرد صفحة واحدة؟

قرروا أخذ صور مختلفة عديدة وتكديسها في تسلسل واحد عملاق وطويل. ولكن إذا قمت بلصق الصور معًا فحسب، فسيصاب الروبوت بالارتباك؛ فقد يعتقد أن الجزء السفلي من ذيل قطة هو الجزء العلوي من عجلة سيارة.

إليك "الفاصل" (The STAR):
لإصلاح ذلك، اخترعوا "علامة مرجعية" خاصة أو "فاصل فصول".

تخيل أنك تقرأ كتابًا من القصص القصيرة. بين كل قصة وأخرى، توجد صفحة بيضاء بها رمز خاص (مثل النجمة ⭐).
في عالم الكمبيوتر، هذا "النجم" هو نمط محدد من الأصفار والآحاد لا يشبه أي صورة حقيقية.
كيف يعمل: يأخذون 8 صور مختلفة، ويضعون "علامة نجمية" أمام كل واحدة منها، ثم يلصقونها جميعًا لتصبح سلسلة واحدة طويلة وعملاقة.
- الصورة 1 -> النجمة -> الصورة 2 -> النجمة -> الصورة 3...

الآن، يمكن لـ Mamba أن يركض "الماراثون" الخاص به. إنه يقرأ عبر السلسلة الطويلة، ويتعلم أنه "عندما أرى نجمة، فهذا يعني أن صورة جديدة قد بدأت". هذا يسمح له باستخدام كامل قوته لفهم الروابط بعيدة المدى.

3. تبديل "رمز الفئة" (Class Token)

في العديد من نماذج الذكاء الاصطناعي، يوجد "رمز ملخص" خاص (مثل بطاقة العنوان) يخبر النموذج عن موضوع الصورة بأكملها.

الطريقة القديمة: كانت بطاقة العنوان عالقة في منتة القصة.
طريقة STAR: نقل الباحثون بطاقة العنوان إلى نهاية القصة تمامًا.
لماذا؟ بما أن الروبوت قد قرأ الآن السلسلة الطويلة الكاملة من الصور، فقد أصبح لديه فهم أفضل للسياق. وضع الملخص في النهاية يسمح له باستخدام كل تلك المعلومات الجديدة لتقديم تخمين أكثر ذكاءً.

4. النتائج: عداء أسرع وأذكى

باستخدام طريقة "سلسلة الصور الطويلة مع العلامات المرجعية" هذه:

الكفاءة: قاموا بتدريب النموذج بشكل أسرع بكثير من الطرق الأخرى (مثل التعلم التبايني أو MAE). الأمر يشبه تعلم الروبوت لنفس القدر من المعرفة في سدس الوقت المستغرق.
الأداء: أصبح النموذج دقيقًا للغاية في التعرف على الأشياء (مثل القطط، السيارات، أو الكلاب). لقد وصل إلى دقة 83.5% في اختبار قياسي (ImageNet)، وهو مستوى ينافس أفضل النماذج الموجودة، على الرغم من استخدامه لبنية أبسط وأخف.

الملخص

فكر في STAR على أنه تعليم روبوت كيفية القراءة من خلال إعطائه مكتبة كاملة من الكتب الملصقة مع بعضها بفواصل خاصة، بدلاً من مجرد تسليمه صفحة واحدة.

الفواصل (Separators): تبقي القصص (الصور) متميزة حتى لا يرتبك الروبوت.
التسلسل الطويل: يسمح للروبوت باستخدام قدرته الخارقة (التعامل مع البيانات الطويلة) للتعلم بشكل أفضل.
نقل العنوان: يسمح للروبوت باستخدام السياق الكامل للقصة لتقديم تخمين نهائي ذكي.

النتيجة هي نموذج رؤية أسرع في التدريب، ويستخدم طاقة حوسبة أقل، ويفهم العالم المرئي تمامًا مثل العمالقة الثقيلة والبطيئة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Separators in Enhancing Autoregressive Pretraining for Vision Mamba" (STAR).

1. بيان المشكلة

بينما أظهرت بنية Mamba (نموذج فضاء الحالة - State Space Model) كفاءة فائقة في التعامل مع التسلسلات الطويلة مقارنة بالنماذج المحولة (Transformers)، إلا أن تطبيقها في مهام الرؤية الحاسوبية عبر التدريب المسبق التوليدي الذاتي (Autoregressive Pretraining) يواجه قيودًا كبيرة:

عدم تطابق طول التسلسل: طرق التدريب المسبق الحالية لـ Vision Mamba (مثل ARM) مقيدة بنمذجة صورة واحدة كمتسلسلة قصيرة. وهذا يفشل في استغلال القوة الجوهرية لـ Mamba: التعقيد الخطي والكفاءة في معالجة السياقات الطويلة.
فقدان المعلومات: غالبًا ما تعامل مناهج التوليد الذاتي القياسية المجموعة الأولى من الصورة كـ "سياق" دون التنبؤ بها، مما يؤدي إلى عدم استغلال بيانات الصورة بشكل كامل.
النمذجة غير الفعالة بين الصور: مجرد دمج صور متعددة دون وجود فواصل يجعل النموذج يعامل الصور غير المرتبطة كمتسلسلة مستمرة، مما يؤدي إلى تدهور الأداء بسبب الارتباك الدلالي (Semantic Confusion).

2. المنهجية: STAR (الفواصل للتدريب المسبق التوليدي الذاتي)

يقترح المؤلفون إطار عمل STAR، وهو إطار مبتكر يحول التدريب المسبق التوليدي الذاتي إلى مهمة تسلسل طويل عن طريق نمذجة صور متعددة غير مرتبطة كمتسلسلة واحدة مستمرة، تفصل بينها رموز (Tokens) قابلة للتعلم أو ثابتة.

المكونات الأساسية:

تقسيم وتجميع الصور:
- يتم تقسيم الصور إلى رقع (Patches) غير متداخلة.
- يتم تجميع الرقع المتجاورة مكانيًا في تجمعات (Clusters) (على سبيل المثال، $4 \times 4$ رقع لكل تجمع) لتكون بمثابة وحدة التنبؤ الأساسية، مما يقلل طول التسلسل مع الحفاظ على البنية المكانية.
آلية الفاصل (Separator Mechanism):
- يتم إدراج تجمع فاصل (Separator Cluster) فريد ( $c_{sp}$ ) في بداية كل صورة في المتسلسلة.
- البنية: الفاصل هو تجمع بنفس حجم تجمعات الصور. ويتكون من متجهات الهوية (Identity vectors) (وجود الرقم 1 على القطر، و0 في بقية المواضع) أو متجهات صفرية، وهي متميزة عن بيانات البكسل.
- الوظيفة: يعمل كعلامة حدودية، مما يسمح للنموذج بالتمييز بين نهاية صورة وبداية أخرى داخل متسلسلة واحدة طويلة.
بناء المتسلسلة:
- يتم دمج صور متعددة في متسلسلة واحدة طويلة: $[Separator_1, Clusters_1, Separator_2, Clusters_2, \dots]$ .
- هذا يوسع طول متسلسلة المدخلات بشكل كبير (على سبيل المثال، 8 صور $\times$ عدد التجمعات)، مما يمكّن النموذج من تعلم الاعتمادات طويلة المدى عبر الصور.
تعديلات البنية:
- المُشفّر (Encoder): يستخدم خلفية MambaMLP مع مسح أحادي الاتجاه (causal scan) ليتناسب مع طبيعة التوليد الذاتي.
- المُفكك (Decoder): نموذج محول (Transformer) خفيف الوزن مع انتباه سببي (Causal Attention).
  - خريطة الانتباه: انتباه ثنائي الاتجاه داخل التجمع الواحد (لالتقاط السياق المكاني المحلي) ولكن أحادي الاتجاه بين التجمعات (للحفاظ على السببية).
- إعادة تموضع رمز الفئة (Class Token Relocation): على عكس Vision Mamba التقليدي (Vim) الذي يضع رمز الفئة في المنتصف، يضع STAR رمز الفئة في نهاية تسلسل كل صورة. وهذا يسمح للرمز بتجميع المعلومات من تسلسل إعادة بناء الصورة بالكامل قبل التصنيف.

3. المساهمات الرئيسية

التدريب المسبق التوليدي الذاتي للتسلسلات الطويلة: أول من اقترح نمذجة صور متعددة غير مرتبطة كمهمة تسلسل طويل لـ Vision Mamba، مما يستغل تمامًا ميزة التعقيد الخطي.
تصميم الفاصل: قدم وحدة "الفاصل" (النوع، القيمة، الموضع، والكمية) التي تحدد بفعالية حدود الصور، مما يمنع التداخل الدلالي مع تمكين التدريب طويل السياق.
تحسين رمز الفئة: عدّل الإعداد القياسي لـ Vision Mamba عبر نقل رمز الفئة إلى نهاية المتسلسلة، مما يعزز قدرة النموذج على التقاط السياق العالمي في مهام التوليد الذاتي ذات التسلسل الطويل.
الكفاءة: أثبت أن STAR يحقق أداءً يضاهي أفضل النتائج (SOTA) بتكاليف حوسبة أقل بكثير مقارنة بالتعلم التبايني (Contrastive Learning) وMAE.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات ImageNet-1k باستخدام خلفية MambaMLP-B.

الأداء:
- STAR-B (200 حقبة/Epochs): حقق دقة 82.9% في اختبار Top-1.
- STAR-B (1600 حقبة/Epochs): حقق دقة 83.5% في اختبار Top-1، وهو ما يقارب أداء VMamba-B (83.9%) وViT-B المدرب بـ MAE (83.6%)، رغم استخدامه بنية أبسط.
دراسات الاستئصال (Ablation Studies) على الفواصل:
- النوع: تفوقت الفواصل القائمة على التجمعات (Cluster-based) على النماذج المرجعية القائمة على الرموز (Token-based) أو التي لا تستخدم فواصل.
- القيمة: حقق الفاصل ذو الهوية (Identity separator) (القطر 1، والبقية 0) أفضل أداء مع التدريب الممتد (300 حقبة)، محققًا دقة EMA بنسبة 82.58%.
- الموضع: وضع الفاصل قبل تجمعات الصور (SC) حقق أفضل توازن بين الدقة وكفاءة التدريب.
- الكمية: وُجد أن طول المتسلسلة الأمثل هو 4 صور (حوالي 640 رمزًا). أدت المتسلسلات الأطول (16 صورة) إلى تدهور الأداء، مما يشير إلى وجود عنق زجاجة في سعة MambaMLP-B الحالية.
مقارنة الكفاءة:
- STAR أكثر كفاءة بـ 6.6 مرة من التعلم التبايني (Contrastive Learning) وبـ 1.4 مرة من MAE من حيث وقت التدريب للوصول إلى دقة مماثلة.
- يتفوق على أفضل طريقة سابقة للتوليد الذاتي (ARM) بنسبة 0.4% مع استخدام تصميم أبسط بكثير (بدون تعديلات خاصة لأبعاد الصورة).

5. الأهمية

سد الفجوة: نجح STAR في مواءمة هدف التدريب المسبق مع نقاط القوة الهيكلية لـ Vision Mamba، مما يثبت أن Mamba يمكن أن تتفوق في التعلم الذاتي غير الموجه عندما تُغذى بتسلسلات طويلة.
القابلية للتوسع: توفر الطريقة مسارًا قابلاً للتوسع لنماذج Vision Mamba لتنافس نماذج المحولات (ViT) والشبكات الالتفافية (RegNet) رفيعة المستوى دون الحاجة إلى زيادة هائلة في المعلمات (Parameters).
الاتجاه المستقبلي: تؤكد الورقة أن "الفواصل" هي مكون حاسم للنمذجة متعددة الصور في مهام التوليد الذاتي، مما يفتح آفاقًا جديدة للبحث في فهم السياق البصري طويل المدى واستراتيجيات التدريب المسبق الفعالة.

في الختام، يوضح STAR أنه من خلال مجرد إدخال الفواصل لإنشاء تسلسلات طويلة وتعديل موضع رمز الفئة، يمكن لـ Vision Mamba تحقيق أداء تنافسي يضاهي أفضل النتائج في تصنيف الصور من خلال التدريب المسبق التوليدي الذاتي الفعال.