💻 computer science

ReGLA: Efficient Receptive-Field Modeling with Gated Linear Attention Network

تُعد ReGLA سلسلة من الشبكات الهجينة خفيفة الوزن التي تجمع بين التلافيف الفعالة وانتباه خطي بوابي قائم على ReLU والتقطير متعدد المعلمين لتحقيق دقة متطورة وزمن انتقال منخفض على الصور عالية الدقة، متفوقة بذلك على النماذج الحالية في كل من تصنيف ImageNet ومهام الكشف والتجزئة اللاحقة.

المؤلفون الأصليون: Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

نُشر 2026-02-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت التعرف على الأشياء في صورة. الصورة ضخمة (عالية الدقة)، مثل صورة بدقة 4K، لكن الروبوت صغير ويعمل ببطارية، مثل هاتف ذكي أو كاميرا ذكية.

المشكلة هي أن الروبوتات "الذكية" الحالية (تسمى Transformers) تشبه العمالقة العباقرة ولكنهم خرقاء؛ فهم يستطيعون رؤية الصورة بأكملها وفهم كيفية ارتباط الأجزاء البعيدة ببعضها البعض، لكنهم يستغرقون وقتاً طويلاً في التفكير ويستنزفون البطارية بسرعة. ومن ناحي أخرى، فإن الروبوتات "السريعة" (تسمى CNNs) تشبه العدائين؛ فهم بارعون في رصد التفاصيل المحلية (مثل ملمس فراء قطة) لكنهم سيئون في فهم الصورة الكبيرة (مثل إدراك أن القطة تجلس على أريكة في الطرف الآخر من الغرفة).

ReGLA هو تصميم روبوت جديد يحاول أن يكون الأفضل من كلا العالمين: عداءً يمتلك عقل عملاق، ولكن دون البطء. إليك كيف يعمل، مقسماً إلى أجزاء بسيطة:

1. الفكرة الكبرى: "أقل ولكن أفضل"

أراد المؤلفون بناء نموذج يكون فعالاً (سريعاً وموفراً للبطارية) ولكنه لا يزال ذكياً (دقيقاً). هم يطلقون على عائلة النماذج الجديدة هذه اسم ReGLA. فكر في الأمر كسيارة هجينة تستخدم الطاقة الكهربائية للقيادة في المدينة (التفاصيل المحلية) ومحرك توربو للقيادة على الطرق السريعة (السياق العالمي)، ولكنها مصممة بحيث لا يسخن المحرك أبداً.

2. المكونان السريان

يستخدم ReGLA أداتين خاصتين لحل مشكلة السرعة مقابل الذكاء:

أ. "الشمّام الخارق" (وحدة ELRF)

المشكلة: في المراحل الأولى من النظر إلى صورة، يحتاج الروبوت إلى رؤية التفاصيل الدقيقة (مثل الحواف والملمس) دون أن يتشتت بالصورة بأكملها في وقت واحد. تستخدم الطرق التقليدية "عدسات" ضخمة لرؤية مساحة واسعة، لكن هذه العدسات ثقيلة وبطيئة.
حل ReGLA: قاموا ببناء أداة تسمى ELRF (مجال الاستقبال الكبير الفعال).
التشبيه: تخيل أنك تحاول قراءة كتاب. بدلاً من استخدام عدسة مكبرة ضخمة تغطي الصفحة بأكملة (وهي ثقيلة وصعبة الحركة)، تستخدم مجموعة من العدسات المكبرة الأصغر والأخف وزناً والتي تقوم بتمريرها فوق النص واحدة تلو الأخرى. ستظل ترى الصفحة بأكملها في النهاية، لكنك تفعل ذلك بشكل أسرع وبجهد أقل. تقوم ELRF بهذا بالنسبة للصور، حيث تلتقط رؤية واسعة مع البقاء خفيفة وسريعة.

ب. "الحارس الذكي" (وحدة RGMA)

المشكلة: لفهم الصورة بأكملها، يحتاج الروبوت إلى ربط النقاط البعيدة (على سبيل المثال، السماء تتصل بالأفق). الطرق القياسية تفعل ذلك من خلال مقارنة كل بكسل بكل بكسل آخر. إذا كان لديك مليون بكسل، فهذا يعني تريليون مقارنة! الأمر يشبه محاولة تعريف كل شخص في الملعب بكل شخص آخر بشكل فردي.
حل ReGLA: قاموا ببناء أداة تسمى RGMA (الانتباه المعدل ببوابة ReLU).
التشبيه: بدلاً من تعريف الجميع بالجميع، تخيل حارس بوابة في ملهى ليلي (Bouncer).
- "الحارس" (آلية البوابة/Gating) يتحقق بسرعة من الأشخاص المهمين ومن يمكن تجاهله.
- جزء "الانتباه الخطي" (Linear Attention) هو محادثة سريعة ومستقيمة تحدث فقط بين الأشخاص المهمين.
- من خلال استخدام مفتاح بسيط "نعم/لا" (ReLU) بدلاً من عملية حسابية معقدة (Softmax)، يمكن للروبوت معالجة الغرفة بأكملها في خط مستقيم بدلاً من شبكة متشابكة. إنه يحافظ على سرعة العملية الخطية ولكنه يضيف "بوابة" لضمان عدم تفويت التفاصيل المحلية المهمة.

3. "مجموعة الدراسة" (تبسيط المعلم المتعدد)

حتى مع تصميم رائع، يحتاج الروبوت إلى التعلم. لم يكتفِ المؤلفون بتعليم ReGLA من الصفر؛ بل استخدموا استراتيجية Multi-Teacher Distillation (تبسيط المعلم المتعدد).

التشبيه: تخيل أن ReGLA هو طالب. بدلاً من وجود معلم واحد فقط، وضعوا ReGLA في فصل دراسي مع سبعة خبراء مختلفين (معلمين).
- أحد المعلمين بارع في التعرف على القطط.
- وآخر بارع في إيجاد السيارات.
- وآخر بارع في فهم الأشكال.
- يستمع ReGLA إلى جميعهم في وقت واحد، جامعاً بين حكمتهم.
النتيجة: يساعد هذا ReGLA ليكون "متخصصاً شاملاً" أفضل في كل شيء مما لو تعلم من معلم واحد فقط.

4. النتائج: سريع ودقيق

اختبر الورقة البحثية ReGLA على معايير قياسية (مثل ImageNet للصور، وCOCO لإيجاد الأشياء، وADE20K لفهم المشاهد).

السرعة: على هاتف iPhone متطور، عالج ReGLA الصور في 4.98 مللي ثانية. هذا سريع للغاية — أسرع من رمشة عين الإنسان.
الدقة: حقق دقة بنسبة 80.85% في اختبارات الصور القياسية، متفوقاً على النماذج الأخرى من نفس الحجم.
المهام اللاحقة: عندما استخدموا ReGLA للعثور على الأشياء (مثل السيارات ذاتية القيادة) أو تقسيم الصور (مثل التصوير الطبي أو رسم الخرائط)، فقد تفوق على المنافسين المماثلين في الحجم بفارق كبير (يصل إلى 3.6% أفضل).

ملخص

ReGLA هو طريقة جديدة لبناء نماذج رؤية للذكاء الاصطناي تكون:

خفيفة الوزن: تناسب الهواتف والأجهزة الصغيرة.
سريعة: تستخدم رياضيات "خطية" بدلاً من الرياضيات "التربيعية"، مما يعني أنها لا تتباطأ كلما كبر حجم الصورة.
ذكية: تستخدم "بوابة" للتركيز على ما يهم و"عدسة متراكمة" لرؤية التفاصيل بوضوح.
مدربة جيداً: تتعلم من فريق من المعلمين الخبراء للحصول على أفضل أداء ممكن.

يخلص المؤلفون إلى أنه ليس عليك التضحية بالسرعة من أجل الذكاء. مع ReGLA، يمكنك الحصول على ذكاء بصري متطور وفعال ومتاح للجميع.

ملخص تقني: ReGLA – نمذجة مجال الاستقبال بكفاءة باستخدام شبكة الانتباه الخطي المبوّب

1. بيان المشكلة

يعيق نشر نماذج المحولات الرؤيوية (Vision Transformers - ViTs) على المنصات ذات الموارد المحدودة (مثل الأجهزة المحمولة أو الأنظمة المدمجة) التعقيد الحسابي التربيعي لآليات الانتباه القائمة على "softmax" القياسية. وبينما توفر الشبكات العصبية التلافيفية (CNNs) خفيفة الوزن كفاءة عالية، إلا أنها غالبًا ما تعاني في التقاط الاعتمادات طويلة المدى بسبب مجالات الاستقبال المحدودة. ومن ناحية أخرى، فإن البنى الهجينة (CNN-Transformer) غالبًا ما ترث عدم الكفاءة الموجود في الانتباه التقليدي أو تضحي بدقة النمذجة عند محاولة جعل الانتباه خطيًا. يتمثل التحدي الجوهري الذي يعالجه هذا العمل في الموازنة بين الدقة العالية للصور عالية الدقة وبين زمن الانتقال المنخفض والتعقيد الحسابي الخطي، دون المساس باستقرار التدريب أو القدرة التعبيرية للنموذج.

2. المنهجية

يقترح المؤلفون ReGLA، وهو بنية هجينة (CNN-Transformer) خفيفة الوزن مصممة لتحسين المقايضة بين استخراج الميزات المحلية والنمذجة العالمية. تتكون البنية من كتلة جذع (stem block) تليها أربع مراحل هرمية، تتدرج في عمق القنوات والدقة المكانية. يعتمد التصميم على ثلاثة مبادئ أساسية: التعقيد الحسابي الخطي، مجالات استقبال واسعة مع تركيز محلي معزز، والاستقرار العددي.

المكونات المعمارية الرئيسية

1. الانتباه المبوّب المعدل بـ ReLU (RGMA)
لاستبدال آلية انتباه "softmax" المكلفة حاسبيًا، يقدم ReGLA آلية RGMA، وهي آلية انتباه موفرة للذاكرة تحقق تعقيدًا خطيًا $O(Nd^2)$ .

الآلية: تستبدل نواة "softmax" بنواة خطية قائمة على ReLU وتتضمن وحدة تبويب (gating unit) خفيفة الوزن.
العملية: بالنسبة لخريطة الميزات $x$ $x$ ، يتم حساب المخرج $X_o$ $X_{o}$ كالتالي: $X_o = G(x) \odot C(x)$ $X_{o} = G (x) ⊙ C (x)$ ، حيث:
- $G(x)$ هي آلية تبويب تلافيفية (باستخدام تلافيف وتنشيط "sigmoid") تولد أوزان الميزات المحلية.
- $C(x)$ هي مكون الانتباه الخطي ReLU الذي يستخرج السياق العالمي.
- $\odot$ ترمز إلى الضرب العنصري (element-wise multiplication).
الفائدة: يعمل هذا التصميم على فك ارتباط تفاعلات الرموز (tokens) لتقليل التعقيد، بينما تركز آلية التبويب بشكل انتقائي على الأنماط المحلية، مما يضمن استقرار التدرجات أثناء التدريب والاستدلال.

2. مجال الاستقبال الواسع والفعال (ELRF)
صُمم ELRF للمراحل المبكرة من الشبكة حيث تتطلب المدخلات عالية الدقة تغطية مكانية واسعة، ويهدف إلى التقاط المعلومات المحلية مع الحفاظ على مجال استقبال كبير دون تكلفة النوى الكبيرة.

التصميم: بدلًا من استخدام نواة واحدة كبيرة (مثل $7 \times 7$ )، يقوم ELRF بتفكيك العملية إلى تلافيف عميقة متتالية ( $3 \times 3$ و $5 \times 5$ ) تتخللها طبقات الشبكة التغذوية الأمامية (FFN).
الفائدة: يحقق هذا النهج المتدرج مجال استقبال مكافئ لـ $7 \times 7$ ولكنه يحسن الكفاءة الحسابية ويقلل من اختناقات الوصول إلى الذاكن عبر الاستفادة من التلافيف العميقة (depthwise convolutions).

3. تقطير المعرفة متعدد المعلمين (Multi-Teacher Knowledge Distillation)
لتعزيز التعميم عبر المهام المختلفة، استخدم المؤلفون استراتيجية تقطير متعددة المعلمين بالاستعانة بسبعة نماذج متنوعة مدربة مسبقًا (بما في ذلك SAM2، وDeiT-III، وDINOv2، وiBOT، وViTamin، وAIMv2).

التعديلات: بخلاف أطر التقطير القياسية (مثل UNIC) التي تركز على التصنيف، تم تحسين هذه الاستراتيجية للمهام الكثيفة غير المتجانسة. وهي تقدم تجميع متوسط تكيفي لبناء رمز CLS عالمي من رموز الرقع (patch tokens) لتحقيق تماسك مكاني أفضل في مهام التنبؤ الكثيف.
التدريب: تتضمن الاستراتيجية مرحلة تقطير لمدة 30 حقبة (epoch) على ImageNet-21K متبوعة بضبط دقيق على ImageNet-1K، باستخدام تطبيع الدفعة المتزامن وخسارة تشابه "cosine" لضمان انتقال مستقر للمعرفة.

3. المساهمات الرئيسية

بنية ReGLA: تقديم بنية (CNN-Transformer) عالية الكفاءة مصممة للنشر على الأجهزة المحمولة والحواف، وتتميز بوحدة ELRF للتمثيل المحلي وآلية RGMA (انتباه خطي مبوّب وخالٍ من "softmax") للنمذجة العالمية.
استراتيجية التقطير: إطار عمل تقطير متعدد المعلمين يعالج تحديات اختيار النموذج، وحل النزاعات، وعدم التجانس المعماري بين معلمي ViT البسيطين وشبكات الطالب الهرمية.
التحقق التجريبي: تقييم شامل عبر تصنيف ImageNet-1K، وكشف الأشياء COCO، والتجزئة الدلالية ADE20K، مما أظهر أداءً رائدًا (state-of-the-art) مع تقليل زمن الانتقال وعدد المعلمات.

4. النتائج التجريبية

قام المؤلفون بتقييم متغيرات ReGLA (T, S, M, L, X) مقابل النماذج خفيفة الوزن الحديثة (مثل MobileNetV4، وiFormer، وEfficientFormer) عبر عدة اختبارات معيارية.

تصنيف ImageNet-1K:
- يحقق ReGLA-M دقة 80.85% (Top-1) عند دقة 224px مع زمن انتقال قدره 4.98 ms فقط على iPhone 16 Pro (مدخلات 512px).
- في فئة 10 ملايين معلمة، يتفوق ReGLA-M على iFormer-M بنسبة 0.45% (بدون تقطير) و0.8% (مع التقطير).
- يحقق ReGLA-L (19.9 مليون معلمة) دقة 82.9%، متفوقًا على EfficientViT-B2 (24.3 مليون معلمة) بنسبة 0.7% مع استخدام 4.4 مليون معلمة أقل.
- مع التقطير متعدد المعلمين، يصل ReGLA-X إلى دقة 85.2% (Top-1)، متفوقًا على FastViT-MA36 بنسبة 0.5% مع 3 ملايين معلمة أقل.
المهام اللاحقة (COCO & ADE20K):
- كشف الأشياء (COCO): يحقق ReGLA-M (المقطر) 43.9% APbox، متفوقًا على iFormer-M-distilled بنسبة 3.1% AP. ومن الملاحظ أن ReGLA-M-distilled يتجاوز النموذج الأكبر iFormer-L-distilled بنسبة 1.7% APbox.
- التجزئة الدلالية (ADE20K): يحقق ReGLA-M-distilled زيادة قدرها 3.6 mIoU عن iFormer-M-distilled. كما يظهر ReGLA-L-distilled تحسنًا بنسبة 3.9 mIoU عن iFormer-L-distilled.
- زمن الانتقال: تُظهر نماذج ReGLA باستمرار زمن انتقال أقل بكثير على معالجات الهواتف المحمولة مقارنة بنماذج iFormer المماثلة في الحجم (على سبيل المثال، ReGLA-M عند 4.98ms مقابل iFormer-M عند 19.24ms على iPhone 16 Pro).

5. الأهمية والادعاءات

يضع البحث ReGLA كحل عملي وقابل للتوسع لـ "الرؤية الحاسوبية المستدامة"، معالجًا التكاليف البيئية والاقتصادية للذكاء الاصطناعي واسع النطاق. ويدعي المؤلفون أن ReGLA يجسد التحول نحو مبدأ "أقل ولكن أفضل"، مما يثبت أن الذكاء البصري المتطور لا يتطلب بالضرورة مقايضة مع الكفاءة أو سهولة الوصول.

تحديدًا، يؤكد العمل على ما يلي:

يمكن أن يكون الانتباه العالمي فعالًا: تتفوق RGMA على الطرق القائمة على "softmax" في كل من السرعة والدقة تحت قيود الموارد.
التصميم المشترك أمر بالغ الأهمية: إن التكامل بين المشغلات المحلية (ELRF) وآليات الانتباه (RGMA) ضروري لكفاءة الدقة العالية.
فعالية التقطير: نجحت استراتيجية التقطير متعددة المعلمين في تعزيز القدرة على التعميم، مما سمح للنماذج الأصغر بالتفوق على النماذج الأكبر غير المقطرة في مهام التنبؤ الكثيفة.

يخلص المؤلفون إلى أن ReGLA يضع معيارًا جديدًا للأداء العالي (state-of-the-art) للتطبيقات البصرية عالية الدقة، لا سيما حيث تكون كفاءة زمن الانتقال وعدد المعلمات ذات أهمية قصوى.