🤖 machine learning

Accelerating Vision Transformers with Adaptive Patch Sizes

تقدم هذه الورقة البحثية "محولات الرقع التكيفية" (Adaptive Patch Transformers - APT)، وهي طريقة تعمل على ضبط أحجام الرقع ديناميكيًا بناءً على محتوى الصورة لتقليل عدد الرموز (tokens) بشكل كبير وتسريع تدريب واستنتاج نماذج "المحولات البصرية" (ViT) بنسبة تصل إلى 50% مع الحفاظ على الأداء عبر مختلف المهام البصرية عالية الدقة.

المؤلفون الأصليون: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ (شيف) يقوم بإعداد صورة عالية الدقة لمدينة ما من أجل ناقد طعام. يحتاج الناقد (نموذج الذكاء الاصطناعي) إلى "تذوق" كل جزء من الصورة لفهم ماهيتها.

الطريقة القديمة (محولات الرؤية القياسية - Standard Vision Transformers):
تقليدياً، يقوم الطاهي بتقطيع الصورة بأكملها إلى آلاف المربعات الصغيرة المتطابقة (مثل الفسيفساء)، بغض النظر عما تحتويه.

المشكلة: إذا كانت الصورة تُظهر سماءً زرقاء صافية، فسيظل الطاهي يقطعها إلى مربعات صغيرة أيضاً. وإذا كانت الصورة تُظهر شارعاً مزدحماً بالناس، فسيقوم الطاهي أيضاً بتقطيع هذا الجزء إلى مربعات صغيرة.
النتيجة: يقضي الطاهي نفس الوقت في تقطيع السماء المملة التي لا تحتوي على شيء، مقارنة بالشارع المثير للاهتمام. وعلى الناقد تذوق آلاف القطع الصغيرة المملة من السماء قبل الوصول إلى الأجزاء المثيرة. هذا يجعل العملية بطيئة، ومبذرة، ويجعل المطبخ مزدحماً بالكثير من القطع الصغيرة.

الطريقت الجديدة (محولات الرقع التكيفية - Adaptive Patch Transformers - APT):
يقدم هذا البحث طاهياً أكثر ذكاءً يُدعى APT. بدلاً من استخدام سكين ثابت الحجم، ينظر APT إلى الصورة ويقرر حجم القطع بناءً على ما هو موجود بالفعل.

الفكرة الجوهرية: "اقطع قطعاً كبيرة حيث يوجد الملل، واقطع قطعاً صغيرة حيث يوجد الصخب"

تخيل الصورة كأنها مشهد طبيعي:

"السماء" (المناطق المتجانسة): إذا رأيت مساحة كبيرة من السماء الزرقاء أو جداراً أبيض فارغاً، فلا يوجد الكثير مما يحدث هناك. يقول APT: "هذا ممل؛ لست بحاجة للنظر إلى كل بوصة منه". لذا، يقوم بقطع قطع ضخمة (مثل 64×64 بكسل) لتغطية تلك المساحة بأكملها بقطعة واحدة فقط.
"الزحام" (المناطق المعقدة): إذا رأيت وجه شخص، أو سيارة، أو شجرة بأوراقها، فهناك الكثير من التفاصيل. يقول APT: "هذا مهم! أحتاج لرؤية التفاصيل". لذا، يقوم بقطع قطع صغيرة (مثل 16×16 بكسل) لالتقاط كل دقة وتفصيل.

كيف يعمل؟ (الخدع السحرية)

1. اختبار "الرائحة" بالإنتروبيا (Entropy)
كيف يعرف APT ما هو ممل وما هو مزدحم؟ يستخدم مفهوماً رياضياً يسمى الإنتروبيا، وهي في الأساس مقياس لـ "المفاجأة" أو "الفوضى".

إنتروبيا منخفضة (ممل): السماء الزرقاء لها إنتروبيا منخفضة جداً. البكسلات متشابهة للغاية. يشم APT هذه الرائحة ويقول: "يمكنني تغطية هذا بقطعة كبيرة".
إنتروبيا عالية (مزدحم): الوجه له إنتروبيا عالية. البكسلات تتغير في اللون والشكل بسرعة. يشم APT هذه الرائحة ويقول: "أحتاج إلى قطع صغيرة لالتقاط كل هذا التفصيل".

2. شبكة الأمان "صفرية الوزن" (Zero-Weight)
عندما تغير طريقة تقطيعك للصورة، قد يرتبك الذكاء الاصطناعي في البداية. ولإصلاح ذلك، يستخدم APT خدعة ذكية تسمى MLP ذو التهيئة الصفرية.

التشبيه: تخيل أنك تعلم طالباً طريقة جديدة لحل مسألة رياضية. أنت لا تريد منه أن ينسى الطريقة القديمة فوراً. لذا، تعطيه "شبكة أمان" تبدأ بوزن صفري. في البداية، لا تفعل الشبكة شيئاً، ويعتمد الطالب على معرفته القديمة. ومع مرور الوقت (أثناء التدريب)، تتعلم الشبكة ببطء كيف تساعده في طريقته الجديدة. هذا يسمح للذكاء الاصطناعي بالانتقال إلى أسلوب التقطيع الجديد والأسرع بشكل فوري تقريباً دون فقدان ذكائه.

3. خدعة "التعبئة" (Packing)
بما أن بعض الصور تحتوي الآن على قطع ضخمة وبعضها يحتوي على قطع صغيرة، فإن العدد الإجمالي للقطع (Tokens) يتفاوت. يستخدم APT تقنية تسمى تعبئة التسلسل (Sequence Packing).

التشبيه: بدلاً من وجود 10 صناديق مختلفة الأحجام لا تتناسب مع سير النقل، يقوم APT بتعبئة جميع القطع من صورة واحدة في قطار واحد طويل ومتصل. يعالج الذكاء الاصطناعي هذا القطار بكفاءة، متجاهلاً المساحات الفارغة بين الصور المختلفة. هذا يحافظ على عمل المصنع بأقصى سرعة.

لماذا يجب أن تهتم؟ (النتائج)

يُظهر هذا البحث أن هذه الطريقة هي نقطة تحول:

السرعة: تجعل الذكاء الاصطناعي أسرع بنسبة 40% إلى 50%. إذا كان الذكاء الاصطناعي القياسي يستغرق 10 ثوانٍ للنظر في صورة عالية الدقة، فقد يستغرق APT حوالي 5 أو 6 ثوانٍ فقط.
لا فقدان للذكاء: على الرغم من أنه ينظر إلى قطع أقل، إلا أنه لا يفوت أي شيء مهم. لا يزال يحقق نفس الدقة في اختبارات مثل التعرف على الأشياء، أو قراءة النصوص في الصور، أو العثور على السيارات في الفيديو.
سهولة التثبيت: لا تحتاج إلى إعادة بناء الذكاء الاصطنا_ي بالكامل. يمكنك أخذ ذكاء اصطناعي مدرب بالفعل و"توصيل" APT به فحسب. إنه يتعلم الطريقة الجديدة في يوم واحد (أو حتى دورة تدريبية واحدة).

ملخص التشبيه

تخيل قراءة كتاب.

الذكاء الاصطناعي القياسي: يقرأ كل حرف بمفرده، حتى المسافات بين الكلمات والصفحات البيضاء في نهاية الفصول. إنه دقيق جداً ولكنه بطيء للغاية.
APT: يتصفح الصفحات البيضاء والمسافات بين الكلمات (يقرأها ككتلة واحدة كبيرة)، لكنه يبطئ لقراءة كل حرف عندما يصل إلى حبكات القصة المثيرة أو الحوارات المعقدة.

النتيجة: تحصل على القصة كاملة بنفس الجودة، ولكنك تنهي الكتاب في نصف الوقت.

يثبت هذا البحث أنه من خلال كوننا "أذكياء" في كيفية تقسيم الصور، يمكننا جعل الذكاء الاصطناعي أسرع، وأقل تكلفة في التشغيل، وجاهزاً لعالم الدقة العالية في المستقبل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تسريع محولات الرؤية باستخدام أحجام الرقع التكيفية" (APT)، المنشورة كبحث في مؤتمر ICLR 2026.

1. بيان المشكلة

أصبحت محولات الرؤية (ViTs) النموذج السائد في التعرف البصري، لكنها تعاني من مشكلات تتعلق بقابلية التوسع بسبب التكلفة الحسابية التربيعية لآلية الانتباه الذاتي (self-attention) بالنسبة لطول التسلسل.

محدودية الحجم الثابت: تقوم نماذج ViT القياسية بتقسيم الصور إلى رقع ذات أحجام موحدة (على سبيل المثال، $16 \times 16$ )، بغض النظر عن محتوى الصورة. يؤدي هذا إلى تسلسلات رموز (tokens) طويلة للغاية للصور عالية الدقة، حتى في المناطق ذات التكرار العالي (مثل سماء زرقاء صافية).
عدم كفاءة الحلول السابقة: تواجه الطرق الحالية لتقليل عدد الرموز عيبين رئيسيين:
1. نسب الاختزال الثابتة: إن دمج نسبة ثابتة من الرموز (مثل 50%) هو أمر غير مثالي لأنه يعامل المناطق البسيطة والمعقدة على حد سواء.
2. التقليم أثناء التمرير الأمامي (Forward Pass Pruning): الطرق التي تقلم الرموز ديناميكيًا أثناء التمرير الأمامي تُدخل أشكالاً غير منتظمة وحشواً (padding)، مما يؤدي غالباً إلى إبطال مفعول التسريع النظري في الممارسة العملية بسبب عدم كفاءة الأجهزة (hardware inefficiencies).
الفجوة: على عكس النماذج اللغية التي تستخدم أدوات ترميز تكيفية (مثل ترميز بايت-بير - BPE) للتعامل مع تكرار الكلمات الفرعية المتغير، تفتقر نماذج ViT إلى آلية لتعديل دقة الرموز (token granularity) تكيفياً بناءً على التعقيد البصري.

2. المنهجية: محول الرقع التكيفي (APT)

يقترح المؤلفون إطار عمل APT، وهو إطار عمل مدرك للمحتوى يقوم بتغيير أحجام الرقع داخل الصورة الواحدة لتقليل إجمالي رموز الإدخال مع الحفاظ على المعلومات الحرجة.

أ. تحديد حجم الرقع التكيفي (التقسيم المدرك للمحتوى)

بدلاً من الشبكة الثابتة، يستخدم APT هيكلاً هرمياً يشبه الشجرة الرباعية (quadtree-like) لتحديد أحجام الرقع بناءً على الإنتروبيا المحلية.

حساب الإنتروبيا: تقوم الخوارزمية بحساب إنتروبيا توزيع كثافة البكسل عند مقاييس متعددة ( $2^i \times p$ ). تشير الإنتروبيا المنخفضة إلى تكرار عالٍ (مناطق ناعمة)، بينما تشير الإنتروبيا العالية إلى التعقيد (الحواف، الأنسجة).
التعيين الهرمي:
1. البدء بأكبر حجم رقعة ممكن ( $2^S \times p$ ).
2. إذا كانت إنتروبيا الرقعة أقل من عتبة قابلة للضبط $\tau$ ، يتم الاحتفاظ بها كرقعة كبيرة.
3. إذا كانت الإنتروبيا عالية، يتم تقسيم الرقعة إلى رقع أصغر، وتتكرر العملية حتى الوصول إلى حجم الرقعة الأساسي ( $p \times p$ ).
النتيجة: تمثل المناطق المتجانسة (مثل الخلفيات) برقع كبيرة (رموز أقل)، بينما تمثل المناطق المعقدة (مثل الوجوه، الأجسام) برقع صغيرة (رموز أكثر).

ب. تجميع الرقع والتمثيل (Embedding)

لتغذية الرقع متغيرة الحجم في محول قياسي، يجب على APT إسقاطها في بُعد تمثيل موحد ( $d_{embed}$ ).

استراتيجية التمثيل الهجين:
- الرقع الصغيرة: تتم معالجتها مباشرة بواسطة طبقة تمثيل الرقع الخطية القياسية.
- الرقع الكبيرة: تتم معالجتها عبر نهج مسار مزدوج:
  1. تجميع الرقع الفرعية: يتم تقسيم الرقعة الكبيرة إلى رقعها الفرعية المكونة من الحجم الأساسي، وتمثيل كل منها بشكل فردي، ثم تجميعها مرة أخرى إلى الحجم الأساسي باستخدام طبقة تلافيفية (convolutional layer).
  2. إعادة تحجيم التمثيل: يتم تغيير حجم الرقعة الكبيرة الأصلية لتناسب الحجم الأساسي ثم تمثيلها.
- الـ MLP ذو التهيئة الصفرية (Zero-Initialized MLP): التمثيل النهائي هو مجموع ميزات الرقع الفرعية المجمعة والتمثيل المعاد تحجيمه، والذي يمر عبر Multi-Layer Perceptron (MLP) ذو تهيئة صفرية (ZeroMLP).
أهمية الـ ZeroMLP: استلهاماً من ControlNet، فإن تهيئة هذا الاتصال بالأصفار تسمح للنموذج بالبدء بسلوك نموذج ViT الأصلي (مع الحفاظ على الأوزان المدربة مسبقاً) والتعلم تدريجياً لدمج التفاصيل عالية الدقة أثناء الضبط الدقيق (fine-tuning). وهذا يتيح التقارب (convergence) في غض في دورة تدريبية واحدة (1 epoch) فقط.

ج. التعامل مع أطوال التسلسل المتغيرة

بما أن APT ينتج عدداً متغيراً من الرموز لكل صورة، فإنه يستخدم تعبئة التسلسل (Sequence Packing):

يتم دمج الرموز من دفعة من الصور في تسلسل واحد طويل.
تضمن قناع الانتباه قطري الكتل (block-diagonal attention mask) أن الرموز تنتبه فقط للرموز الأخرى داخل نفس الصورة.
هذا النهج مدعوم أصلاً في خلفيات الانتباه عالية الكفاءة مثل FlashAttention، مما يتجنب عبء الحشو (padding) غير المنتظم.

د. التكيف مع المهام الكثيفة

بالنسبة للمهام التي تتطلب تنبؤات كثيفة (كشف الأجسام، التجزئة الدلالية):

إعادة بناء خريطة الميزات: يتم تكرار رموز الرقع الكبيرة ( $2^{2i}$ مرة) لإعادة بناء خريطة ميزات بالدقة المكانية الصحيحة، مما يسمح باستخدام التلافيف المنقولة (transposed convolutions) القياسية لرفع الدقة (upsampling).
انتباه النافذة (Window Attention): يتوافق APT مع آليات الانتباه القائمة على النوافذ (مثل الموجودة في Swin Transformers أو ViটিDet) من خلال تطبيق استراتيجية الرقع التكيفية ضمن حدود نافذة ثابتة.

3. المساهمات الرئيسية

ترميز مدرك للمحتوى: تقديم طريقة لتحديد أحجام الرقع ديناميكياً بناءً على الإنتروبيا المحلية، مما يقلل بشكل كبير طول تسلسل الإدخال دون ضبط يدوي لنسب الاختزال.
تكامل فعال: تطوير آلية تمثيل بتهيئة صفرية تسمح بتطبيق APT على نماذج ViT المدربة مسبقاً بأقل قدر من الضبط الدقيق (دورة تدريبية واحدة) ومع انخفاض ضئيل في الدقة.
قابلية تطبيق واسعة: إثبات أن APT يعمل بفعالية عبر مهام متنوعة، بما في ذلك تصنيف الصور، والأسئلة البصرية (VQA)، وكشف الأجسام، والتجزئة الدلالية.
كفاءة الأجهزة: من خلال تجنب تقليم الرموز غير المنتظم واستخدام تعبئة التسلسل مع FlashAttention، يحقق APT تسريعاً حقيقياً في الواقع لا يمكن أن تضمنه مجرد تقليلات FLOP النظرية وحدها.

4. النتائج التجريبية

تفيد الورقة بتحقيق تسريع كبير مع الحفاظ على أو تحسين الدقة عبر مختلف أحجام النماذج (ViT-B, L, H) ودقاتها.

تصنيف الصور (ImageNet):
- الإنتاجية (Throughput): حقق تسريعاً بنسبة 40% في ViT-L و 50% في ViT-H أثناء الاستدلال.
- وقت التدريب: قلل وقت التدريب بنسبة تصل إلى 30% في المهام عالية الدقة.
- الدقة: طابقت أداء النماذج المرجعية لـ ViT القياسية. وعند تطبيقه على نسخة مدربة مسبقاً بالفعل، استعاد APT كامل الأداء بعد دورة تدريبية واحدة (1 epoch) فقط.
المهام اللاحقة (Downstream Tasks):
- الأسئلة البصرية (LLaVA): زاد الإنتاجية بنسبة 22-23% مع مطابقة أو تجاوز دقة النموذج المرجعي في اختبارات مثل GQA و VQAv2.
- كشف الأجسام (COCO): حقق تسريعاً بنسبة 30% في التدريب/الاستدلال عند دقة 1536x1536 دون فقدان في mAP.
- التجزئة الدلالية (ADE20K): قلل رموز الإدخال بنسبة 28-32%، مما سرع الاستدلال بنسبة 11% مع الحفاظ على دقة مستوى البكسل.
المقارنة: تفوق APT باستمرار على نماذج دمج الرموز على مستوى الطبقة (مثل ToMe و EViT) ونماذج مستوى الإدخال (مثل الحجب العشوائي أو تغيير الحجم البسيط)، خاصة عند الدقات والأحجام الكبيرة للنماذج.

5. الأهمية والخاتمة

تحول في النموذج الفكري: يسد APT الفجوة بين الترميز التكيفي في معالجة اللغات الطبيعية (NLP) والرؤية الحاسوبية، مما يثبت أن الترميز متغير الدقة يتفوق على التقسيم ثابت الحجم للبيانات البصرية.
الأثر العملي: يقدم حلاً "جاهز للاستخدام" (drop-in) لتسريع نماذج ViT الحالية. إن القدرة على التقارب في دورة تدريبية واحدة تجعل APT عملياً للغاية للممارسين الذين يرغبون في تقليل ميزانية الحوسبة دون إعادة تدريب النماذج من الصفر.
القابلية للتوسع: تتوسع فوائد APT مع دقة الصورة وحجم النموذج، مما يجعله ذا قيمة خاصة للتوجه الناشئ نحو نماذج الرؤية واسعة النطاق وعالية الدقة.
القيود: يعتمد الأسلوب حالياً على عتبات إنتروبيا مصممة يدوياً (رغم أنها قوية) ولا يدعم مهام توليد الصور بعد، وهو ما تم تحديده كاتجاه للعمل المستقبلي.

باختមាន، يوفر APT آلية قوية مدركة للمحتوى لتسريع محولات الرؤية من خلال تقليل التكرار بذكاء في المناطق المتجانسة من الصور، محققاً تسريعاً كبيراً في كل من التدريب والاستدلال دون المساس بأداء النموذج.