🤖 machine learning

SPoT: Subpixel Placement of Tokens in Vision Transformers

تقدم الورقة البحثية SPoT، وهي استراتيجية ترميز مبتكرة تضع رموز محول الرؤية (Vision Transformer) بشكل مستمر داخل الصور عبر بحث موجه من قِبل نموذج مثالي (oracle) للتغلب على قيود الشبكة، مما يقلل بشكل كبير من عدد الرموز المطلوبة مع تحسين الأداء والقابلية للتفسير.

المؤلفون الأصليون: Martine Hjelkrem-Tan, Marius Aasan, Gabriel Y. Arteaga, Adín Ramírez Rivera

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Martine Hjelkrem-Tan, Marius Aasan, Gabriel Y. Arteaga, Adín Ramírez Rivera

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول وصف لوحة معقدة لصديق عبر الهاتف، ولكن يُسمح لك فقط باستخدام 25 كلمة لوصف اللوحة بأكملها.

في عالم الذكاء الاصطناوي، هذا هو بالضبط ما يحدث عندما نحاول جعل نماذج "محولات الرؤية" (Vision Transformers) -وهي "الأدمغة" التي تسمح للحواسيب بالرؤية- أسرع وأكثر كفاءة. نحن نريدها أن تنظر إلى الصورة وتستخلص الأجزاء الأكثر أهمية فقط (الأجزاء "المتباعدة" أو "الخفيفة" - sparse) لتوفير الوقت والطاقة.

ومع ذلك، فإن نماذج الذكاء الاصطناعي الحالية لديها قاعدة غريبة وصارمة: يمكنها فقط النظر إلى الصورة من خلال شبكة ثابتة، مثل نافذة ذات ألواح مربعة.

المشكلة: تشبيه "الشوكة والحساء"

يقارن مؤلفو هذه الورقة البحثية الطريقة الحالية بـ محاولة أكل الحساء باستخدام شوكة.

الحساء: هو الصورة (وهي مستمرة وانسيابية).
الشوكة: هي شبكة المربعات الثابتة للذكاء الاصطناعي.

إذا كان الجزء الأكثر أهمية في الحساء (مثل قطعة لحم لذيذة) يقع تماماً على حافة أحد أسنان الشوكة، فإن الشوكة لن تتمكن من التقاطه بشكل صحيح. فإما أنها ستفقد قطعة اللحم تماماً، أو ستلتقط نصف قطعة اللحم ونصف المساحة الفارغة بجانبها. يُجبر الذكاء الاصطناعي على اختيار "بلاطات" كاملة من الصورة، حتى لو كانت أفضل المعلومات تختبئ في الفراغات بينها. هذا يجبر الذكاء الاصطناعي على تقديم تنازلات مربكة، حيث يهدر "عدد كلماته" المحدود (الرموز/tokens) على المساحات الفارغة لمجرد الإمساك بالأجزاء المهمة.

الحل: SPoT (وضع الرموز في المواضع دون البكسلية)

تقترح الورقة البحثية طريقة جديدة تسمى SPoT. بدلاً من إجبار الذكاء الاصطناعي على النظر من خلال شبكة ثابتة، تسمح SPoT للذكاء الاصطناعي بوضع "عيونه" (الرموز/tokens) في أي مكان في الصورة، حتى في المساحات الصغيرة بين البكسلات (دون البكسلية - subpixels).

فكر في الأمر كالانتقال من استخدام الشوكة إلى استخدام مؤشر الليزر.

مع الشوكة (الطريقة القديمة)، عليك أن تغرف مربعاً كاملاً.
مع مؤشر الليزر (SPoT)، يمكنك الإشارة بدقة إلى مركز قطعة اللحم، أو تماماً إلى حافة عقرب الساعة، أو مباشرة إلى بقعة على ظهر دعسوقة. أنت لا تهتم بالشبكة؛ بل تهتم بـ الميزة أو السمة.

كيف اختبروا ذلك: "العراف" (The Oracle)

لإثبات نجاح ذلك، استخدم الباحثون خدعة ذكية يسمونها العراف (Oracle).
تخيل مرشداً فائق الذكاء (العراف) يمكنه النظر إلى الصورة والقول: "لو كان بإمكانك تحريك مؤشرات الليزر الخاصة بك في أي مكان في العالم، فأين ستضعها للحصول على الدرجة المثالية؟"

وجدوا أنه عندما يُسمح للذكاء الاصطناعي بتحريك "مؤشرات الليزر" الخاصة به إلى هذه المواضع المستمرة والمثالية:

يصبح أكثر ذكاءً: حتى مع امتلاكه لـ 12.5% فقط من العدد المعتاد من "الكلمات" (الرموز/tokens)، يؤدي الذكاء الاصطناعي أداءً أفضل من النماذج القياسية التي تستخدم الشبكة الكاملة.
يجد الجواهر الخفية: يتحرك الذكاء الاصطناعي بشكل طبيعي نحو الأجزاء الأكثر إثارة للاهتمام في الصورة (مثل وجه شخص أو عجلات سيارة) بدلاً من مجرد ملء شبكة.

اكتشافات رئيسية

التشتت استراتيجي: في الماضي، كان امتلاك عدد أقل من الرموز يُنظر إليه كقصور. لكن SPoT يحول هذا إلى قوة خارقة. من خلال كونها مرنة، يمكن للذكاء الاصطناعي أن يفعل أكثر باستخدام الأقل.
السياق مهم: عندما يمتلك الذكاء الاصطناعي عدداً قليلاً جداً من الرموز، يجب أن يركز على الكائن الرئيسي (مثل قطة). ولكن إذا كان لديه الكثير من الرموز، فمن الأفضل توزيعها بالتساوي لرؤية الصورة بأكملها (مثل الخلفية والقطة معاً).
الأمر لا يتعلق فقط بـ "الأشياء اللامعة": اعتقد الباحثون أن الذكاء الاصطناعي سيشير فقط إلى الأجزاء الأكثر سطوعاً أو تلوناً. ومن المثير للدهشة، أن الذكاء الاصطناعي غالباً ما يضع الرموز بالقرب من الكائن لفهم السياق، وليس فقط عليه. الأمر يشبه النظر إلى وجه شخص، ولكن أيضاً إلقاء نظرة خاطفة على يديه لفهم ما يفعله.

الصورة الكبيرة

تشير هذه الورقة البحثية إلى أننا لسنا بحاجة لإجبار الذكاء الاصطناعي على رؤية العالم في شبكة صلبة ومبكسلة. من خلال السماح للذكاء الاصطناعي بـ "الانجراف" بتركيزه إلى المواضع الصحيحة تماماً، يمكننا بناء نماذج تكون:

أسرع: تعالج قطعاً أقل من البيانات.
أذكى: لا تهدر الطاقة في المساحات الفارغة.
أكثر مرونة: يمكنها التكيف مع ما هو مهم بالفعل في الصورة.

باختصار، توقف SPoT الذكاء الاصطناعي عن محاولة أكل الحساء بالشوكة وتمنحه مؤشر ليزر بدلاً من ذلك، مما يسمح له برؤية العالم بدقة وكفاءة أكبر بكثير.

إليك ملخص تقني مفصل لورقة البحث "SPoT: التوزيع تحت البكسلي للرموز في محولات الرؤية (Vision Transformers)".

1. بيان المشكلة

تعتمد محولات الرؤية القياسية (ViTs) على استراتيجية ترميز (Tokenization) ذات شبكة ثابتة ومنفصلة، حيث يتم تقسيم الصورة إلى رقع (Patches) مربعة غير متداخلة. وبينما تتعامل محولات الرؤية بشكل طبيعي مع التناثر (عبر معالجة عدد أقل من الرموز)، إلا أن هيكل الشبكة الصلب يفرض قيوداً كبيرة:

عدم المحاذاة: غالباً ما تقع الميزات البصرية الرئيسية (مثل الحواف، الأنسجة، مراكز الأجسام) بين خطوط الشبكة أو يتم تقسيمها عبر عدة رقع. وهذا يجبر النموذج على اختيار رقع كاملة حتى لو كان الجزء ذو الصلة موجوداً جزئياً فقط داخلها، مما يؤدي إلى فقدان المعلومات أو حدوث ضجيج.
التعقيد التوليفي (Combinatorial Intractability): إن اختيار مجموعة فرعية مثالية من الرقع من شبكة منفصلة هو مسألة "حقيبة الظهر" (Knapsack problem) التي يصعب حلها (NP-hard)، مما يجعل التحسين القائم على التدرج (Gradient-based optimization) لاختيار الميزات أمراً صعباً.
التناثر غير الفعال: تجبر الطرق المتناثرة الحالية (مثل PatchDropout) النموذج على العمل مع مجموعات فرعية "غير متناسقة" من الشبكة، مما يمنع الاستغلال الكامل للأنظمة المتناثرة حيث يمكن لعدد أقل من الرموز أن يحقق دقة عالية إذا تم وضعها بشكل مثالي.

يفترض المؤلفون أن الالتزام بشبكة منفصلة يحول التناثر إلى قيد غير فعال، تماماً مثل "أكل الحساء باستخدام شوكة".

2. المنهجية: SPoT

يقترح المؤلفون إطار عمل التوزيع تحت البكسلي للرموز (Subpixel Placement of Tokens - SPoT)، وهو إطار ترميز مبتكر يسمح بوضع الرموز عند إحداثيات تحت بكسلية مستمرة بدلاً من حصرها في شبكة ثابتة.

الآلية الجوهرية

الفضاء المستمر ( $\Omega_{subpix}$ ): بدلاً من مجموعة منفصلة من الرقع، تُعامل الصورة كفضاء مستمر $[0, H-1] \times [0, W-1]$ . وتُعرف الرموز بمجموعة من النقاط $S = \{s_1, ..., s_m\}$ .
الاستخراج القابل للتفاضل: لاستخراج الميزات من هذه الإحداثيات المستمرة، استخدم المؤلفون الاستيفاء الثنائي الخطي (Bilinear Interpolation). بالنسبة لرمز عند الموقع $s_i = (h, w)$ مع حجم نافذة $k$ ، يتم استخراج الميزة كالتالي:
$I_q(s_i; k) = I_q(h - \frac{k}{2} : h + \frac{k}{2}, w - \frac{k}{2} : w + \frac{k}{2})$
بما أن الاستيفاء الثنائي الخطي قابل للتفاضل (باستثناء حدود البكسل الدقيقة)، يمكن أن تتدفق التدرجات (Gradients) عائدة إلى إحداثيات الرمز، مما يسمح بـ التحسين القائم على التدرج لتوزيع الرموز.
اختيار الميزات المتناثرة (SFS): تمت إعادة صياغة المشكلة كتقليل لدالة الخسارة عبر توزيع احتمالي للمواقع المستمرة، بدلاً من اختيار مجموعة فرعية منفصلة.

SPoT-ON (البحث في الجوار الموجه بالخبير/الأوراكل)

لتحديد الإمكانات النظرية لهذا النهج تجريبياً، قدم المؤلفون SPoT-ON:

الآلية: يقومون بتجميد مشفر (Encoder) الـ ViT وإجراء نزول تدرجي (Gradient Descent) مباشرة على إحداثيات الرموز $S$ لكل صورة على حد اختصاص لتليل خسارة التصنيف.
الغرض: يعمل هذا كـ "خبير" (Oracle) لإيجاد الحد الأعلى النظري للأداء الذي يمكن تحقيقه بمجرد تغيير مكان نظر النموذج، دون تغيير بنية النموذج نفسه. لا يُقصد به الاستخدام أثناء الاستنتاج (Inference)، بل يعمل كأداة تحليلية.

الأولويات المكانية (Spatial Priors)

بما أن الشبكة لم تعد توفر بنية مكانية ضمنية، بحث المؤلفون في أنواع مختلفة من الأولويات المكانية لتهيئة مواقع الرموز:

الموحد (Uniform): أخذ عينات عشوائية.
غاوسي/مركزي (Gaussian/Center): انحياز نحو مركز الصورة (شائع في مجموعات بيانات التصنيف).
سوبول/متماثل المناحي (Sobol/Isotropic): تغطية شبه عشوائية أو منتظمة حتمية.
البروز (Salient): أخذ عينات بناءً على خرائط البروز (Saliency maps) سابقة التدريب (المتمحورة حول الأجسام).

3. المساهمات الرئيسية

إطار عمل SPoT: استراتيجية ترميز تفصل استخراج الميزات عن الشبكة المنفصلة، مما يسمح بتوزيع رموز بدقة تحت بكسلية مستمرة.
أداة تحليل SPoT-ON: أداة بحث موجهة بالخبير أظهرت فجوة هائلة في الأداء بين الاختيار المقيد بالشبكة والتوزيع المستمر المثالي.
الحدود العليا التجريبية: أثبتت الدراسة أنه مع التوزيع المثالي تحت البكسلي، يمكن للنماذج تحقيق دقة عالية باستخدام ~12.5% فقط من الرموز الأصلية (على سبيل المثال، 25 رمزاً بدلاً من 196).
رؤى حول التناثر: كشفت الورقة أن الأولويات المتمحورة حول الأجسام (مثل البروز) هي الأفضل في الأنظمة المتناثرة، بينما يصبح التغطية الموحدة أكثر أهمية في الأنظمة الكثيفة.
القابلية للنقل: التوزيعات المثالية للرموز التي اكتشفها نموذج واحد (عبر SPoT-ON) تعمم بفعالية على نماذج أخرى مدربة بشكل مستقل، مما يشير إلى أن هذه التوزيعات تلتقط البنية الجوهرية للصورة وليس مجرد سمات خاصة بالنموذج.

4. النتائج التجريبية

قيم المؤلفون SPoT على مجموعتي بيانات ImageNet-1k و ImageNet-21k باستخدام بنيات ViT-B/16 (سواء كانت خاضعة للإشراف أو MAE).

تحسن الأداء (النظام المتناثر):
- في ميزانية رموز تبلغ 12.5% (25 رمزاً)، حقق SPoT-ON دقة Top-1 بنسبة 90.9% على ImageNet-1k، مقارنة بـ 74.0% للخبير المقيد بالشبكة، و 61.7% لعينات الشبكة القياسية.
- حتى بدون توجيه الخبير (باستخدام الأولويات المتعلمة)، تفوق SPoT بشكل كبير على المراجع القائمة على الشبكة (PatchDropout) في الإعدادات المتناثرة.
الإنتاجية مقابل الدقة:
- يقدم SPoT منحنى مقايضة متفوقاً. مع زيادة التناثر، يحافظ SPoT على دقة أعلى بكثير من المراجع بينما يحقق إنتاجية صور أعلى (زمن انتقال أقل).
- عند 100 رمز، حقق SPoT تسريعاً قدره 3.31 ضعفاً مع انخفاض في الدقة بنسبة -2.95% فقط، متفوقاً على ToMe (دمج الرموز)، الذي سجل انخفاضاً بنسبة -4.20% مع تسريع قدره 1.95 ضعفاً.
نتائج الأولويات المكانية:
- في النظام المتناثر (25 رمزاً): كان أداء الأولويات القائمة على البروز (Saliency) والتحيز المركزي هو الأفضل.
- في النظام الكثيف (196 رمزاً): أصبحت التغطية الموحدة/متماطلة المناحي أكثر أهمية من التمركز حول الأجسام، حيث يستفيد النموذج من السياق الأوسع بمجرد تشبع ميزات الأجسام.
المتانة: تسببت الاختبارات العدائية (وضع الرموز على الخلفيات أو الحدود) في انخفاض حاد في الأداء، مما يؤكد أن النموذج يعتمد على إشارات دلالية ذات معنى، وليس فقط على الارتباطات المكانية.

5. الأهمية والتوجهات المستقبلية

إعادة تعريف التناثر: ينقل SPoT النموذج من اعتبار التناثر "قيداً يجب إدارته" إلى "ميزة استراتيجية". لقد أثبت أن عنق الزجاجة في نماذج ViT المتناثرة هو غالباً هندسة الترميز، وليس قدرة النموذج.
القابلية للتفسير: توفر القدرة على تصور مكان وضع الرموز بدقة رؤى جديدة حول الميزات التي يعتبرها النموذج مهمة للتصنيف.
العمل المستقبلي:
- الأولويات القابلة للتعلم: بدلاً من الأولويات الثابتة أو عمليات البحث المكلفة بالخبير، يمكن تدريب "شبكة سياسة" (Policy Network) خفيفة الوزن للتنبؤ بتوزيعات الرموز المثالية في تمريرة أمامية واحدة.
- التكيف مع المهام: توسيع نطاق SPoT ليشمل المهام التي تتطلب استدلالاً مكانياً دقيقاً (مثل كشف الأجسام، التحديد الموضعي) والمهام الزمنية (فهم الفيديو) عبر تكييف الأولويات مع الهياكل الزمانية المكانية.

في الختام، يوضح SPoT أن تخفيف قيد الشبكة المنفصلة في محولات الرؤية يسمح باستنتاج متناثر عالي الكفاءة، وقابل للتفسير، ودقيق، مما يفتح آفاقاً لزيادة الأداء التي كان يُعتقد سابقاً أنها مستحيلة باستخدام طرق الترميز القياسية.