Locality-Attending Vision Transformer
تقدم هذه الورقة البحثية نموذج "Locality-Attending Vision Transformer" (LocAtViT)، وهو إضافة بسيطة تعزز أداء تقسيم الصور في محولات الرؤية من خلال تعديل الانتباه الذاتي باستخدام نواة غاوسية قابلة للتعلم لإعطاء الأولوية للتفاصيل المكانية المحلية، مما يحقق مكاسب كبيرة في الاختبارات المعيارية دون المساس بدقة التصنيف أو تغيير نظام التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى صورة فوتوغرافية ضخمة وعالية الدقة لشارع مزدحم في مدينة ما. أنت تريد أن تُعلّم حاسوباً كيف يفهم هذه الصورة.
هناك طريقتان رئيستان تعلم بهما الحاسوب تقليدياً كيف "يرى":
مراقبة الحي (الشبكات العصبية التلافيفية - CNNs): تنظر هذه النماذج إلى الصورة في قطع صغيرة ومحلية. وهي بارعة في ملاحظة أن بقعة معينة من البكسلات تشبه إطار سيارة أو ورقة شجر. إنها جيدة جداً في التفاصيل، لكنها قد تفقد الصورة الكبيرة أحياناً (مثل إدراك أن الإطار ينتمي لسيارة تبتعد).
المراقب الشامل (محولات الرؤية - Vision Transformers أو ViTs): تنظر هذه النماذج إلى الصورة بأكملها في وقت واحد. فهي تربط كل بكسل بكل بكسل آخر فوراً. هذا أمر مذهل لفهم "الصورة الكبيرة" (مثل: "هذه حافلة مدرسية"). ومع ذلك، ولأنها تركز بشدة على المشهد بأك seluruh، فقد تصبح "ضبابية" قليلاً فيما يتعلق بالتفاصيل الدقيقة. قد تعرف أن هناك حافلة، لكنها تجد صعوبة في رسم الخطوط الخارجية الدقيقة للعجلات أو النوافذ.
المشكلة: الرؤية "الضبابية"
لاحظ مؤلفو هذه الورقة مشكلة محددة في "المراقب الشامل" (ViT). فعندما يدربون هذه النماذج فقط لتحديد ماهية الصورة (التصنيف)، تصبح جيدة جداً في فهم الصورة الكبيرة، لكنها تبدأ في تجاهل التفاصيل الدقيقة اللازمة لمهام مثل التقطيع (Segmentation) (رسم حدود دقيقة حول الأشياء).
فكر في الأمر كطالب يدرس لامتحان تاريخ. إذا قرأ ملخص الكتاب فقط، سيعرف الحبكة الرئيسية (التصنيف)، ولكن إذا سألته عن وصف الملابس المحددة لشخصية في الفصل الثالث (التقطيع)، فقد يواجه صعوبة لأنه لم ينتبه للتفاصيل الصغيرة.
الحل: LocAtViT (محول "الانتباه المحلي")
ابتكر المؤلفون "إضافة" بسيطة تسمى LocAtViT لإصلاح ذلك دون تغيير المنهج الدراسي بالكامل. لقد أضافوا حيلتين ذكيتين:
1. "الجوار الغاوسي" (GAug)
القياس: تخيل أن الحاسوب هو شخص يقف في حشد من الناس. في نموذج ViT القياسي، يحاول هذا الشخص الاستماع إلى الجميع في الغرفة بالتساوي، من الشخص الذي بجانبه إلى الشخص الموجود في الطرف الآخر من الكوكب. وهذا يجعل من الصعب سماع الشخص الذي بجانبه بوضوح.
الإصلاح: أعطى المؤلفون الحاسوب زوجاً من "سماعات إلغاء الضجيج" مضبوطة على تردد معين. لقد أضافوا نواة غاوسية (Gaussian Kernel).
- فكر في هذا كـ تسليط ضوء ناعم.
- عندما ينظر الحاسوب إلى جزء معين من الصورة (الرقعة/Patch)، فإنه يسلط ضوءاً ساطعاً ومركزاً على الجيران المباشرين.
- يضعف الضوء كلما ابتعدت المسافة، لكنه لا ينطفئ تماماً.
- النتيجة: لا يزال بإمكان الحاسوب سماع الغرفة بأكملها (السياق العالمي)، ولكنه يستطيع الآن سماع الأشخاص الواقفين بجانبه بوضوح (التفاصيل المحلية). وهذا يساعده على رسم تلك الحدود الدقيقة.
2. "تحسين الرقعة" (PRR)
القياس: تخيل فصلاً دراسياً حيث يقوم المعلم فقط بتقييم "ممثل الفصل" ([CLS] token) ليقرر الدرجة النهائية للفصل. يقوم بقية الطلاب (رقع الصور) بكل العمل، ولكن بما أنهم لا يتم تقييمهم مباشرة، فإنهم يتوقفون عن محاولة التميز. يبدأ الجميع في الظهور والتصرف تماماً مثل ممثل الفصل.
الإصلاح: أدرك المؤلفون أنه من أجل رسم الحدود، يحتاج كل طالب (رقعة) إلى أن يكون فرداً متميزاً.
- أضافوا خطوة صغيرة ومجانية قبل إعطاء الدرجة النهائية مباشرة.
- هذه الخطوة تجبر الحاسوب على النظر إلى جميع الطلاب مرة أخرى والتأكد من أنهم لا يزالون أفراداً متميزين قبل اتخاذ القرار النهائي.
- النتيجة: لا يزال "ممثل الفصل" يحصل على الدرجة، ولكن يتم تشجيع الطلاب الآخرين الآن على الحفاظ على سماتهم الفريدة، وهو أمر بالغ الأهمية لرسم الأشكال الدقيقة.
النتائج: أفضل ما في العالمين
تظهر الورقة أنه من خلال إضافة هاتين التحسينين الصغيرين:
- التصنيف يظل قوياً: لا يزال الحاسوب جيداً جداً في قول: "تلك حافلة مدرسية!".
- التقطيع يحصل على دفعة هائلة: يمكن للحاسوب الآن رسم حدود الحافلة، والعجلات، والنوافذ بدقة أعلى بكثير.
- يعمل في كل مكان: اختبروه على أنواع مختلفة من "المراقبين" (أحجام نماذج مختلفة) وقد نجح الأمر بشكل رائع، حيث حسن الأداء بفارق هائل (أحياناً أكثر من 6%) دون الحاجة إلى إعادة تدريب النظام بالكامل من الصفر.
باختختصار
أخذ المؤلفون "مراقباً شاملاً" قوياً كان بارعاً في الصورة الكبيرة ولكنه سيء في التفاصيل، وأعطوه تركيزاً محلياً ناعماً وتذكيراً بالحفاظ على حدة تفاصيله. لم يعيدوا بناء السيارة؛ بل أضافوا لها فقط مصابيح أمامية أفضل وعجلة قيادة أكثر دقة، مما جعلها مثالية لكل من القيادة على الطرق السريعة (التصنيف) والركن في مكان ضيق (التقطيع).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.