STA-VPT: SpatioTemporally Aligned Visual Prompt Tuning
يقدم STA-VPT نموذجاً جديداً للتلقين البصري يتعلم خرائط رموز تلقينية محاذية مكانياً أو مكانياً-زمانياً للحفاظ على بنية المدخلات وتمكين التلقين الدقيق المحدد لكل منطقة، وبذلك يتغلب على قيود طرق التلقين المتسلسلة والمتجانسة التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي الحديث، أصبحت الحواسيب بارعة بشكل ملحوظ في الرؤية. يمكنها تحديد قطة في صورة فوتوغرافية أو التعرف على إيماءة محددة في مقطع فيديو، وغالباً بدقة تضاهي الإدراك البشري. تأتي هذه القدرة عادةً من تدريب نماذج ضخمة على كميات هائلة من البيانات، وهي عملية تتطلب قوة حوسبة ووقتًا هائلين. ومع ذلك، عندما يريد الباحثون تعليم هذه النماذج الضخة سابقة التدريب أداء مهمة جديدة ومحددة — مثل التمييز بين سلالات الكلاب المختلفة أو رصد مرض نادر في فحص طبي — فإنهم يواجهون معضلة. فإعادة تدريب النموذج بأكمله من الصفر غالباً ما تكون مكلفة وبطيئة للغاية. بدلاً من ذلك، يستخدم العلماء تقنية تسمى "الضبط الدقيق كفء المعلمات". فكر في الأمر كأخذ خبير متعلم للغاية وإعطائه مجموعة صغيرة من التعليمات المتخصصة لمساعدته على التكيف مع وظيفة جديدة، بدلاً من إرساله للعودة إلى الجامعة للحصول على درجة علمية أخرى. وتتكون هذه المجموعة من التعليمات من بضع تعليمات إضافية قابلة للتعديل توجه معرفة النموذج الموجودة نحو الهدف الجديد.
لسنوات عدة، كانت الطريقة الأكثر شيوعاً لإنشاء هذه التعليمات هي معاملتها مثل قائمة كلمات في جملة. تماماً كما يقرأ نموذج لغوي تسلسلاً من الكلمات لفهم قصة ما، عُلّمت نماذج الرؤية قراءة تسلسل من الرموز الرياضية غير المرئية لفهم صورة ما. وقد أُضيفت هذه الرموز إلى مقدمة بيانات الصورة، لتعمل كمحفز عام لإخبار النموذج بما يجب أن يبحث عنه. وبينما نجحت هذه الطريقة بشكل جيد، إلا أنها كانت تعاني من خلل جوهري: فقد عاملت الصورة كقائمة مسطحة وغير مرتبة. لقد تجاهلت حقيقة أن الصورة عبارة عن شبكة من البكسلات حيث للموقع أهمية. فالرمز الذي يمثل "أذن كلب" في الزاوية العلوية اليسرى عومل بنفس الطريقة التي عومل بها الرمز الذي يمثل "ذيل كلب" في الزاوية السفلية اليمنى، وأُجبر كل رمز تعليمي على تقديم نفس النصيحة لكل جزء من الصورة. هذا الافتقار إلى الوعي المكاني جعل النموذج يعاني في فهم العلاقات المحددة بين الأجزاء المختلفة للمشهد، ولم يستطع تخصيص توجيهاته لتناسب الاحتياجات الفريدة لمناطق مختلفة داخل الصورة.
لقد اقترح فريق من الباحثين الآن نهجاً مختلفاً، نهجاً يحترم البنية الطبيعية للبيانات المرئية. فقد قدموا طريقة جديدة تسمى "الضبط الدقيق للمحفزات البصرية المتوافق مكانياً وزمانياً"، أو STA-VPT. فبدلاً من إنشاء قائمة طويلة ومسطحة من التعليمات، يبني هذا النظام الجديد خريطة ثنائية الأبعاد من المحفزات تتطابق تماماً مع شكل الصورة نفسها. إذا كانت الصورة عبارة عن شبكة من المربعات الصغيرة، فإن التعليمات تكون أيضاً شبكة من نفس الحجم. يضمن هذا التوافق أن تقع التعليمات الخاصة بالزاوية العلوية اليسرى للصورة بجانب التعليمات الخاصة بالزاوية العلوية اليسرى للبيانات تماماً. وفي حالة الفيديو، يذهب النظام خطوة أبعد، حيث ينشئ كتلة ثلاثية الأبعاد من التعليمات تتوافق مع كل من التخطيط المكاني وتدفق الوقت بين الإطارات.
الفكرة الجوهرية هي أن كل رمز تعليمي في هذه الخريطة يعمل كخبير متخصص لموقعه المحدد. فبدلاً من أن يصرخ كل رمز بنفس النصيحة للصورة بأكملها، يركز الرمز الموجود في إحداثيات معينة فقط على البيانات المرئية عند تلك الإحداثيات نفسها. وهذا يسمح للنظام بتعلم التفاصيل الدقيقة، مثل ملمس ورقة شجر أو حركة يد، دون الخلط بينها وبين أجزاء أخرى من المشهد. وقد صمم الباحثون النظام بحيث يمكن للخريطتين — خريطة الصورة وخريطة التعليمات — التواصل مع بعضهما البعض مباشرة. فهما يتبادلان المعلومات بطريقة تحترم مواقعهما المكانية، مما يسمح للنموذج بتنقيح فهمه للصورة من خلال التحقق باستمرار من التوافق بين ما يراه والتوجيه الذي يتلقاه.
ولاختبار ما إذا كانت هذه الطريقة الجديدة لتنظيم التعليمات تعمل بالفعل بشكل أفضل، أخضع الباحثون طريقتهم لسلسلة من التجارب الصارمة. فقد طبقوها على مجموعة متنوعة من المهام، بدءاً من تصنيف الصور البسيط، حيث الهدف هو تسمية ما يوجد في الصورة، وصولاً إلى التجزئة الدلالية المعقدة، والتي تتطلب من الكمبيوتر رسم مخطط دقيق حول كل جسم في المشهد. كما اختبروها على بيانات الفيديو، وطلبوا من النموذج التعرف على أفعال بشرية مثل لعب الغولف أو ركوب الخيل. وفي كل حالة، قارنوا طريقتهم الجديدة بالتقنيات القياسية التي تستخدم القوائم التسلسلية المسطحة من التعليمات. وكانت النتائج واضحة: فقد تفوق النهج الجديد المتوافق مكانياً باستمرار على الطرق القديمة. وفي مجموعات البيانات الصعبة التي تتضمن مشاهد معقدة أو اختلافات طفيفة بين الأشياء، كان التحسن ملحوظاً. فقد تعلم النموذج التركيز بشكل أكثر حدة على الأجزاء ذات الصلة من الصورة أو الفيديو، متجاهلاً ضوضاء الخلفية بشكل أكثر فعالية مما سبق.
كما نظر الباحثون عن كثب في سبب نجاح ذلك. ووجدوا أنه من خلال الحفاظ على البنية المكانية للصورة في التعليمات، استطاع النموذج فهم العلاقات بين الأجزاء المختلفة للمدخلات المرئية بشكل أفضل. لم يعد مجرد يخمن بناءً على قائمة مشوشة من الميزات؛ بل كان يبني صورة متماسكة حيث يهم موقع الميزة. علاوة على ذلك، فإن القدرة على تخصيص تعليمات متخصصة لمناطق محددة سمحت للنموذج بالتكيف بكفاءة أكبر مع الأنماط المرئية المتنوعة. وفي مهام الفيديو، ساعدت قدرة النظام على محاذاة التعليمات عبر المكان والزمان على التقاط الطبيعة الديناميكية للحركة، مما أدى إلى تعرف أكثر دقة على الأفعال. أظهرت الدراسة أنه بمجرد تغيير شكل التعليمات لتتطابق مع شكل البيانات، يمكن للكمبيوتر أن يتعلم بفعالية أكبر، محققاً نتائج أفضل بنفس القدر من الجهد الحوسبي.
يشير هذا العمل إلى أن الطريقة التي نوجه بها الذكاء الاصطناعي لا تقل أهمية عن الذكاء نفسه. فمن خلال الابتعيد عن قائمة التعليمات التي تناسب الجميع وتبني هيكلاً يحاكي العالم الحقيقي، وجد الباحثون طريقة تجعل هذه النماذج القوية أكثر دقة وقدرة على التكيف. وتشير النتائج إلى أنه بالنسبة للمهام التي تتضمن الصور والفيديو، فإن احترام هندسة البيانات أمر ضروري. لا تتطلب الطريقة الجديدة إعادة تدريب النموذج الضخم بأكمله، مما يحافظ على كفاءة العملية، لكنها تفتح آفاقاً لمستوى أعلى من الأداء من خلال ضمان أن يكون التوجيه المقدم منظماً ومفصلاً مثل العالم المرئي الذي يحاول فهمه. ومع استمرار تطور الذكاء الاصطناعي، قد يصبح هذا التحول نحو المحفزات المدركة مكانياً طريقة قياسية لتعليم الآلات الرؤية بوضوح أكبر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.