CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning
يقدم CMAP إطار عمل فعال في المعلمات للتعلم التزايدي للمهام متعددة المجالات، والذي يستفيد من فضاء تضمين النص غير المستغل في نموذج CLIP لتوجيه المهام بمتانة، وتقدير الثقة، وتكييف المشفر، محققاً أداءً هو الأفضل في حالته على معيار MTIL دون بيانات خارجية أو معلومات عن هوية المهمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف ناقداً فنياً فائق الذكاء، قد قرأ بالفعل ملايين الكتب وشاهد ملايين اللوحات. هذا الناقد (النموذج الذكي) يعرف كيف يصف "قطة" أو "سيارة" بشكل مثالي بناءً على النص وحده. ومع ذلك، تريد تعليمه كيفية التعرف على أنواع محددة وجديدة من الأشياء (مثل سلالة معينة من الكلاب أو زهرة نادرة) واحداً تلو الآخر، دون أن تظهر له الأمثلة القديمة مرة أخرى.
المشكلة الكبيرة في هذا السيناريو هي النسيان. إذا علمته عن "الكلاب من فصيلة جولدن ريتريفر"، فقد ينسى كيف يتعرف على "قطط سيامي". وإذا علمته بشكل عدواني للغاية، فقد يصاب بالارتباك عندما يرى نوعاً جديداً من الطيور لم يتعلمه بعد.
تحاول الطرق الحالية حل هذه المشكلة من خلال النظر إلى الصور فقط. فهي تسأل: "هل تبدو هذه الصورة الجديدة مثل الصور التي رأيتها من قبل؟" تجادل الورقة البحثية بأن هذا يشبه محاولة تحديد هوية شخص في حشد من خلال النظر إلى حذائه فقط، وتجاهل وجهه وصوته. هذا أمر غير فعال وعرضة للأخطاء، خاصة عندما لا تملك الكثير من الصور للتعلم منها.
يقترح المؤلفون نظاماً جديداً يسمى CMAP (التلقيم المتكيف عبر الوسائط - Cross-Modal Adaptive Prompting). وإليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. "بطاقة الهوية القائمة على النص" (توجيه المهام في فضاء النص)
الطريقة القديمة: عندما تصل صورة جديدة، يحاول النظام القديم مطابقتها مع سحابة ضبابية من الصور السابقة التي رآها. إذا كانت الصورة مختلفة قليلاً (مثل كلب في وضعية مختلفة)، يرتبك النظام بشأن أي "مهمة" (فئة) تنتمي إليها.
طريقة CMAP: بدلاً من التخمين بناءً على مظهر الصورة، ينظر CMAP إلى الوصف النصي للفئات. إنه يسأل: "هل تتطابق هذه الصورة مع فكرة 'جولدن ريتريفر' أو 'قط سيامي'؟"
- التشبيه: تخيل أن لديك مكتبة من الكتب. بدلاً من محاولة تخمين الكتاب الذي يبحث عنه الشخص من خلال لون قميصه (الصورة)، تسأله: "أي عنوان كتاب يبدو مشابهاً لما تبحث عنه؟" (النص). وبما أن عناوين الكتب (النماذج الأولية النصية) لا تتغير أبداً، فإن هذه الطريقة مستقرة للغاية، حتى لو كان لديك صورة واحدة أو اثنتان فقط للتعلم منها. كما أنها لا تكلف أي جهد إضافي للإعداد.
2. "نظام التحقق المزدوج" (الثقة متعددة النماذج الأولية)
الطريقة القديمة: يفترض النظام أن كل جسم يبدو متطابقاً تماماً (مثل دائرة مثالية). إذا كانت الصورة غريبة أو ضبابية، يصبح النظام غير متأكد وقد يخمن بشكل خاطئ.
طريقة CMAP: يدرك CMAP أن "الكلب" يمكن أن يبدو بأشكال عديدة (يركض، ينام، من الجانب). لذا، فإنه ينشئ عدة "لقطات ذهنية" (نماذج أولية) لكل فئة.
- التشبيه: بدلاً من امتلاك قاعدة واحدة لـ "ما هو الكلب؟"، يحتفظ النظام بمجلد يحتوي على ثلاث رسومات مختلفة للكلاب: واحد يركض، وواحد ينام، وواحد يجلس. عندما تأتي صورة جديدة، يتحقق من جميع الرسومات الثلاثة.
- اللمسة الإبداعية: هو لا يتحقق من الرسومات فحسب؛ بل يتحقق أيضاً من الوصف النصي. يسأل: "هل تبدو هذه الصورة مثل الرسمة وَ هل تطابق كلمة 'كلب'؟" إذا اتفق الاثنان، يكون النظام واثقاً جداً. وإذا اختلفا، فإنه يعرف أن عليه توخي الحذر.
3. "الحراس المتزامنون" (البوابات المتناظرة عبر الوسائط)
الطريقة القديمة: يمتلك النظام بابين: واحد للصورة وآخر للنص. في الماضي، إذا كان باب الصورة مغلقاً (بسبب صورة غريبة أو غير معروفة)، فإن باب النص يظل مفتوحاً على مصراعيه. تسبب هذا عدم توافق، مثل مترجم يتحدث لغة لا يفهمها المستمع.
طريقة CMAP: يقوم CMAP بتثبيت آلية مترابطة. إذا أغلق باب الصورة لأن الصورة مربكة، فإن باب النص يغلق في نفس اللحظة تماماً.
- التشبيه: تخيل حارس أمن في متحف. إذا رأى لوحة مشبوهة (صورة)، فإنه يغلق فوراً الدليل الصوتي (النص) حتى لا يرتبك الزائر بسبب الإشارات المختلطة. هذا يضمن أن "الصورة" و"الكلمات" يظلان في تناغم تام، حتى عندما يواجه النظام شيئاً لم يره من قبل.
النتائج
اختبر المؤلفون هذا النظام في تحدٍ هائل شمل 11 مجموعة بيانات مختلفة (من السيارات إلى الزهور إلى الأرقام المكتوبة بخط اليد) مع أكثر من 1,200 فئة مختلفة.
- الأداء: تفوق CMAP على أفضل الطرق السابقة بفارق كبير (محسناً الدقة بنحو 3 إلى 5 نقاط مئوية).
- الكفاءة: حقق كل هذا مع إضافة قدر ضئيل جداً من "قوة الدماغ" (حوالي 2.5 مليون معلمة قابلة للضبط)، وهو ما يعادل حجم تطبيق صغير، بدلاً من إعادة تدريب النموذج الضخم بالكامل.
- ندرة البيانات: عمل بشكل جيد بشكل خاص عندما تم إعطاء النظام أمثلة قليلة جداً (16 صورة فقط لكل فئة) للتعلم منها، مما يثبت أن استخدام "بطاقات الهوية النصية" هو طريقة أذكى للتعلم من مجرد التحديق في المزيد من الصور.
باخت-اختصار: يعلم CMAP الذكاء الاصطناعي كيفية تعلم مهام جديدة من خلال الاستماع إلى "صوته النصي" الداخلي بقدر ما ينظر إلى الصور. هذا يمنع الذكاء الاصطناعي من نسيان الدروس القديمة، ويساعده على التعامل مع المدخلات الجديدة الغريبة، ويفعل كل ذلك دون الحاجة إلى كمبيوتر ضخم أو مكتبة هائلة من الصور الماضية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.