SeCo-SBIR: Semantically Consistent Prompt Learning for Zero-Shot Sketch-Based Image Retrieval
يُعد SeCo-SBIR إطار عمل لتعلم التلقين المتسق دلالياً، وهو يحل التوتر بين التكيف مع النطاق والتعميم في حالة الصفر في استرجاع الصور القائم على الرسم من خلال حقن المعرفة الدلالية الموجهة بالنص في المشفر البصري وفرض الاتساق مع مرجع CLIP مجمد عبر قيود قائمة على الاضطراب، محققاً أداءً هو الأفضل في حالته عبر العديد من المعايير المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتعرف على الأشياء، ولكن مع لمسة مختلفة: يمكنك فقط إظهار صور لحيوانات حقيقية له، ومع ذلك تريد منه أن يفهم الرسومات التي صنعها البشر. هذا هو عالم الاسترجاع القائم على الرسم للصور بنمط "الصفر المعرفة" (Zero-Shot Sketch-Based Image Retrieval). إنه فرع من فروع الذكاء الاصطناعي حيث يتعين على الكمبيوتر مطابقة رسم تخطيطي خشن وغير دقيق (مثل رسم "رجل عصا" لكلب) بصورة عالية الدقة لكلب حقيقي، حتى لو لم يسبق له رؤية هذا النوع المحدد من الكلاب من قبل.
لفهم التحدي، فكر في عقل الروبوت كأنه يمتلك حاستين رئيسيتتين: "الرؤية" (الصور) و"القراءة" (النصوص). لقد علم أداة قوية تسمى CLIP هذا الروبوت بالفعل أن كلمة "كلب" وصورة الكلب مرتبطان ببعضهما البعض. ومع ذلك، عندما تطلب من الروبوت النظر إلى رسم تخطيطي فوضوي باللون الأبيض والأسود، فإنه يصاب بالارتباك؛ فالرسم التخطيطي مختلف تماماً عن الصورة الفوتوغرافية. الحل المعتاد هو "ضبط" (fine-tune) الروبوت، أي تعليمه مهارات جديدة لسد هذه الفجوة. ولكن هنا تكمن المشكلة: إذا علمته الكثير عن أنواع الكلاب المحددة التي تعرضها عليه أثناء التدريب، فسوف يعلق في مسار ضيق. سيصبح مهووساً بأمثلة التدريب لدرجة أنه ينسى كيفية التعرف على أنواع جديدة من الكلاب لم يرها من قبل. الأمر يشبه طالباً يحفظ إجابات اختبار تجريبي بدقة شدة، مما يؤدي إلى فشله في الامتحان الحقيقي لأن الأسئلة كانت مختلفة قليلاً.
هذا هو بالضبط ما سعى الباحثون في معهد بودابست للاتصالات (Posts and Telecommunications Institute of Technology) لحله. لقد قدموا طريقة جديدة تسمى SeCo-SBIR، والتي تعمل مثل مترجم ذكي ومعلم صارم في آن واحد. فبدلاً من مجرد إجبار الروبوت على حفظ الرسومات، وجدوا طريقة لاستخدام معرفته اللغوية الموجودة لتوجيه رؤيته. كما أضافوا شبكة أمان لضمان عدم ثقة الروبوت الزائدة في مهاراته الجديدة ونسيان معرفته العامة الأصلية.
الخدعة السحرية المكونة من جزأين
يقترح البحث إطار عمل يحل ارتباك الروبوت باستخدام فكرتين رئيسيتين، أطلق عليهما المؤلفون "التوجيه الموجه بالنص" (text-guided prompting) و"قيود الاتساق" (consistency constraints).
1. المترجم اللغوي (التوجيه الموجه بالنص)
تخيل أن لدى الروبوت مكتبة من الكتب حول الحيوانات. عندما يرى صورة، فإنه عادةً ما ينظر إلى الصورة فحسب. ولكن مع SeCo-SBIR، يخبر الباحثون الروبوت: "قبل أن تنظر إلى الرسم التخطيطي، اقرأ كلمة 'كلب' في مكتبتك أولاً".
من الناحية التقنية، يستخدم الروبوت المشفر النصي الخاص به (الجزء الذي يفهم الكلمات) لمعالجة "مُحفز" (prompt). وبدلاً من تعلم أنماط بصرية جديدة من الصفر، يأخذ الروبوت معنى كلمة "كلب" من الجانب النصي ويمررها إلى طبقة المشفر البصري طبقة تلو الأخرى. فكر في الأمر كمرشد سياحي (النص) يهمس بتاريخ معلم تاريخي لمصور فوتوغرافي (المشفر البصري) قبل أن يلتقط الصورة. ولأن المرشد يعرف المفهوم العام لـ "الكلب" من قراءة ملايين الكتب، فإن المصور لا يحتاج إلى حفظ كل كلب رآه على الإطلاق؛ بل يحتاج فقط إلى فهم فكرة الكلب. وهذا يساعد الروبوت على التعرف على رسم تخطيطي لسلالة كلب جديدة لم يره من قبل، لأن "المرشد" يعرف كيف تبدو الكلاب بشكل عام، بغض النظر عن الصورة المحددة.
2. المعلم الصارم (قيد الاتساق)
الآن، بينما يتعلم الروبوت هذه المهارات الجديدة، هناك خطر من أن يصبح متحمساً جداً ويبدأ في التخيل، معتقداً أن كل حيوان بأربع أرجل هو "جولدن ريتريفر" لأنه رأى ذلك كثيراً أثناء التدريب. لإيقاف ذلك، أضاف الباحثون "معلماً صارماً".
يعمل هذا المعلم من خلال عرض نسختين من نفس الصورة على الروبوت: نسخة مشوهة قليلاً (معدلة/augmented) ونسخة نظيفة. العقل "المجمد" للروبوت (النسخة الأصلية غير المدربة) ينظر إلى الصورة المشوهة، بينما ينظر العقل "المتعلم" إلى النسخة النظيفة. ويطالب المعلم كلا العقلين بالاتفاق على ماهية الشيء، رغم أنهما ينظران إلى نسختين مختلفتين منه. إذا بدأ العقل المتعلم في الانحراف والقول: "هذا قط!" لمجرد أنه رأى قطة في التدريب، يقول المعلم: "لا، انظر إلى العقل الأصلي؛ فهو لا يزال يرى كلباً. يجب أن تظل متسقاً". هذا يبقي الروبوت ثابتاً في معرفته العامة الأصلية، ويمنعه من "الفرط في التخصيص" (overfitting) لبيانات التدريب المحددة.
ماذا وجدوا؟
اختبر الباحثون هذا النظام الجديد في ثلاثة "اختبارات" (مجموعات بيانات) قياسية في هذا المجال: Sketchy-Ext، و TU-Berlin-Ext، و QuickDraw-Ext. تتضمن هذه الاختبارات مطابقة الرسومات التخطيطية بالصور عبر فئات مختلفة، بما في ذلك بعض الفئات التي لم يسبق للروبوت رؤيتها.
كانت النتائج مثيرة للإعجاب حقاً. ففي اختبار TU-Berlin-Ext، المعروف بكونه صعباً للغاية بسبب وجود العديد من الفئات المتشابهة، حسنت SeCo-SBIR الدقة بنسبة 5.6% مقارنة بأفضل طريقة سابقة. وفي اختبار "عبر مجموعات البيانات" (across-dataset)، حيث تم تدريب الروبوت على مجموعة من الرسومات واختباره على مجموعة مختلفة تماماً، حسنت الدقة بنسبة 6.8%.
يشير البحث إلى أن هذا النهج يعمل لأنه يوازن بين احتياجين متضادين: فهو يكيف الروبوت بما يكفي لفهم العالم الفوضوي للرسومات التخطيطية، ولكنه يحافظ على معرفته العامة سليمة حتى لا ينسى كيفية التعامل مع الفئات الجديدة. وجد المؤلفون أن كل جزء من نظامهم — المترجم اللغوي، والمعلم الصارم، والرياضيات المحددة التي استخدموها لدمج هذه الأفكاء — ساهم في النجاح. وعندما أزالوا أي جزء من النظام، انخفض أداء الروبوت.
باختصار، تُظهر SeCo-SBIR أنه من خلال استخدام اللغة لتوجيه الرؤية وإضافة "فحص للواقع" لمنع الإفراط في التعلم، يمكننا بناء ذكاء اصطناعي أفضل بكثير في التعرف على العالم من خلال الرسومات التخطيطية الخشنة، حتى عندما يرى هذه الأشياء لأول مرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.