ChatSearch: a Dataset and a Generative Retrieval Model for General Conversational Image Retrieval
تقدم هذه الورقة البحثية ChatSearch، وهي مجموعة بيانات جديدة تتميز باستعلامات محادثة متعددة الوسائط ومتعددة الجولات لاسترجاع الصور في النطاق المفتوح، إلى جانب ChatSearcher، وهو نموذج استرجاع توليدي تم تدريبه من البداية إلى النهاية ليعمل بفعالية مع السياق متعدد الوسائط ويستفيد من المعرفة العالمية لتحقيق أداء فائق في البحث التفاعلي عن الصور.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تبحث عن صورة محددة في مكتبة ضخمة ولا متناهية من الصور. ولكن بدلاً من كتابة كلمة مفتاحية مثل "غروب الشمس" أو "كلب"، تريد إجراء محادثة مع أمين المكتبة لتجدها.
ربما تبدأ بعرض صورة لشاطئ وتقول: "أريد شيئاً مثل هذه الصورة، ولكن مع قطة بدلاً من الكلب". قد يسألك أمين المكتبة: "هل تريد القطة وهي نائمة أم تلعب؟" فتجيب: "تلعب، واجعل الشاطئ في فصل الشتاء، وليس الصيف".
هذه هي الفكرة الجوهرية لورقة البحث "ChatSearch". حيث يعمل الباحثون على بناء نظام لا يكتفي بالبحث عن الصور بناءً على أمر واحد فقط، بل يفهم محادثة متبادلة حيث تختلط الأدلة بين النصوص والصور.
إليك تفصيل لعملهم باستخدام تشبيهات بسيطة:
1. المشكلة: أمين المكتبة "الأعمى"
محركات البحث عن الصور التقليدية تشبه أمناء مكتبة يفهمون لغة واحدة فقط: إما أن تريهم صورة، أو تعطيهم جملة واحدة. إنهم يواجهون صعوبة إذا حاولت إجراء محادثة معقدة.
- مثال: إذا قلت: "أرني صورة لسيارة، ولكن اجعلها حمراء"، فقد يظهر لك محرك البحث العادي سيارات حمراء فقط. إنه لا يفهم التغيير الذي تطلبه في سياق المحادثة.
2. الحل: مجموعة بيانات "ChatSearch"
لتعليم الحواسيب كيفية إجراء هذه المحادثات، أنشأ الباحثون مجموعة بيانات تدريبية جديدة تسمى ChatSearch.
- التشبيه: تخيل أنهم بنوا "مدرسة تدريب" ضخمة للذكاء الاصطناعي. لم يكتفوا بكتابة الأسئلة والأجوبة فحسب؛ بل أنشأوا سيناريوهات.
- استخدموا أدوات ذكاء اصطناعي ذكية لتوليد آلاف المحادثات الوهمية حيث يتناقش مستخدم وحاسوب حول صورة ما. أحياناً يعرض المستخدم صورة، وأحياناً يتحدث فقط. الهدف من المحادثة هو دائماً العثور على صورة "هدف" محددة مخبأة في قاعدة البيانات.
- ثم جعلوا خبراء بشريين يراجعون هذه المحادثات للتأكد من أنها منطقية، مما يضمن تعلم الذكاء الاصطناعي من أمثلة عالية الجودة.
3. اللاعب النجم: "ChatSearcher"
قام الباحثون أيضاً ببناء نموذج ذكاء اصطناعي جديد يسمى ChatSearcher. فكر في هذا النموذج كـ محقق فائق الذكاء يمكنه قراءة الأدلة من الكلمات والصور في آن واحد.
- كيف يفكر: على عكس النماذج القديمة التي تعامل النصوص والصور كأشياء منفصلة، يعامل ChatSearcher هذه العناصر كقصة واحدة متدفقة. يمكنه "قراءة" صورة و"الاستماع" إلى جملة في نفس الوقت.
- الخدعة السحرية (الاسترجاع التوليدي): عادةً، تقوم محركات البحث بمسح قائمة واختيار المطابقة الأفضل. لكن ChatSearcher مختلف؛ فهو يولد الإجابة. الأمر يشبه الطاهي الذي لا يكتفي باختيار طبق من قائمة الطعام، بل يطبخ الطبق الذي وصفته بالضبط.
- عندما تطرح سؤالاً، يتوقع النموذج الـ "token" التالي (قطعة من البيانات). أحياناً يكون هذا الـ "token" كلمة (مثل "قطة")، وأحياناً يكون مؤشراً إلى صورة. إنه حرفياً "يكتب" الصورة داخل المحادثة.
4. كيف تم تدريبه (التمرين ذو المرحلتين)
لجعل ChatSearcher ذكياً، قاموا بتدريبه في مرحلتين:
- مرحلة "المحاذاة": علموا النموذج أن صورة كلب وكلمة "كلب" هما الشيء نفسه. قاموا بخلط الآلاف من أزواج الصور والنصوص حتى يتعلم النموذج التحدث بلغة "الصور" و"النصوص" بطلاقة.
- مرحلة "المحادثة": أعطوا النموذج نظاماً غذائياً من التعليمات المعقدة. أظهروا له كيفية التعامل مع:
- المحادثات البصرية: "ماذا يوجد في هذه الصورة؟"
- تعديل الصور: "خذ هذه الصورة واجعل السماء زرقاء."
- الاسترجاع: "جد لي صورة مشابهة لهذه، ولكن بخلفية مختلفة."
5. لماذا هذا مهم؟
تظهر النتائج أن ChatSearcher أفضل بكثير في العثور على الصور من خلال المحادثة مقارنة بالطرق السابقة.
- القوة الخارقة لـ "Zero-Shot": حتى عند اختباره في مهام لم يتم تدريبه عليها صراحة (مثل العثور على صور بناءً على رسم تخطيطي أو وصف معقد)، فقد أدى أداءً جيداً للغاية. إنه يشبه طالباً تعلم كيف يذاكر، وبالتالي يمكنه التفوق في اختبار لم يسبق له رؤية موضوعه من قبل.
- التحسين التفاعلي: الجزء الأفضل هو التفاعل. إذا عرض لك الذكاء الاصطناعي صورة وقلت له: "لا، كنت أعني نوع الكلب الآخر"، فإن الذكاء الاصطناعي يتذكر هذا السياق ويقوم بتحسين البحث فوراً.
باختدصار
تقدم الورقة طريقة جديدة للعثور على الصور: توقف عن البحث، وابدأ في الدردشة.
لقد أنشأوا مجموعة بيانات جديدة (ChatSearch) لتعليم الذكاء الاصطناعي كيفية فهم المحادثات المختلطة بين النص والصورة، وبنوا نموذجاً جديداً (ChatSearcher) يعمل كشريك حواري لا يمكنه فقط التحدث عن الصور، بل يمكنه أيضاً استخراج الصورة الصحيحة تماماً من العدم بناءً على احتياجاتك المتطورة. إنه يحول فعل "البحث" الآلي والبارد إلى "محادثة" طبيعية ودافئة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.