UniHEAR: Unified Heterogeneous-Source Attentive Retrieval for Knowledge-Based Visual Question Answering
يُعد UniHEAR إطار عمل موحداً وخفيف الوزن يتغلب على قيود الاسترجاع أحادي المصدر وإعادة التصنيف غير المعتمد على المصدر في مجال الإجابة على الأسئلة البصرية القائمة على المعرفة، وذلك من خلال توظيف واصف استرجاع خشن، وبوابة نمطية انتباهية موجهة بالاسترجاع، ودمج مصادر مرجح بالإنتروبيا لتحقيق أداء رائد في معايير E-VQA وInfoSeek.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل لغز صعب، لكن الإجابة ليست مخبأة في الصورة التي أمامك؛ بل هي مخبأة في مكتبة ضخمة من الكتب، والمواقع الإلكترونية، والصور التي لا يمكنك رؤيتها. هذا هو عالم الإجابة المرئية على الأسئلة القائمة على المعرفة (KB-VQA). إنه فرع من فروع الذكاء الاصطناब्दी حيث ينظر الكمبيوتر إلى صورة، ويقرأ سؤالاً عنها، ثم يتعين عليه البحث عن الحقائق الصحيحة من العالم الخارجي لتقديم إجابة ذكية. فكر في الأمر كأنه محقق يمكنه رؤية مسرح الجريمة، لكنه يحتاج إلى مراجعة قاعدة بيانات الشرطة ليعرف من هو المشتبه به حقاً.
لفترة طويلة، واجه هؤلاء المحققون الآليون مشكلة كبيرة: كانوا سيئين جداً في العثور على القرائن الصحيحة. فقد اعتمدوا عادةً على طريقة واحدة فقط للبحث. أحياناً كانوا يبحثون فقط عن صور تشبه تلك الموجودة في السؤال (مثل البحث عن توأم)، وأحياناً أخرى كانوا يبحثون فقط عن نصوص تبدو مثل السؤال (مثل البحث عن مرادف). ولكن ماذا لو كانت الإجابة موجودة في صورة لا تشبه الأصلية تماماً، أو في نص لا يستخدم نفس الكلمات بالضبط؟ كان الذكاء الاصطناعي سيفقدها. علاوة على ذلك، حتى عندما كانوا يجدون قائمة من القرائن المحتملة، كانوا غالباً "عمياناً" عن مصدر تلك القرائن، حيث يعاملون التخمين الضبابي بنفس قدر معاملة المعلومة المؤكدة. تقدم هذه الورقة نظاماً جديداً يسمى UniHEAR الذي يعالج هذه الأخطاء من خلال السماح للذكاء الاصطناكن بالبحث بطريقتين مختلفتين في آن واحد، ثم استخدام حيلة ذكية لتحديد أي القرائن هي الأفضل.
أدوات المحقق الجديدة: UniHEAR
تعرف على UniHEAR، وهو إطار عمل جديد للذكاء الاصطناعي خفيف الوزن، صُمم ليكون المحقق الأمثل للألغاز المرئية. أدرك المؤلفون، وهم فريق من جامعة سيتشوان، أن أنظمة الذكاء الاصطناني الحالية كانت عالقة في فخين كبيرين.
الفخ رقم 1: البحث بعين واحدة
تخيل أنك تبحث عن كلب مفقود. إذا سألت فقط الأشخاص الذين رأوا كلباً يشبه كلبك تماماً، فقد تفوتك الشخص الذي رأى كلباً ينبح تماماً مثل كلبك. كانت أنظمة الذكاء الاصطناني الحالية تفعل ذلك غالباً. فقد كانت إما تبحث عن تطابقات بصرية (صورة-إلى-صورة) أو تطابقات نصية (صورة-إلى-نص)، ولكن نادراً ما تفعل الاثنين معاً. خلق هذا ما يسمى بـ "عنق زجاجة الاسترجاع أحادي المصدر". فإذا كانت الإجة الحقيقية موجودة فقط في البحث النصي، فإن البحث البصري سيفشل، والعكس صحيح. والنتيجة؟ فات على الذكاء الاصطناني الحقائق الأساسية التي كان يحتاجها للإجابة.
الفخ رقم 2: المصنف الجاهل
بمجرد أن يجد الذكاء الاصطناني قائمة من القرائن المحتملة، كان عليه فرزها لإيجاد الأفضل. كانت الطريقة القديمة تشبه أميناً للمكتبة يعامل كل كتاب على الرف بنفس الطريقة، بغض النظر عما إذا كان قد جاء من قسم "التاريخ" أو قسم "الخيال". تطلق الورقة على هذا اسم "إعادة التصنيف العمياء عن مصدر الاسترجاع". لقد تجاهل الذكاء الاصطناني حقيقة أن بعض القرائن كانت تطابقات بصرية قوية بينما كانت أخرى تطابقات نصية قوية، مما أدى إلى إضاعة الوقت في معلومات مكررة وتصنيف الإجابات الخاطئة في المقدمة.
كيف يحل UniHEAR اللغز
يغير UniHEAR قواعد اللعبة من خلال العمل كمحقق يستخدم محركي بحث مختلفين في وقت واحد، ثم يستخدم مرشحاً ذكياً لاختيار الفائز.
الخطوة 1: البحث المزدوج
بدلاً من اختيار طريقة واحدة فقط للبحث، يرسل UniHEAR السؤال إلى "مكتبتين" مختلفتين في نفس الوقت:
- المكتبة البصرية: يبحث عن صور تشبه تلك الموجودة في السؤال.
- المكتبة النصية: يبحث عن ملخصات نصية تطابق معنى السؤال.
يقوم بدمج النتائج من كليهما في "مجموعة مرشحين" واحدة ضخمة. وهذا يضمن أنه إذا كانت الإجابة مخبأة في صورة أو في فقرة، فسيتم العث find.
الخطوة 2: "بطاقة الهوية" لكل قرينة
هذا هو الجزء الذكي. لكل قرينة (أو "كيان") يتم العثور عليها في تلك المجموعة الضخمة، ينشئ UniHEAR وصف استرجاع خشن (Coarse Retrieval Descriptor) خاصاً بها. فكر في هذا كبطاقة هوية للقرينة. هذه البطاقة لا تقول فقط "لقد وجدت هذا"؛ بل تسجل كيف تم العثور عليه. إنها تدون:
- كم كان ترتيبه في القائمة؟
- ما مدى ثقة محرك البحث؟
- ما مدى "المفاجأة" (الاعتلاج/الإنتروبي) التي شعر بها محرك البحث للعثور عليه؟
تخبر هذه البطاقة النظام: "مهلاً، هذه القرينة جاءت من البحث النصي وكانت في المرتبة الأولى، بينما تلك جاءت من البحث البصري وكانت في المرتبة الخامسة".
الخطوة 3: الفلتر الذكي (بواب الاسترجاع الموجه)
الآن يأتي دور الفرز. كانت الأنظمة القديمة تعامل جميع القرائن بنفس الطريقة. يستخدم UniHEA وحدة جديدة تسمى بوابة النمط الموجهة بالاسترجاع (Retrieval-Guided Attive Modality Gating). تخيل حارساً عند مدخل ملهى ليلي ينظر إلى بطاقة الهوية لكل شخص يحاول الدخول.
- إذا جاءت القرينة من البحث البصري، فإن الحارس يعرف أن الجزء البصري قد تم "إثباته" بالفعل، لذا لا يحتاج للتركيز كثيراً على الميزات البصرية مرة أخرى. بل يحول انتباهه إلى النص.
- إذا جاءت القرينة من البحث النصي، فإنه يحول الانتباه إلى التفاصيل البصرية.
هذا يمنع الذكاء الاصطناني من الوقوع في حلقة مفرغة من النظر إلى الشيء نفسه مرتين. إنه يستخدم "بطاقة الهوية" ليقرر بالضبط مقدار الوزن الذي يجب إعطاؤه للصورة مقابل الكلمات.
الخطوة 4: المزيج النهائي
أخيراً، يضيف UniHEAR ميزة "خالية من التدريب". فهو يأخذ الدرجات الأصلية من محركات البحث ويمزجها مع درجة الفرز الذكي الجديدة، باستخدام طريقة تسمى دمج المصدر الموزون بالاعتلاج (Entropy-Weighted Source Fusion). وهذا يضمن أنه إذا كان محرك البحث واثقاً جداً (اعتلاج منخفض)، فإن قرائنه تحصل على دفعة إضافية.
النتائج: أسرع وأذكى
اختبر المؤلفون UniHEA على مجموعتي بيانات رئيسيتين، E-VQA و InfoSeek، وهما بمثابة "الامتحانات النهائية" لهؤلاء المحققين الآليين.
- أفضل في العثيد على القرائن: في اختبار E-VQA، حسن UniHEAL درجة "الاستدعاء عند 1" (Recall@1) (القدرة على العثور على الإجابة الصحيحة الأولى) بمقدار 6.7 نقطة عن أقوى طريقة سابقة. وفي InfoSeek، تحسن بمقدار 1.2 نقطة. وهذا يعني أنه وجد الإجابة الصحيحة بشكل أكثر تكراراً مما سبق.
- أفضل في الإجابة على الأسئلة: عندما تعلق المسألة بالإجابة الفعلية على الأسئلة، حقق UniHEAL نتائج هي الأفضل في فئته (state-of-the-art). على سبيل المثال، في مجموعة بيانات E-VQA، سجل 53.2%، متفوقاً على الطرق الرائدة الأخرى التي تستخدم نماذج أكبر وأثقل بك كثيراً.
- خفيف الوزن: على الرغم من قيامه بمزيد من العمل (البحث في مصدرين واستخدام فلاتر معقدة)، إلا أن UniHEAL خفيف الوزن بشكل مثير للدهشة. فهو يستخدم نموذجاً يحتوي على 197 مليون معلمة فقط، بينما تستخدم منافسوه غالباً نماذج تحتوي على 1.2 مليار إلى 1.7 مليار معلمة. إنه يشبه الحصول على قوة سوبر كمبيوتر داخل حقيبة ظهر.
ماذا يعني هذا؟
تجادل الورقة صراحة ضد فكرة أننا بحاجة إلى الاعتماد على نوع واحد من البحث أو أننا يمكننا تجاهل مصدر القرينة. أظهر المؤلفون أن تجاهل "مصدر" المعلومات يؤدي إلى الأخطاء. ومن خلال إثبات أن الجمع بين عمليات البحث البصري والنصي ثم استخدام فلتر ذكي مدرك للمصدر يعمل بشكل أفضل، يقترح UniHEAL طريقاً جديداً للمضي قدماً. إنه يوضح أنك لست بحاجة إلى دماغ ضخم وثقيل لتكون ذكياً؛ بل تحتاج فقط إلى معرفة كيفية البحث في الأماكن الصحيحة والاستماع إلى القرائن الصحيحة.
باخت مختصر، UniHEAL هو محقق أخف وزناً، وأسرع، وأكثر دقة، يعرف كيف يستخدم عينيه ونظارات القراءة معاً لحل الألغاز المرئية، مما يثبت أنه في بعض الأحيان، أفضل طريقة لإيجاد الحقيقة هي النظر إليها من زاويتين مختلفتين في آن واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.