Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering
تقدم الورقة البحثية إطار عمل KBMR، وهو إطار استرجاع جديد يعتمد على النماذج اللغوية البصرية الكبيرة (MLLM) للإجابة على الأسئلة البصرية القائمة على المعرفة، والذي يتغلب على قيود التشابه البصري السطحي عبر رسم خرائط للصور إلى فضاء دلالي واستخدام أوزان اتساق الكيانات المستمرة لتحسين أخذ العينات السلبية الصعبة، مما يعزز بشكل كبير دقة الاسترجاع وأداء الإجابة على الأسئلة البصرية من البداية إلى النهاية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الرقمي الحديث، غالبًا ما نطلب من الحواسيب أن تنظر إلى صورة وتخبرنا قصة عنها. لقد أصبح هذا المجال، المعروف باسم "الإجابة على الأسئلة البصرية"، بارعًا بشكل ملحوظ في وصف ما هو مرئي مباشرة: كلب يركض على الشاطئ، أو سيارة حمراء متوقفة في شارع، أو شخص يحمل كوبًا. ومع ذلك، يبرز تحدٍ أعمق عندما تعتمد الإجابة على سؤال ما على حقائق لا يمكن رؤيتها في الصورة نفسها. فإذا أظهرت صورة نوعًا معينًا ونادرًا من الطيور، فقد يتعرف الكمبيوتر عليها كطائر، لكنه لن يعرف اسم الطائر، أو موطنه، أو تاريخه ما لم يكن لديه وصول إلى مكتبة ضخمة من المعرفة الخارجية. هذا هو مجال "الإجابة على الأسئلة البصرية القائمة على المعرفة"، حيث يجب على الآلة ألا تكتفي برؤية الصورة فحسب، بل يجب أن تجد المعلومة الصحيحة من قاعدة بيانات هائلة للإجابة على السؤال بدقة.
تكمن الصعوبة في كيفية بحث الكمبيوتر عن تلك المعلومة. تقليديًا، اعتمدت هذه الأنظمة على طريقة تعطي الأولوية لمدى تشابه صورتين. فإذا سأل المستخدم عن فندق معين، يقوم النظام بمسح قاعدة بياناته بحثًا عن صور تشبه بصريًا الصورة الموجودة في السؤال. وهذا يعمل جيدًا عندما يبدو المبنى الموجود في الصورة مطابقًا تمامًا للمبنى الموجود في قاعدة البيانات. لكن العالم الحقيقي فوضوي؛ فقد يبدو معلم شهير مختلفًا تمامًا في صورة بالأبيض والأسود من الخمسينيات مقارًا بلقطة ملونة حديثة، أو قد يتشارك مبنيان مختلفان تمامًا في نمط معماري متشابه. وعندما يعتمد النظام فقط على التشابه البصري، فإنه غالبًا ما يصاب بالارتباك، حيث يستدعي المبنى الخطأ لأنه يبدو مشابهًا على السطح، بينما يفتقد المبنى الصحيح لأنه يبدو مختلفًا. وقد أعاق هذا القصور القدرة على إجابة الأسئلة المعقدة حول العالم لفترة طويلة.
لقد طور فريق من الباحثين في جامعة تسينغهوا وجامعة أريزونا نهجًا جديدًا لحل هذه المشكلة، منتقلين من مجرد المطابقة البصرية إلى فهم أعمق للهوية. لقد أنشأوا نظامًا يسمى (KBMR)، والذي يعمل بمثابة أمين مكتبة أكثر ذكاءً لهذه الأسئلة البصرية. فبدلاً من أن يطلب من الكمبيوتر العثور على صور تبدو متشابهة، يطلب النظام الجديد من الكمبيوتر العثور على صور تمثل الشيء نفسه، حتى لو بدت مختلفة جدًا. ولتحقيق ذلك، استخدموا نوعًا من الذكاء الاصطناي المتقدم المعروف باسم "النماذج اللغوية الكبيرة متعددة الوسائط". وخلافًا للأنظمة القديمة التي تكتفي بمقارنة البكسلات، يمكن لهذه النماذج قراءة وفهم اللغة أثناء النظر إلى الصورة، مما يسمح لها باستيعاب مفهوم الشيء بدلاً من مجرد مظهره.
بنى الباحثون عملية تدريب تعلم هذا النظام الجديد التمييز بين الأشياء التي هي مجرد متشابهة وبين الأشياء التي هي في الواقع نفس الكيان. لقد قدموا مكونًا خاصًا يعمل كـ "قاضٍ"، يفحص أزواجًا من الصور والأسئلة ليقرر ما إذا كانت تشير إلى نفس الكائن في العالم الحقيقي. هذا القاضي لا يكتفي بالقول "نعم" أو "لا"؛ بل يمنح درجة تعكس مدى ثقته في المطابقة. تساعد هذه الدرجة النظام على التعلم من أخطائه من خلال التركيز على الحالات الأكثر إرباكًا — تلك الصور التي تبدو متشابهة ولكنها في الواقع مختلفة، أو تلك التي تبدو مختلفة ولكنها هي ذاتها. ومن خلال التدريب على هذه الأمثلة الصعبة بهذا التقييم الدقيق، يتعلم النظام تنظيم معرفته بناءً على الهوية الحقيقية للموضوع، وليس فقط ميزاته البصرية.
نتائج هذه الطريقة الجديدة كبيرة. فعند اختبارها على معايير قياسية مصممة لقياس مدى قدرة الحواسيب على الإجابة على أسئلة حول الصور باستخدام المعرفة الخارجية، تفوق النظام الجديد على أفضل الأساليب السابقة بفارق كبير. وفي أحد الاختبارات الرئيسية، حسن النظام قدرته على إيجاد الإجابة الصحيحة في النتيجة الأولى بنسبة تقارب خمسة عشر بالمائة مقارنة بالمعيار القديم. والأهم من ذلك، أن هذا التحسن في إيجاد المعلومة الصحيحة تُرجم مباشرة إلى إجابات أفضل. فعندما استُخدم النظام للإجابة على أسئلة حول مواضيع موسوعية، قفزت دقته بنسبة تقارب عشرة بالمائة. وفي اختبار آخر يتعلق بأسئلة حول كيانات غير مرئية (غير موجودة في قاعدة البيانات الأصلية)، كان التحسن أكثر وضوحًا، مما أظهر أن النظام بارع بشكل خاص في التعامل مع المواضيع النادرة أو الصعبة التي تعاني منها الأساليب القديمة.
كما أثبت الباحثون أن هذا النهج الجديد يعمل بشكل جيد عبر أنواع مختلفة من الأسئلة ومجموعات البيانات. وسواء كان السؤال عن نوع معين من النباتات، أو مبنى تاريخي، أو طائر نادر، فقد وجد النظام المعلومات الصحيحة في كثير من الأحيان أكثر من ذي قبل. وفي مقارنة بصرية، بينما قد يستدعي النظام القديم خمس صور لطيور مختلفة تبدو جميعها متشابهة نوعًا ما مع الطائر الموجود في السؤال، فإن النظام الجديد حدد نوع الطائر بدقة ووضع الإجابة الصحيحة في مقدمة قائمته. هذا التحول من التشابه السطحي إلى التوافق الدلالي العميق يعني أن الحواسيب أصبحت أكثر موثوقية عندما يُطلب منها شرح العالم من حولنا، بشرط توفر الحقائق الصحيحة.
يشير هذا العمل إلى أن مستقبل الذكاء البصري يكمن في الجمع بين القدرة على الرؤية والقدرة على الفهم. فمن خلال تعليم الآلات النظر إلى ما وراء المظهر السطحي للصورة والتركيز على الهوية الأساسية للموضوع، نجح الباحثون في إزالة عقبة رئيسية في كيفية استرجاع الحواسيب للمعرفة. وتشير النتائج إلى أنه لكي تتمكن الآلات من الإجابة حقًا عن أسئلة حول العالم، يجب أن تكون قادرة على مواءمة فهمها الداخلي لشيء ما مع السجلات البشرية الواسعة والمتنوعة والمتناقضة بصريًا في كثير من الأحيان. وتوفر هذه الطريقة الجديدة مسارًا واضحًا للمستقبل، مثبتة أنه عندما يفهم الكمبيوتر ماهية الشيء، وليس فقط كيف يبدو، فإنه يستطيع تقديم إجابات ليست صحيحة بصريًا فحسب، بل وصحيحة واقعيًا أيضًا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.