When Seeing Is Not Enough: Benchmarking Interactive Visual Grounding in LVLMs
تقدم هذه الورقة معياراً للتقييم في مجال التأسيس البصري التفاعلي في النماذج اللغوية البصرية الكبيرة (LVLMs)، كاشفةً أن النماذج الحالية تقصر بشكل كبير عن المعايير البشرية، وتواجه صعوبة في السعي الاستباقي وراء المعلومات عند عدم توفر وصف أولي، وتظهر ضعفاً في المعايرة بين الثقة والدقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، توجد مهارة محددة تسمى "التأسيس البصري" (visual grounding). وهي القدرة على أن تنظر الآلة إلى صورة وتشير إلى الكائن المحدد الذي يتحدث عنه الإنسان. إذا قلت "ابحث عن الكرة الحمراء"، يجب على النظام تحديد تلك الكرة بالتحديد من بين كرات أخرى كثيرة. لسنوات طويلة، اختبر العلماء هذه المهارة عبر إعطاء الكمبيوتر وصفاً دقيقاً وكاملاً وطلب العثور على المطابق له. يشبه هذا الأمر تسليم شخص ما خريطة كاملة وطلب العثور على كنز مخفي منه. لقد أصبح الكمبيوتر بارعاً جداً في هذه المهمة ذات الخطوة الواحدة، وغالباً ما يضاهي أو يتفوق على الأداء البشري عندما تكون التعليمات واضحة وتامة.
ومع ذلك، فإن الحياة الواقعية نادراً ما تكون بهذه البساطة. فعندما يتحدث البشر مع بعضهم البعض، غالباً ما تكون الأوصاف غامضة، أو ناقصة، أو حتى خاطئة. نحن لا نسلم بعضنا البعض خرائط مثالية؛ بل نبني فهمنا معاً. فنحن نطرح أسئلة مثل: "هل هي على اليسار؟" أو "هل لها مقبض؟" لملء الأجزاء المفقودة. يستكشف هذا البحث ما يحدث عندما نطلب من الذكاء الاصطناعي القيام بالمثل: أن ينظر إلى صورة، ويدرك أنه لا يملك معلومات كافية، ثم يطرح الأسئلة الصحيحة للعثور على الهدف. أراد الباحثون معرفة ما إذا كانت هذه الأنظمة الحاسوبية الذكية قادرة على التعامل مع الطبيعة المترددة وغير المنظمة للمحادثة الحقيقية، أم أنها ستفشل عندما لا تُقدم إليها التعليمات على طبق من فضة.
وضع الفريق تجربة منضبطة لاختبار هذه القدرة التفاعلية. فقد أنشأوا لعبة تتضمن دورين: "المُوجِّه" (Director) الذي يعرف الكائن المستهدف، و"المُطابق" (Matcher) الذي يجب عليه العثور عليه. استخدموا أربعة عوالم بصرية مختلفة للعبة: مجموعة من الكلاب، والسلال، وأشكال هنداسية مجردة تسمى "تانغرام" (tangrams). في اللعبة، يرى "المُطابق" شبكة من عناصر عديدة محتملة، بينما يرى "المُوجِّه" الهدف الصحيح فقط. اختبر الباحثون "المُطابق" تحت أربعة ظروف مختلفة لمعرفة كيفية تعامله مع المعلومات. في الظرف الأول، أُعطي "المُطابق" وصفاً كاملاً ومثالياً وكان عليه العثور على الكائن دون التحدث. وفي الثاني، أُعطي وصفاً كاملاً ولكن سُمح له بطرح أسئلة متابعة للتحقق من عمله. وفي الثالث، بدأ بتلميح غامض جداً، مثل "إنها سلة"، وكان عليه طرح أسئلة لمعرفة أي واحدة منها. وفي الظرف الأخير والأكثر صعوبة، لم يُعطَ "المُطابق" أي وصف على الإطلاق وكان عليه طرح أسئلة نعم أو لا من الصفر لبناء صورة للهدف في ذهنه.
أجروا هذه اللعبة مع ثمانية نماذج مختلفة من النماذج اللغوية البصرية الضخمة، وهي أكثر أنواع الذكاء الاصطناعي تقدماً في الرؤية والقراءة. كانت النتائج واضحة ومثيرة للدهشة نوعاً ما. فحتى عندما أُعطيت النماذج أوصافاً مثالية، عانت لمضاهاة أداء اللاعبين البشر. لكن الفجوة اتسعت كثيراً عندما تطلبت المهمة التفاعل. فعندما كان على النماذج طرح أسئلة للعثور على الهدف، انخفض أداؤها بشكل كبير. لقد كانوا سيئين بشكل خاص في المهمة الأصعب، حيث كان عليهم بدء المحادثة من الصايد وتوجيهها بأنفسهم. وبينما كان بإمكانهم طرح الأسئلة، إلا أنهم غالباً ما طرحوا الأسئلة الخاطئة أو فشلوا في استخدام الإجابات التي تلقوها لتضييق خياراتهم بفعالية.
بحثت الدراسة أيضاً في مدى ثقة النماذج في إجاباتها. ووجد الباحثون أن النماذج كانت غالباً مفرطة في الثقة؛ حيث كانت تفيد بمستوى عالٍ من اليقين بأنها وجدت الكائن الصحيح، حتى عندما كانت مخطئة في الواقع. كان هذا النقص في الوعي الذاتي أكثر وضوحاً عندما كان على النماذج طرح أسئلة للعثور على الهدف. بدا وكأنهم يعتقدون أن لديهم معلومات كافية بينما لم يكن لديهم ذلك. ومن المثير للاهتمام أن النماذج أظهرت بعض القدرة على التحسن عندما سُمح لها بطرح أسئلة متابعة لتحسين الوصف، لكن هذا التحسن كان محدوداً. كان بإمكانهم إصلاح خطأ ما إذا أشار إليه شخص ما، لكنهم لم يكونوا جيدين في السعي الاستباقي وراء المعلومات التي يحتاجونها لتجنب الخطأ في المقام الأول.
لضمان صلابة هذه النتائج، أجرى الباحثون عدة اختبارات متابعة. فقد تحققوا مما إذا كانت النتائج ستتغير إذا كانت الأوصاف مكتوبة بواسطة كمبيوتر بدلاً من إنسان، أو إذا أُجبرت النماذج على التفكير بعمق أكبر قبل الإجابة، أو إذا لعبوا اللعبة عدة مرات مع نفس الشريك. وفي كل حالة، ظل النمط كما هو. أدت النماذج بشكل أفضل مع الأوصاف المولدة حاسوبياً، لكنها ظلت تعاني في الأجزاء التفاعلية من المهمة. كما وجدوا أنه بينما يمكن للنماذج أن تتحسن قليلاً في اللعبة بعد لعبها بضع مرات، إلا أنها لم تلحق أبداً بالأداء البشري. وظلت صعوبة بدء محادثة من الصفر وبناء فهم مشترك تشكل عقبة رئيسية. وقد اختبرت إحدى دراسات المتابعة النماذج على صور الوجوه، لكن اللعبة الرئيسية ركزت على الكلاب والسلال والتانغرام.
خلص الباحثون إلى أنه على الرغم من أن أنظمة الذكاء الاصطناعي هذه ممتازة في مطابقة وصف واضح بصورة، إلا أنها ليست جاهزة بعد لعالم التواصل البشري. فهي تفتقر إلى القدرة على إدراك متى تنقصها المعلومات وإلى طرح الأسئلة الصحيحة للحصول عليها. كما أنها سيئة في تقدير مدى تأكدها من إجاباتها. يشير هذا إلى أنه لكي تعمل الروبوتات أو المساعدات الذكية بجانب البشر حقاً، فإنها تحتاج إلى تعلم ما هو أكثر من مجرد كيفية الرؤية؛ إنها بحاجة لتعلم كيفية التحدث، وكيفية طلب المساعدة، وكيفية إدراك متى لا تعرف الإجابة. وإلى أن تتمكن من فعل ذلك، فستظل محدودة بالمهام التي تكون فيها التعليمات مثالية، تاركة الطبيعة التفاعلية والمعقدة للإشارة البشرية كتحدٍ لم يتمكنوا من حله بعد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.