GroundCount: Grounding Vision-Language Models with Object Detection for Mitigating Counting Hallucinations
يقترح GroundCount إطار عمل يعزز نماذج الرؤية واللغة من خلال التثبيت المكاني الصريح من نماذج كشف الأشياء للحد بشكل كبير من هلاوس العد، مبرهناً أن التكامل القائم على المطالبات المهيكلة يتفوق على دمج مستوى الميزات ويحقق تحسينات متسقة في الدقة عبر معظم البنيات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً ومطلعاً جداً (لنسمّه نموذج الرؤية واللغة - VLM). هذا المساعد بارع في النظر إلى صورة وكتابة قصة عنها؛ يمكنه إخبارك بمزاج المشهد، ووصف الألوان، وحتى تخمين مشاعر الناس.
لكن هناك شيء واحد هو سيء جداً فيه: العدّ.
إذا عرضت عليه صورة بها خمس تفاحات، فقد يقول بثقة: "أرى ثلاث تفاحات"، أو "ربما هناك سبع". قد يتشتت انتباهه بأفكاره الخاصة والقصة التي يحاول سردها، فيفقد تتبع العدد الفعلي للأشياء. الأمر يشبه بروفيسوراً عبقرياً يمكنه كتابة مقال رائع، لكنه ينسى باستمرار عدّ الصفحات.
هذه الورقة البحثية، التي تحمل عنوان GroundCount، تقدم حلاً لإصلاح هذه المشكلة تحديداً.
المشكلة: الخبير "الحالم"
وجد الباحثون أن حتى مساعدي الذكاء الاصطناعي الأكثر تقدماً (النماذج "الأحدث في مجالها") يعانون في عد الأشياء. فهم يرتبكون بالتفاصيل البصرية ويعتمدون أكثر مما ينبغي على ما "يعتقدون" أنه يجب أن يكون موجوداً، بدلاً مما هو موجود بالفعل. وهذا ما يسمى بالهلوسة (Hallucination).
الحل: "الراصد ذو العين الصقرية"
لإصلاح ذلك، قام المؤلفون بدمج "الخبير الحالم" (VLM) مع أداة متخصصة تسمى نموذج كشف الأشياء (ODM). فكر في الـ (ODM) كأنه حارس أمن شديد التركيز أو راصد آلي.
- الراصد (ODM): هذه الأداة ليست مبدعة جداً، لكنها بارعة للغاية في شيء واحد: إيجاد الأشياء. تقوم بمسح الصورة وتقول: "أرى كلباً هنا، وقطة هناك، وطائرين هناك". ترسم صناديق غير مرئية حولهم وتعطيهم درجة ثقة (مثلاً: "متأكد بنسبة 99% أن هذا كلب").
- الخبير (VLM): هو القاصّ الذكي الذي عادة ما يفشل في العدّ.
كيف يعملان معاً: خدعة "التأسيس" (Grounding)
تقترح الورقة ثلاث طرق لجعل هذين الاثنين يعملان معاً، لكن الأفضل بينها بسيط بشكل مفاجئ.
1. طريقة "ورقة الغش" (الخطة أ - الفائزة)
بدلاً من محاولة إعادة بناء عقل الخبير، اكتفى الباحثون بتقديم ورقة غش له.
- أولاً، يقوم الراصد بالنظر إلى الصورة ويكتب قائمة: "كلب واحد في أسفل اليسار، قطتان في أعلى اليمين".
- بعد ذلك، يتم تغذية الخبير بهذه القائمة جنباً إلى جنب مع الصورة.
- يقرأ الخبير القائمة، وينظر إلى الصورة للتحقق، ثم يقول: "آه، القائمة تقول قطتين. أنا أراهما أيضاً. الإجابة هي اثنتان".
لماذا هذا مذهل:
- إنه سريع: يعمل الراصد في لمح البصر.
- يوقف "أحلام اليقظة": لأن الحقائق أمام الخبير مباشرة، فهو لا يضيع وقته في التخمين أو إعادة التحقق من الصورة بلا نهاية.
- إنه دقيق: قفزت الدقة من حوالي 75% إلى أكثر من 81%.
2. طريقة "جراحة الدماغ" (الخطة ب - دمج الميزات)
حاول الباحثون أيضاً نهجاً أكثر تعقيداً: ربط دماغ الراصد بدماغ الخبير مباشرة على المستوى العصبي. حاولوا جعل الخبير "يشعر" ببيانات الراصد.
- النتيجة: كان الأمر أشبه بمحاولة تعليم سمكة الطيران عن طريق تركيب أجنحة لها. كان الأمر معقداً، وتطلب الكثير من التدريب، بل وأدى في الواقع إلى أداء أسوأ من مجرد إعطاء الخبير ورقة غش. لم يستطع "الدماغان" التحدث بنفس اللغة بشكل جيد بما يكفي.
3. الطريقة "الهجينة" (الخطة ج)
حاولوا القيام بكل من "ورقة الغش" و"جراحة الدماغ". كانت النتيجة جيدة، لكن "ورقة الغش" البسيطة (الخطة أ) ظلت هي البطلة.
النقاط الجوهرية (لحظات "وجدتها!")
- الأقل هو الأكثر: وجد الباحثون أن إعطاء الخبير معلومات كثيرة جداً (مثل التخمينات ذات الثقة المنخفضة من الراصد) يربكه في الواقع. من الأفضل إعطاؤه قائمة قصيرة وعالية الجودة بدلاً من قائمة طويلة وفوضوية.
- الموقع مهم: إخبار الخبير أين توجد الأشياء (مثل "أعلى اليسار") يساعد النماذج الأكثر ذكاءً، لكنه يربك النماذج الأضعف.
- "الراصد" جيد بالفعل: كان بإمكان الراصد (نموذج كشف الأشياء) في الواقع عد الأشياء بمفرده بدقة 73%. ولكن عند دمج قدرته مع قدرة الخبير على الاستنتاج، حصل الفريق على دقة 81%. الخبير يضيف "السياق" (فهم المشهد)، بينما يضيف الراصد "الحقائق" (العدد).
الصورة الكبيرة
تعلمنا هذه الورقة أن أفضل طريقة لإصلاح ذكاء اصطناعي ذكي ليست دائماً بجعله أكثر ذكاءً أو أكثر تعقيداً. أحياناً، تحتاج فقط إلى إعطائه زوجاً ثانياً من العيون يكون بارعاً حقاً في المهمة المحددة التي يفشل فيها.
من خلال الجمع بين ذكاء اصطناعي مبدع وقادر على الاستنتاج، وذكاء اصطناعي دقيق في العدّ، خلقوا فريقاً موثوقاً، سريعاً، وأقل عرضة لارتكاب أخطاء العدّ السخيفة. وهذه خطوة كبيرة نحو استخدام الذكاء الاصطناعي في مهام العالم الحقيقي مثل إدارة المخزون، مساعدة المكفوفين، أو الأدوات التعليمية حيث يهم الحصول على الرقم الصحيح فعلياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.