💻 computer science

CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models

تقدم الورقة البحثية CounterCount، وهو إطار تشخيصي يكشف اعتماد نماذج الرؤية واللغة على الأوليات الموضوعية بدلاً من الأدلة البصرية في مهام العدّ المقابلة للواقع، وتقترح استراتيجية تعديل انتباه عند الاستدلال لتحسين دقتها بشكل كبير.

المؤلفون الأصليون: Reem Alzahrani, Hassan Alshanqiti, Bushra Bin Hemid, Zaid Alyafeai, Abdelrahman Eldesokey, Bernard Ghanem

نُشر 2026-05-19

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Reem Alzahrani, Hassan Alshanqiti, Bushra Bin Hemid, Zaid Alyafeai, Abdelrahman Eldesokey, Bernard Ghanem

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك ببغاءً ذكياً جداً ومطلعاً، قد حفظ ملايين الكتب عن العالم. تعرض عليه صورة لأرنب وتسأله: "كم أذناً لهذا الأرنب؟". ولأن الببغاء قد قرأ الكثير من القصص عن الأرانب، يجيب فوراً: "اثنتان!" دون أن ينظر حقاً إلى الصورة. إنه يعتمد على ذاكرته (ما يعتقد أنه يجب أن يكون عليه شكل الأرنب) بدلاً من عينيه (ما هو موجود بالفعل في الصورة).

الآن، تخيل أنك أخذت صورة الأرنب نفسها واستخدمت محرراً رقمياً لتمنحها أربع آذان. إذا سألت الببغاء مرة أخرى، فإن حيواناً شديد الملاحظة سيقول: "أربعة!". لكن هذا الببغاء الذكي، الذي لا يزال عالقاً في ذاكرته، يصر بعناد على قول: "اثنتان!". إنه يتجاهل الدليل البصري لأن "معرفته بالكتب" قوية جداً لدرجة أنها طغت على ما يراه.

هذه هي بالضبط المشكلة التي يبحث فيها بحث CounterCount.

المشكلة: صراع "الذكاء النظري" مقابل "العين"

وجد الباحثون أن نماذج الذكاء الاصطنيعي الحديثة (المسماة نماذج الرؤية واللغة) بارعة في القراءة والتحدث، لكنها غالباً ما تفشل في مهام العد البسيطة عندما تتعارض الصورة مع ما تعلمته من بيانات تدريبها. إنها تشبه ذلك الببغاء: فهي تثق في "كتاب قواعدها" الداخلي أكثر من الصورة الفعلية أمامها.

الحل: مجموعة اختبار تشخيصية

لإثبات ذلك، بنى الفريق مجموعة اختبار خاصة تسمى CounterCount.

الإعداد: قاموا بإنشاء أزواج من الصور. إحداها صورة عادية (مثلاً: سيارة بـ 4 عجلات). والأخرى صورة "مخالفة للواقع" حيث قاموا بتغيير جزء معين رقمياً (مثلاً: نفس السيارة الآن لديها 6 عجلات).
الاختبار: سألوا الذكاء الاصطناعي: "كم عدد العجلات في هذه السيارة؟".
النتيجة: أدى الذكاء الاصطناعي بشكل جيد في الصور العادية. ولكن في الصور الغريبة والمعدلة، غالباً ما فشل، متمسكاً بالإجابة "الطبيعية" (4) بدلاً من عد العجلات الفعلية (6). أثبت هذا أن الذكاء الاصطناعي كان يتجاهل الدليل البصري لصالح تحيزاته المسبقة.

"لماذا": الذكاء الاصطناه ينظر، لكنه لا يستمع

قد تعتقد أن الذكاء الاصطناعي يفشل لأنه لا يستطيع رؤية العجلات الإضافية. تعمق الباحثون أكثر ووجدوا أن الأمر ليس كذلك.

الاستعارة: تخيل أن الذكاء الاصطناعي طالب يؤدي اختباراً. الطالب ينظر إلى الجزء الصحيح من الرسم التوضيحي (العجلات)، لكن عقله مشتت بصوت عالٍ في رأسه يصرخ: "السيارات لها 4 عجلات!". الطالب يرى الـ 6 عجلات، لكن "الصوت العالي" (التحيز اللغوي) يغرق الإشارة البصرية.
الدليل: من خلال النظر في "خرائط الانتباه" الداخلية للذكاء الاصطناعي (والتي توضح ما يركز عليه الذكاء الاصطناعي)، رأى الباحثون أن الذكاء الاصطناعي كان ينظر بالفعل إلى العجلات. ومع ذلك، لم يكن يعطي تلك العجلات "وزناً ذهنياً" كافياً للتغلب على ذاكرته.

الإصلاح: رفع مستوى صوت "العين"

طور الباحثون حيلة ذكية تسمى تعديل الانتباه (Attention Modulation).

التشبيه: تخيل عقل الذكاء الاصطناعي كجهاز خلط أصوات (Mixer) يحتوي على العديد من المنزلقات. بعض المنزلقات تتحكم في "الدليل البصري" (الصورة)، وأخرى تتحكم في "الأولويات اللغوية" (الذاكرة).
الإجراء: قاموا بإنشاء طريقة لرفع "مستوى الصوت" يدوياً للمنزلقات التي تتحكم في الأجزاء المحددة من الصورة التي يتم عدها (مثل العجلات أو الآذان) وخفض "مستوى الصوت" للضوضاء الخلفية أو صوت "الذاكرة" المشتت.
النتيجة: عندما طبقوا "التحكم في الصوت" هذا أثناء إجابة الذكاء الاصطناعي، أصبح فجأة أفضل بكثير في عد الصور المعدلة. لقد تحسنت الدقة بنسبة تصل إلى 8%. لم يكن بحاجة إلى إعادة تدريب أو تعلم حقائق جديدة؛ بل احتاج فقط إلى أن يُقال له: "مهلاً، انظر بتركيز أكبر إلى ما تراه الآن حقاً".

الملخص

باختصاف، يوضح هذا البحث أن حتى أكثر نماذج الذكاء الاصطناعي ذكاءً يمكن أن تكون "عمياء" عن الواقع إذا كانت معرفتها الداخلية قوية جداً. لقد بنوا اختباراً لإثبات ذلك، ووجدوا أن النماذج كانت تنظر إلى الأشياء الصحيحة لكنها لا تستمع إليها، وقاموا بإصلاح ذلك عبر منح الدليل البصري صوتاً أعلى في عملية اتخاذ القرار لدى الذكاء الاصطناعي.

ملخص تقني: CounterCount: إطار تشخيصي لانحياز العد في نماذج الرؤية واللغة

بيان المشكلة
أظهرت نماذج الرؤية واللغة (VLMs) قدرات قوية في الاستدلال متعدد الوسائط، وذلك بشكل كبير من خلال الاستفيد من النماذج اللغوية الكبيرة (LLMs) كركائز نصية. ومع ذلك، لا يزال هناك غموض حرج: عندما يجيب نموذج الرؤية واللغة على سؤال بصري، هل يكون التنبؤ مستندًا إلى الأدلة البصرية المحددة، أم أنه مدفوع بالانتظامات الإحصائية و"الأولويات النموذجية" (canonical priors) المستقاة من مجموعات النصوص؟ تظهر هذه المسألة بوضوح شديد في مهام العد. فبينما يبدو العد مهمة بسيطة، إلا أنه يتطلب من النماذج تحديد الكيانات، وتمييزها عن المشتتات، وتجميع الأدلة البصرية. غالبًا ما تعاني نماذج الرؤية واللغة الحالية من مشاكل في العد، وتشير التحليلات السابقة إلى أنه حتى عندما توجه النماذج انتباهها إلى الكائنات ذات الصلة، فقد تفشل في استخدام تلك الأدلة بشكل صحيح، وتعتمد بدلاً من ذلك على المعرفة النموذجية (على سبيل المثال، افتراض أن الأرنب له أذنان بغض النظر عن محتوى الصورة). غالبًا ما تخلط الاختبارات المرجعية الحالية بين أخطاء العد وعوامل أخرى مثل انحياز المطالبة (prompt bias) أو الغموض الدلالي، مما يجعل من الصعب عزل الإخفاقات المدفوعة تحديدًا بالصراع بين الأدلة البصرية والأولويات اللغوية.

المنهجية
لمعالجة ذلك، قدم المؤلفون CounterCount، وهو إطار تشخيصي مصمم لعزل الصراعات بين الأدلة البصرية وأولويات العد على مستوى الكائن.

بناء مجموعة البيانات:
- الأزواج الواقعية والمضادة للواقع (Counterfactual Pairs): تتكون مجموعة البيانات من 168 زوجًا من الصور (إجمالي 336 صورة) تغطي 10 فئات دلالية (مثل الثدييات، وسائل النقل، العملات). يتضمن كل زوج صورة "واقعية" ذات سمات نموذجية للكائن، وصورة "مضادة للواقع" (CF) حيث يتم تغيير سمة مرتبطة بالعد (مثل عدد الآذان، أو العجلات، أو الشفرات) بشكل منهجي باستخدام نماذج تحرير الصور (Nano-Banana Pro).
- التحديد الموضعي (Localization): على عكس الاختبارات المرجعية القياسية، يوفر CounterCount تسميات على مستوى المنطقة. لكل صورة مضادة للواقع (CF)، يقوم المؤلفون بتوليد أقنعة تجزئة (segmentation masks) وصناديق إحاطة (BBs) للسمات المعدلة. يتم تعيين هذه الصناديق إلى شبكة الرموز البصرية للمشفر البصري لإنشاء مناطق "Mask-BB"، مما يعزل الرموز البصرية المحددة المطلوبة للعد.
- تنسيقات التقييم: يتم تقييم كل حالة باستخدام مطالبات مفتوحة النهايات (OE) وأسئلة اختيار من متعدد (MCQ) مع مشتتات متوازنة للتمييز بين أخطاء العد العامة والأخطاء المدفوعة بالأولويات.
التحليل التشخيصي:
- يقيم المؤلفون نماذج الرؤية واللغة الحديثة مفتوحة الأوزان (Qwen3-VL, Gemma3) ونموذجًا مغلق المصدر (Claude-haiku-4.5).
- يحللون آليات الانتباه لتحديد ما إذا كانت الإخفاقات ناتجة عن نقص في التحديد الموضعي أم فشل في وزن الأدلة المحددة موضعيًا. تشير النتائج إلى أنه بينما تولي النماذج غالبًا اهتمامًا للمناطق ذات الصلة، فإنها تقلل من وزن هذه الرموز مقارنة بالخلفية أو السياق غير ذي الصلة أثناء الاستدلال.
استراتيجية التدخل:
- يقترح البحث استراتيجية "تعديل الانتباه الموحد في وقت الاستدلال" (Unified Inference-Time Attention Modulation). تعمل هذه الطريقة على لوغاريتمات الانتباه الخام (attention logits) للركيزة اللغوية الكبيرة قبل طبقة الـ softmax.
- تسمح هذه الطريقة بتضخيم ( $\alpha > 1$ )، أو كبح ( $0 < \beta < 1$ )، أو حجب ( $\beta = 0$ ) مجموعات محددة من الرموز البصرية (الهدف) مع إضعاف رموز الخلفية في الوقت نفسه.
- توحد هذه الصيغة مختلف التدخلات (التضخيم، الكبح، الحجب) في مساحة مستمرة واحدة لتعديل اللوغاريتمات، مما يسمح بإعادة توازن مستهدفة لمساهمات الوسائط دون الحاجة لإعادة التدريب.

المساهمات الرئيسية

مجموعة بيانات CounterCount: مجموعة بيانات تشخيصية محكومة تتميز بأزواج من الصور الواقعية والمضادة للواقع مع تسميات محلية (أقنعة وصناديق إحاطة) مصممة خصيصًا لاختبار التأسيس البصري مقابل الأولويات النموذجية.
الرؤية التشخيصية: أدلة تجريبية تظهر أن نماذج الرؤية واللغة تحقق أداءً قويًا على الصور الواقعية ولكنها تعاني من انخفاض مستمر في الدقة على الصور المضادة للواقع. وهذا يؤكد الاعتماد على الأولويات على مستوى الكائن حتى عند وجود أدلة بصرية متناقضة.
تحليل الانتباه: إثبات أن إخفاقات العد ليست ناتجة فقط عن فقدان الأدلة البصرية أو ضعف التحديد الموضعي؛ بل إن النماذج تولي اهتمامًا للمناطق ذات الصلة ولكنها تفشل في وزن هذه الرموز بشكل كافٍ مقابل الأولويات اللغوية وضجيج الخلفية.
تدخل بدون تدريب: استراتيجية تعديل انتباه موحدة تحسن دقة العد في الحالات المضادة للواقع بنسبة تصل إلى 8% عبر نماذج متعددة من خلال إعادة وزن الرموز البصرية ذات الصلة بالعد أثناء الاستدلال.

النتائج

انخفاض الأداء: في الصور الواقعية، تحقق النماذج دقة عالية (على سبيل المثال، Qwen3-VL-32B: ~87%، Gemma3: ~66–81%). ومع ذلك، في الصور المضادة للواقع، تنخفض الدقة بشكل كبير (على سبيل المثال، Qwen3-VL-32B: ~48%، Gemma3: ~34–38%)، مع معدلات عالية من الانحياز نحو العدد النموذجي.
فعالية التعديل: يؤدي تطبيق تعديل الانتباه (تحديدًا تضخيم الرموز المستهدفة وإضعاف/حجب الخلفية) إلى تحسين دقة العد في الحالات المضادة للواقع. على سبيل المثال، شهد نموذج Qwen3-VL-32B تحسنًا بنسبة 8.26% في دقة الأسئلة مفتوحة النهايات.
تقليل الانحياز: نجح التدخل في نقل التنبؤات بعيدًا عن الأولويات النموذجية نحو الأدلة البصرية، مما قلل من معدل الانحياز في عدة إعدادات.
التعميم: تظل النتائج ثابتة عبر مقاييس النماذج المختلفة (من 4B إلى 32B) وكلا البنيتين (مفتوحة الأوزان ومغلقة المصدر)، مما يشير إلى وجود مشكلة نظامية في استدلال نماذج الرؤية واللغة الحالية.
الاستقرار الواقعي: لا تؤدي استراتيجيات التعديل عمومًا إلى تدهور الأداء في الصور الواقعية، بل في بعض الحالات تحسن الأداء، مما يشير إلى أن الطريقة تعزز التركيز على الرموز ذات الدلالة دون الإضرار بالفهم العام.

الأهمية
يزعم البحث أن CounterCount يكشف عن فشل استدلال مستمر في نماذج الرؤية واللغة الحالية، حيث تكون تنبؤات العد مدفوعة بالمعرفة المسبقة بدلاً من الأدلة البصرية، حتى عندما تكون الأدلة البصرية صريحة ومحددة موضعيًا. تكمن الأهمية في:

عزل نمط الفشل: توفير بيئة محكومة للتمييز بين القيود الإدراكية وعدم التوازن بين الوسائط (عدم استخدام الأدلة البصرية لصالح الأولويات اللغوية).
الرؤية الآلية: إظهار أن الإخفاقات لا تحدث لأن النماذج لا تستطيع "رؤية" العدد، بل لأنها تفشل في منح الأولوية للرموز البصرية المرتبطة بالعدد أثناء عملية الاستدلال.
التوجيه التصميمي: تقديم آلية في وقت الاستدلال لا تتطلب تدريبًا لاستكشاف وتخفيف هذه الانحيازات، مما يوفر مسارًا لتصميم نماذج رؤية ولغة مستقبلية ذات تأسيس بصري أقوى. ويشير المؤلفون إلى أنه بينما يحسن التدخل الدقة، فإنه لا يقضي تمامًا على الانحياز، مما يشير إلى أن التغييرات الهيكلية الأعمق قد تكون مطلوبة لتحقيق تأسيس بصري قوي.