💻 computer science

CountEx: Fine-Grained Counting via Exemplars and Exclusion

يُعد CountEx إطار عمل تمييزي جديد للعد البصري يستفيد من مطالبات التضمين والاستبعاد متعددة الوسائط، إلى جانب وحدة صقل الاستعلام التمييزي، لعد الأشياء بدقة في المشاهد المزدحمة عن طريق كبح المشتتات المتشابهة بصرياً بشكل صريح، وهو ما تم التحقق منه بواسطة معيار CoCount الجديد.

المؤلفون الأصليون: Yifeng Huang, Gia Khanh Nguyen, Minh Hoai

نُشر 2026-02-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifeng Huang, Gia Khanh Nguyen, Minh Hoai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك في حفلة صاخبة، وطلب منك صديقك أن تعد كم شخصاً يرتدي قبعات حمراء.

في الماضي، إذا حاولت القيام بذلك، قد تعدّ الأشخاص الذين يرتدون قبعات وردية أو برتقالية عن طريق الخطأ لأنها تبدو متشابهة جداً. سينتهي بك الأمر برقم أعلى من الحقيقي. هذه هي المشكلة التي تواجهها معظم أنظمة الرؤية الحاسوبية الحالية: فهي بارعة في إيجاد "الأشياء الحمراء"، لكنها تعاني عندما تحتاج لقول: "عُدّ القبعات الحمراء، ولكن تجاهل الوردية منها".

تقدم هذه الورقة البحثية نظاماً جديداً يسمى CountEx يحل هذه المشكلة. إليك كيف يعمل، مشروحاً ببساء:

1. المشكلة: "الزحام المربك"

نماذج الذكاء الاصطناعي الحالية تشبه ضيفاً في الحفلة يستمع فقط للجزء الأول من جملتك. إذا قلت له "عُدّ القبعات الحمراء"، سيبدأ في عدّ كل شيء أحمر. إذا كانت الغرفة مليئة بقبعات حمراء ووردية وبرتقالية، فسيصاب بالارتباك ويعدّ الأشياء الخاطئة. إنهم يفتقرون إلى القدرة على قول: "مهلاً، أنا لا أريد الوردية".

2. الحل: "المصفاة الذكية" (CountEx)

CountEx يشبه ضيفاً ذكياً جداً في الحفلة يستمع إلى الجملة كاملة. يمكنك أن تقول: "عُدّ القبعات الحمراء، وليس الوردية".

للقيام بذلك، يستخدم CountEx أداتين رئيسيتين:

قائمة "نعم": وصف أو صورة لما تريده (مثلاً: "قبعات حمراء").
قائمة "لا": وصف أو صورة لما لا تريده (مثلاً: "قبعات وردية").

3. كيف يعمل: تشبيه "المنخل والإسفنجة"

يحدث السحر داخل وحدة خاصة تسمى Discriminated Query Refinement (DQR). فكر في هذه العملية كأنها وصفة مطبخ مكونة من ثلاث خطوات:

الخطوة 1: الأرضية المشتركة (الميزات المشتركة)
تخيل أن لديك حقيبة من القبعات الحمراء وحقيبة من القبعات الوردية. أولاً، ينظر CountEx إلى كلتا الحقيبتين ويقول: "حسناً، كلتاهما قبعات. كل منهما له حافة وتاج". إنه ينشئ "نموذج قبعة مشترك". هذا يضمن أن الذكاء الاصطناعي لن ينسى أنه يبحث عن قبعات على الإطلاق.
الخطوة 2: الاختلاف (الميزات الحصرية)
بعد ذلك، ينظر إلى قائمة "لا" (القبعات الوردية) ويتساءل: "ما الذي يجعل هذه تحديداً وردية وليست حمراء؟" إنه يعزل "اللون الوردي" ويضعه في دلو منفصل. إنه يتجاهل "صفة القبعة" ويركز فقط على "اللون الوردي".
الخطوة 3: التصفية (الكبح الانتقائي)
الآن، يعود إلى قائمة "نعم" (القبعات الحمراء). يأخذ دلو "اللون الوردي" ويستخدمه مثل المنخل أو الإسفنجة. يقوم بضغط "اللون الوردي" بلطف خارج القبعات الحمراء.
- إذا كانت القبعة حمراء حقاً، فإن الإسفنجة لا تمتصها.
- إذا كانت القبعة في الواقع وردية (لكن الذكاء الاصطناعي ظن أنها حمراء)، فإن الإسفنجة تمتصها وتزيلها من العدّ.

النتيجة؟ قائمة نظيفة تحتوي فقط على القبعات الحمراء، مع استبعاد القبعات الوردية تماماً.

4. الملعب الجديد: CoCount

لتعليم هذا النظام كيفية القيام بذلك، بنى المؤلفون ساحة تدريب جديدة تسمى CoCount.

بيانات التدريب القديمة: كانت مثل فصل دراسي حيث يرتدي كل الطلاب قمصاناً حمراء. تعلم الذكال الاصطناعي عدّ القمصان الحمراء، لكن لم يكن عليه أبداً التعامل مع القمصان الوردية.
CoCount: هو مثل فصل دراسي يحتوي على 97 زوجاً مختلفاً من التوائم المربكين (مثل البراغي السوداء مقابل البراغي الفضية، المعكرونة المستقيمة مقابل المعكرونة المتعرجة). يجب على الذكاء الاصطناعي أن يتعلم التمييز بينهما في كل مرة.

5. لماذا يهم هذا؟

قبل هذا، إذا طلبت من ذكاء اصطناعي عدّ "رقائق بوكر بيضاء" في كومة من "رقائق البوكر الزرقاء"، فمن المرجح أن يعدّ الزرقاء أيضاً، مما يعطيك إجابة خاطئة.

مع CountEx، يمكنك أن تكون دقيقاً. يمكنك أن تقول: "عُدّ الرقائق البيضاء، وليس الزرقاء"، وسيفهم الذكاء الاصطناعي الفرق. إنها خطوة كبيرة للأمام لأشياء مثل:

التصوير الطبي: عدّ الخلايا السليمة مع تجاهل الخلايات المريضة التي تبدو مشابهة لها.
التحكم في الحشود: عدّ الأشخاص الذين يرتدون زيّاً أحمر مع تجاهل الأشخاص الذين يرتدون زياً أزرق.
التسوق: عدّ أنواع معينة من الفاكهة (مثل تفاح Granny Smith) مع تجاهل تفاح Red Delicious في نفس السلة.

باختصار: يمنح CountEx الذكاء الاصطناعي القدرة على قول "لا" بوضوح كما يقول "نعم"، مما يجعله أكثر ذكاءً في عد الأشياء في المشاهد الفوضوية والمعقدة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "CountEx: العد الدقيق عبر النماذج الاسترشادية والاستبعاد".

1. بيان المشكلة

يعد عد الأجسام المرئية مهمة أساسية في الرؤية الحاسوبية، لكن الأساليب الحالية تعاني في عمليات العد دقيق التفاصيل (fine-grained counting) في المشاهد المزدحمة التي تحتوي على فئات متعددة من الأجسام الموجودة معاً.

قصور الأساليب الحالية: تعتمد معظم أساليب الحالة الراهنة (SOTA) القائمة على التلميحات (مثل CLIP-Count وCountGD) على تلميحات الاحتواء (inclusion prompts) (تحديد ما يجب عده). وهي تفتقر إلى آليات لتحديد الاستبعاد (exclusion) بشكل صريح (ما يجب تجاهله).
التحدي الجوهري: في المشاهد التي تحتوي على مشتتات متشابهة بصرياً (مثل "معكرونة بيني" مقابل "معكرونة حلزونية"، أو "عملات سوداء" مقابل "عملات فضية")، غالباً ما تسيء النماذج تفسير قصد المستخدم، مما يؤدي إلى الإفراط في عد الفئات المتشابهة أو التحيز للفئة المهيمنة.
الحلول الساذجة تفشل: إن مجرد طرح عدد الأمثلة السلبية من الأمثلة الإيجابية هو أمر غير فعال لأنه يتجاهل السياق العلاقاتي والسمات البصرية المشتركة بين فئات الهدف والمشتت.

2. المنهجية: إطار عمل CountEx

يقترح المؤلفون CountEx، وهو إطار عمل للعد المرئي التمييزي يقوم بالاستدلال المشترك عبر تلميحات الاحتواء والاستبعاد باستخدام تلميحات متعددة الوسائط (اللغة الطبيعية والنماذج الاسترشادية البصرية الاختيارية).

أ. البنية الأساسية

يبني CountEx على كاشف مفتوح المفردات قائم على الاستعلام (تحديداً LLMDet). وهو يعالج الصورة المدخلة $I$ جنباً إلى جنب مع:

التلميح الإيجابي ( $T_{pos}, E_{pos}$ ): نص و/أو صناديق إحاطة للأجسام المراد عدها.
التلميح السلبي ( $T_{neg}, E_{neg}$ ): نص و/أو صناديق إحاطة للأجسام المراد استبعادها.

يولد إطار العمل مجموعتين منفصلتين من الاستعلامات:

$Q_{pos}$ : مشفرة من التلميحات الإيجابية.
$Q_{neg}$ : مشفرة من التلميحات السلبية.

ب. وحدة صقل الاستعلام التمييزي (DQR)

الجوهر المبتكر لـ CountEx هو وحدة DQR، التي تعمل على صقل $Q_{pos}$ عن طريق كبح الأنماط المشتتة دون فقدان سمات الهدف. وهي تعمل عبر ثلاث مراحل:

تحديد السمات المشتركة:
- يتعلم النموذج تمثيلات نموذجية (prototypes) عددها $r$ (يرمز لها بـ $C$ ) عبر الانتباه المتقاطع (cross-attention) فوق $[Q_{pos}; Q_{neg}]$ المدمجة.
- تلتقط هذه النماذج النموذجية السمات البصرية المشتركة بين الفئتين (مثل الشكل والملمس لـ "المعكرونة" أو "العملات").
- دوال الخسارة: تضمن "خسارة القابلية للمشاركة" (shareability loss) تطابق النماذج النموذجية مع كلا المجموعتين، بينما تمنع "خسارة التنوع" (diversity loss) انهيار النموذج (prototype collapse).
استخراج السمات الحصرية:
- يحدد النموذج الاستعلامات في $Q_{neg}$ الأكثر بعداً عن فضاء السمات المشتركة (عالية الحصرية).
- يقوم النموذج بإسقاط هذه الاستعلامات على الفضاء الفرعي المشترك واستخراج البواقي (residuals). تمثل هذه البواقي السمات الفريدة للفئة السلبية (مثل اختلافات اللون أو الشكل المحددة) التي لا تشترك فيها الفئة الإيجابية.
- ينشئ هذا مجموعة مدمجة من المراجع الحصرية للسلبيات ( $R_{neg}$ ).
صقل الاستعلام الانتقائي:
- يتم صقل $Q_{pos}$ باستخدام الانتباه المتقاطع مقابل $R_{neg}$ .
- يسمح اتصال البواقي المبوّب (gated residual connection) للنموذج بكبح السمات في $Q_{pos}$ التي تتوافق مع $R_{neg}$ بشكل تكيفي.
- النتيجة: تحتفظ الاستعلامات المصقولة ( $\tilde{Q}_{pos}$ ) بهوية الكائن المستهدف مع إزالة الأنماط الخاصة بالمشتت، مما يتيح عدّاً دقيقاً.

C. هدف التدريب

يتم تدريب النموذج من البداية إلى النهاية (end-to-end) باستخدام خسارة متعددة المكونات:

التصنيف والتحديد الموضعي: خسارة التركيز (focal loss) القياسية وخسارة L1 لتوقع صناديق الإحاطة/النقاط.
توقع الكثافة: فرع إشراف كثيف باستخدام خرائط كثافة ذات حقيقة أرضية زيفة (pseudo ground-truth) باستخدام نوى غاوسية لتحسين الوعي المكاني.
تعلم النماذج النموذجية: الخسائر الموصوفة في وحدة DQR ( $L_{share}$ و $L_{div}$ ).

3. المساهمات الرئيسية

صياغة المهمة: تصيغ الورقة العد المرئي مع تلميحات استبعاد صريحة، مما يسمح للمستخدمين بتحديد ما يجب عده وما يجب تجاهله عبر النص والنماذج الاسترشادية البصرية.
بنية CountEx: إطار عمل مبتكر يتميز بوحدة صقل الاستعلام التمييزي (DQR)، التي تعزل بفعالية السمات الحصرية للسلبيات لصقل استعلامات العد دون طرح ساذج.
مجموعة بيانات CoCount: معيار جديد مصمم خصيصاً للعد دقيق التفاصيل مع الاستبعاد.
- النطاق: 1,780 فيديو و10,086 إطاراً موسوماً.
- المحتوى: 97 زوجاً من الفئات (سواء كانت متغيرات بين الفئات أو داخل الفئة الواحدة، مثل "فلفل أسود مقابل فلفل أبيض").
- التصميم: يتضمن أجساماً مشتتة وتغيرات محكومة في العدد لاختبار الاستدلال على قصد الاحتواء والاستبعاد.

4. النتائج التجريبية

قيم المؤلفون CountEx على CoCount وعدة معايير خارجية:

أداء CoCount:
- إعداد الفئة الجديدة (Zero-shot): حقق CountEx خطأ متوسط مطلق (MAE) قدره 26.61، متفوقاً على LLMDet الأساسي (33.22 MAE) بتقليل الخطأ بنسبة 19.9%.
- إعداد الفئة المعروفة: حقق CountEx خطأ متوسط مطلق (MAE) قدره 12.72، متفوقاً على أفضل خط أساس (CountGD) بنسبة 18%.
- دراسات الاستئصال (Ablation Studies): أظهرت أن التلميحات النصية السلبية تقلل الخطأ بشكل كبير (على سبيل المثال، من 32.22 إلى 26.67 MAE في إعداد NC) وأن مكونات خسارة وحدة DQR حاسمة للأداء.
التعميم (Zero-shot Transfer):
- معيار LOOKALIKES: حقق CountEx خطأ متوسط مطلق (MAE) قدره 18.53، مسجلاً حالة رائدة (SOTA) جديدة للطرق التي تعمل بنظام Zero-shot. لقد تفوق بشكل كبير على CountGD (22.34) وGroundingDINO (33.89). ومن الجدير بالذكر أنه تفوق على الطرق التي تتطلب توليد بيانات اصطناعية لكل فئة وتكيفاً في وقت الاختبار.
- معيار PairTally: حقق CountEx أفضل أداء عبر جميع المقاييس (MAE و NAE)، متفوقاً على كل من العدادات المتخصصة سابقة التدريب ونماذج الرؤية واللغة العامة.
- FSC-147: عندما تم ضبطه بدقة (fine-tuned) للعد لفئة واحدة، حقق CountEx نتائج تنافسية (8.63 MAE)، متأخراً قليلاً عن CountGD المتخصص، ولكنه تفوق على العديد من الطرق الحديثة.

5. الأهمية والأثر

سد الفجوة: يعالج CountEx فجوة حرجة في الاستدلال البصري: القدرة على التعامل مع القيود السلبية في المشاهد المزدحمة والكثيفة. وهذا ينقل عملية العد من مجرد "ابحث وعد" إلى "ابحث، ميز، ثم عد".
تحكم المستخدم: من خلال السماح بالاستبعاد الصريح، يوفر إطار العمل تحكماً أكبر ويقلل من الغموض للمستخدم النهائي، مما يجعله أكثر عملية للتطبيقات الواقعية مثل إدارة المخزون أو التصوير الطبي حيث تهم الأنواع الفرعية المحددة.
المساهمة بمجموعة البيانات: يوفر تقديم CoCount أول معيار منهجي واسع النطاق لتقييم العد دقيق التفاصيل مع الاستبعاد، مما يعالج الانحياز في مجموعات البيانات السابقة التي غالباً ما تجاهلت التلميحات السلبية.
الكفاءة: على عكس الطرق المنافسة التي تتطلب توليد بيانات اصطناعية أو تكيفاً لكل فئة (يستغرق دقائق لكل فئة)، يتيح CountEx تفاعلية في الوقت الفعلي عبر تحديد التلميحات السلبية المباشرة أثناء الاستدلال.

القيود: يشير المؤلفون إلى أن النموذج يظهر حالياً "هيمنة النص الإيجابي" (الاعتماد المفرط على الأوصاف النصية) ويعاني من التلميحات الغامضة بسبب قيود مشفر اللغة القائم على BERT في استنتاج التفاصيل البصرية من الأوصاف المجردة.