💻 computer science

Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting

تقدم هذه الورقة WS-COC، وهو أول إطار عمل للعد الكائني غير المرتبط بفئة محددة يعتمد على نماذج اللغات الكبيرة متعددة الوسائط (MLLM) ويتم توجيهه بضعف الإشراف، والذي يستخدم استراتيجيات ضبط الحوار القائم على التقسيم والتمييز، والتحسين القائم على المقارنة والترتيب، والتعزيز العالمي والمحلي لتحقيق أداء يضاهي الأساليب الخاضعة للإشراف الكامل مع تقليل تكاليف التوسيم بشكل كبير.

المؤلفون الأصليون: Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

نُشر 2026-02-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaowen Zhang, Zijie Yue, Yong Luo, Cairong Zhao, Qijun Chen, Miaojing Shi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم أمين مكتبة (النموذج اللغوي الكبير متعدد الوسائط - MLLM) ذكي ومطلع للغاية، كيف يعد الأشياء في صورة. هذا الأمين قد قرأ ملايين الكتب ويعرف ما هي "السيارة"، أو "الشخص"، أو "السمكة"، لكن لم يتم تعليمه صراحةً كيفية "العد" في وسط حشد.

إذا قدمت له صورة لملعب مزدحم وسألته فقط: "كم عدد الأشخاص هنا؟"، فقد يخمن الأمين "حوالي 50" لأن هذا رقم رآه في القصص، حتى لو كان هناك في الواقع 5,000 شخص. إنه بارع في فهم ماهية الأشياء، لكنه سيء في معرفة عددها، خاصة عندما تكون الأشياء متراصة بإحكام.

تقدم هذه الورقة طريقة جديدة تسمى WS-COC لإصلاح هذه المشكلة. فبدلاً من استئجار جيش من البشر لرسم نقطة صغيرة على كل شخص في كل صورة (وهو أمر مكلف وبطيء)، يعلم المؤلفون الأمين بعض الحيل الذكية باستخدام "تلميح ضعيف" فقط، وهو إجمالي عدد الأشخاص المكتوب على ظهر الصورة.

إليك كيف يفعلون ذلك، باستخدام ثلاث استراتيجيات بسيطة:

1. لعبة "تخمين النطاق" (التقسيم والتمييز - Divide-and-Discern)

المشكلة: مطالبة الأمين بتخمين الرقم الدقيق (مثلاً: "هل هو 1,243؟") أمر صعب للغاية. الأمر يشبه طلب تخمين ثانية محددة من ساعة دون النظر إلى عقاربها.
الحل: بدلاً من طلب الرقم الدقيق، يعلم المؤلفون الأمين لعب لعبة "أعلى أم أقل".

الجولة 1: "هل هناك أكثر من 1,000 شخص؟" (الأمين يقول: "نعم").
الجولة 2: "هل هناك أكثر من 500؟" (الأمين يقول: "نعم").
الجولة 3: "هل هناك أكثر من 250؟" (الأمين يقول: "لا").
الجولة 4: "هل هناك أكثر من 375؟" ... وهكذا.

من خلال تقسيم الرقم الكبير والمخيف إلى أسئلة أصغر وأسهل، يصبح الأمين أفضل وأفضل في تضييق نطاق الإجابة حتى يتمكن من إعطاء عدد دقيق للغاية. الأمر يشبه العثور على كنز مخفي من خلال التحقق مما إذا كان في النصف الشمالي، ثم النصف الجنوبي، ثم الربع الشرقي، إلخ.

2. سباق "من يملك أكثر؟" (المقارنة والترتيب - Compare-and-Rank)

المشكلة: أحياناً يرتبك الأمين لأن "العد" مفهوم رياضي، بينما "الرؤية" مفهوم بصري. من الصعب ترجمة صورة مباشرة إلى رقم.
الحل: بدلاً من السؤال "كم العدد؟"، يسأل المؤلفون الأمين عن مقارنة الصور.

يعرضون على الأمين أربع صور مختلفة للسيارات.
ويسألونه: "رتب هذه الصور من الصورة التي تحتوي على أقل عدد من السيارات إلى الصورة التي تحتوي على أكبر عدد".
الأمين بارع حقاً في رؤية أي كومة تبدو أكبر أو أصغر. من خلال ممارسة لعبة "الترتيب" هذه، يتعلم الأمين العلاقة بين الحشد البصري والرقم، مما يساعده على تخمين الأرقام الفعلية بشكل أفضل لاحقاً.

3. شبكة الأمان "التكبير" (العالمي والمحلي - Global-and-Local)

المشكلة: عندما يكون الحشد كثيفاً للغاية (مثل حشد في حفلة موسيقية صاخبة)، يميل الأمين إلى تقدير العدد بأقل من حقيقته. فهو يرى "ضباباً من الناس" ويفكر: "أوه، هذه مجرد مجموعة كبيرة"، بدلاً من عد الأفراد.
الحل: يعطي المؤلفون الأمين شبكة أمان من خطوتين.

الخطوة أ (الصورة الكبيرة): اطلب العدد الإجمالي للصورة بأكملة.
الخطوة ب (التكبير): إذا اعتقد الأمين أن الحشد ضخم، قم بتقسيم الصورة إلى أربعة مربعات أصغر (مثل البيتزا). اطلب من الأمين عد الأشخاص في كل مربع صغير على حدة.
المزيج السحري: أحياناً يقل التقدير في الصورة الكاملة، بينما يزداد في المربعات الصغيرة (لأنهم يرون حواف الأشخاص مرتين). ببساطة، يأخذ المؤلفون متوسط تخمين "الصورة الكبيرة" وتخمين "المربعات الصغيرة". الأمر يشبه أخذ خريطتين مختلفتين وأخذ متوسطهما للعثور على الموقع الحقيقي.

النتيجة

باستخدام هذه الحيل الثلاث، علم المؤلفون الأمين كيفية عد الأشياء في أي فئة (سيارات، أشخاص، أسماك، طيور) دون الحاجة إلى بشر لرسم نقاط على كل جسم على حدة.

قبل: كان الأمين جيداً مع الحشود المتفرقة ولكنه سيء جداً مع الحشود الكثيفة.
بعد: أصبح الأمين الآن قريباً جداً من مستوى الخبراء الأكثر تكلفة والمدربين بالكامل (الذين تطلبوا آلاف الساعات من رسم النقاط بواسطة البشر)، لكنه تعلم ذلك باستخدام تلميحات أبسط وأرخص بكثير.

باختاً: لم يجبروا الذكاء الاصطناعي على حفظ الإجابة؛ بل علموه كيف يفكر في عملية العد من خلال تفكيك المشكلات، ومقارنة المشاهد، والتحقق من عمله.

إليك ملخص تقني مفصل لورقة البحث "Bootstrapping MLLM for Weakly-Supervised Class-Agnostic Object Counting" (WS-COC)، المنشورة كأوراق بحثية في مؤتمر ICLR 2026.

1. بيان المشكلة

عدّ الأشياء (Object counting) هو مهمة أساسية في الرؤية الحاسوبية ذات تطبيقات في مراقبة حركة المرور، وتحليل الحشود، والفحص الصناعي.

قصور الأساليب الخاضعة للإشراف الكامل (Fully-Supervised): تعتمد الأساليب المتطورة عادةً على التعليقات التوضيحية على مستوى النقاط (تحديد كل كائن على حدة). وهذا أمر مجهد، ومكلف، وغير عملي في المشاهد الكثيفة حيث تحجب الأشياء بعضها البعض.
قصور أساليب الإشراف الضعيف الحالية (Weakly-Supervised): تستخدم الأساليب الحالية المعتمدة على الإشراف الضعيف فقط أعداد الصور (إجمالي عدد الأشياء) كإشراف. ومع ذلك، فهي تقتصر إلى حد كبير على العدّ لـ فئة واحدة فقط (مثل عدّ الأشخاص فقط) وتواجه صعوبة في العدّ غير المرتبط بفئة محددة (Class-agnostic) (عدّ أي فئات يتم تحديدها عبر النص).
قصور النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs): بينما توفر هذه النماذج واجهة قابلة للتحفيز بالنصوص للعدّ غير المرتبط بالفئة، إلا أنها تعاني من فجوة في الوسائط (Modality gap). فهي تؤدي بشكل جيد نسبيًا في المشاهد المتفرقة، لكنها تقلل بشكل كبير من تقدير الأعداد في المشاهد الكثيفة بسبب نقص التعرض لتوزيعات الأشياء الكثيفة أثناء مرحلة ما قبل التدريب. وغالبًا ما يفشل الضبط الدقيق المباشر لهذه النماذج لتقليل العدد (Regression) في سد هذه الفجوة.

2. المنهجية: WS-COC

يقترح المؤلفون WS-COC، وهو أول إطار عمل مدفوع بنماذج MLLM لـ العدّ غير المرتبط بالفئة تحت إشراف ضعيف. بدلاً من الضبط الدقيق المباشر لنموذج MLLM للتنبؤ بعدد عددي (وهو أمر صعب)، يقوم الإطار بـ "تعزيز" (Bootstrapping) النموذج باستخدام ثلاث استراتيجيات مبتكرة:

أ. ضبط الحوار القائم على التقسيم والتمييز (D3T)

المفهوم: بدلاً من مطالبة النموذج بالتنبؤ بالعدد الدقيق في خطوة واحدة، تتم إعادة صياغة المهمة إلى سلسلة من أسئلة الحكم على النطاق عبر حوار متعدد الجولات.
الآلية:
1. البدء بنطاق واسع (مثلاً، $[1, 2000]$ ).
2. سؤال الـ MLLM: "هل هناك أكثر من $\tau$ من الأشياء؟" حيث $\tau$ هي نقطة المنتصف.
3. بناءً على استجابة "نعم/لا"، يتم تضييق النطاق (مثلاً، إذا كانت الإجابة "نعم"، يصبح النطاق الجديد $[\tau+1, 2000]$ ).
4. تكرار العملية حتى يصبح النطاق صغيرًا بما يكفي، ثم طلب العدد النهائي.
الفائدة: يوجه نهج التعلم المنهجي (Curriculum learning) هذا نموذج MLLM من الاستدلال السهل (الخشن) إلى الاستدلال الصعب (الدقيق)، مما يخفف من صعوبة عملية التقليل المباشر (Direct regression).

ب. تحسين العدّ القائم على المقارنة والتصنيف (CRCO)

المفهوم: لمعالجة فجوة الوسائط بين الميزات البصرية عالية الأبعاد ورموز النصوص المنفصلة، يتم تدريب النموذج على فهم الترتيب النسبي بدلاً من القيم المطلقة.
الآلية:
1. أخذ العينات الطبقية: يتم تجميع الصور في مجموعات بناءً على أعدادها الحقيقية (مثلاً، متفرقة، متوسطة، كثيفة) لضمان تنوع العينات.
2. مهمة التصنيف: يُعرض على النموذج مجموعة من الصور (مثلاً، 4 صور) ويُطلب منه ترتيبها تصاعديًا حسب عدد الأشياء.
3. التحسين: يتم تدريب النموذج باستخدام خسارة نمذجة اللغة للتنبؤ بتسلسل التصنيف الصحيح.
الفائدة: تعلم الاختلافات النسبية أكثر بديهية بصريًا لنماذج MLYM من التنبؤ بالأرقام المطلقة، مما يساعد النموذج على استيعاب الوعي بالكمية.

ج. تعزيز العدّ العالمي والمحلي (GLCE)

المفهوم: استراتيجية استدلال وقت الاختبار لتصحيح التقدير الناقص المنهجي في المشاهد الكثيفة.
الآلية:
1. التنبؤ العالمي: استعلام MLLM عن العدد الإجمالي للصورة الكاملة ( $c_g$ ).
2. وضع العتبة: إذا كان $c_g$ أقل من عتبة معينة (مثلاً، 100)، يتم قبوله. إذا كان فوق ذلك، تُعتبر المشهد "كثيفًا".
3. التقسيم المحلي: تقسيم الصورة إلى شبكة (مثلاً، $2 \times 2$ ) واستعلام MLLM عن عدد كل صورة فرعية ( $c_k$ ).
4. الدمج: جمع الأعداد المحلية ( $c_l$ ). نظرًا لآثار الحواف، غالبًا ما تبالغ $c_l$ في التقدير، بينما تقلل $c_g$ من التقدير. التنبؤ النهائي هو متوسط $c_g$ و $c_l$ .
الفائدة: يستفيد هذا من الطبيعة التكاملية للسياق العالمي (التقليل من التقدير) والتفاصيل المحلية (المبالغة في التقدير بسبب تقسيم الحواف) لتحقيق دقة أعلى في الحشود الكثيفة.

3. المساهمات الرئيسية

أول إطار عمل غير مرتبط بالفئة تحت إشراف ضعيف: يعد WS-COC أول طريقة تحقق العدّ غير المرتبط بالفئة باستخدام الإشراف على مستوى الصورة فقط، مما يلغي الحاجة إلى التعليقات التوضيحية المكلفة على مستوى النقاط.
استراتيجيات تعزيز مبتكرة: إن تقديم D3T (تقليل النطاق القائم على الحوار)، وCRCO (التحسين القائم على التصنيف)، وGLCE (الدمج العالمي المحلي) يقلل بفعالية من الفجوة بين قدرات MLLM ومتطلبات العدّ الكثيف.
أداء يضاهي أحدث المعايسات (SOTA): يحقق الأسلوب أداءً مشابهًا أو أفضل من الأساليب الخاضعة للإشراف الكامل مع استخدام بيانات أقل بكثير.
الكفاءة: باستخدام تقنية LoRA (التكيف منخفض الرتبة) للضبط الدقيق، تم الحفاظ على تكلفة التدريب منخفضة رغم استخدام نماذج MLLM ضخمة.

4. النتائج التجريبية

تم تقييم الطريقة على أربعة معايير: FSC-147، وCARPK، وPUCPR+، وShanghaiTech.

الأداء على FSC-147:
- حقق WS-COC متوسط خطأ مطلق (MAE) للاختبار قدره 13.91، متفوقًا على النموذج المرجعي MLLM-Zero (38.19) والضبط الدقيق المباشر WS-COC-Base (21.08).
- تفوق على العديد من الأساليب المتطورة الخاضعة للإشراف الكامل (مثل CountGD و T2ICount) وتفوق بشكل كبير على أساليب الإشراف الضعيف الأخرى (مثل GCNet).
- الأداء في المشاهد الكثيفة: في المشاهد التي تحتوي على أكثر من 100 جسم، خفض WS-COC قيمة MAE من 149.69 (MLLM-Zero) إلى 54.37، وهو تحسن هائل.
التعميم عبر مجموعات البيانات:
- حقق WS-COC أفضل النتائج في PUCPR+ و ShanghaiTech (SHA) ونتائج تنافسية في CARPK و SHB، مما يدل على قدرة قوية على التعميم في المجالات غير المرئية.
دراسات الاستئصال (Ablation Studies):
- إزالة D3T زادت من MAE بنحو 3.2.
- إزالة CRCO زادت من MAE بنحو 2.8.
- إزالة GLCE زادت من MAE بنحو 1.8.
- الاستراتيجيات تعزز بعضها البعض وهي ضرورية للأداء النهائي.
كفاءة التكلفة:
- استغرق وقت التدريب 3.44 ساعة فقط على وحدة NVIDIA L20 GPU، وهو أقل بكثير من الأساليب القائمة على الانتشار (Diffusion) الخاضعة للإشراف الكامل (على سبيل المثال، استغرق CountGD حوالي 11.73 ساعة).

5. الأهمية

تمثل هذه الورقة خطوة كبيرة للأمام في الرؤية الحاسوبية الفعالة. من خلال الاستفادة من قدرات الاستدلال لنماذج MLLM وتصميم استراتيجيات تدريب واستدلال محددة (D3T، CRCO، GLCE)، يوضح المؤلفون أن الإشراف الضعيف (الأعداد على مستوى الصورة) كافٍ لتدريب نماذج تضاهي الأساليب الخاضعة للإشراف الكامل (النقاط).

الأثر العملي: يقلل هذا بشكل كبير من التكلفة والوقت المطلوبين لنشر أنظمة عد الأشياء في السيناريوهات الواقعية (مثل عد السيارات في مواقف السيارات أو الأشخاص في الحشود) حيث يكون الحصول على تعليقات توضيحية دقيقة للغاية أمرًا غير ممكن.
الرؤية النظرية: تسلط الضوء على أن نماذج MLLM تمتلك قدرات عد كامنة يمكن إطلاقها ليس عبر التراجع بالقوة الغاشمة (Brute-force regression)، ولكن من خلال مواءمة عمليات الاستدلال الخاصة بها (الحوار، التصنيف، التفكيك) مع طبيعة مهمة العدّ.