🤖 AI

LVLM-COUNT: Enhancing the Counting Ability of Large Vision-Language Models

تقترح هذه الورقة طريقة LVLM-COUNT، وهي منهجية مرجعية تعتمد على مبدأ "فرق تسد" لتعزيز قدرة النماذج اللغوية البصرية الكبيرة على عد أعداد كبيرة من الأشياء من خلال تفكيك المهام ومنع تقسيم الأشياء لتجنب العد المتكرر.

المؤلفون الأصليون: Muhammad Fetrat Qharabagh, Mohammadreza Ghofrani, Kimon Fountoulakis

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muhammad Fetrat Qharabagh, Mohammadreza Ghofrani, Kimon Fountoulakis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة البحث LVLM-Count، باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: "أمين المكتبة المنهك"

تخيل أن لديك أمين مكتبة ذكي ومطلع للغاية (هذا هو نموذج اللغة والرؤية الكبير، أو LVLM). يمكن لأمين المكتبة هذا قراءة كتاب، أو النظر إلى صورة، وإخبارك بالضبط بما يحدث فيها. إنه بارع في فهم القصص المعقدة.

ومع ذلك، إذا سألته: "كم عدد التفاحات الحمراء في هذه السلة الضخمة؟" وكان هناك ثلاث تفاحات فقط، فسيجيب بشكل صحيح. ولكن إذا عرضت عليه سلة بها 300 تفاحة، فغالبًا ما سيصاب بالارتباك. قد يقول "298" أو "315".

لماذا؟ لأن نماذج الذكاء الاصطناعي الحالية بارعة في التعرف على الأشياء ولكنها سيئة جدًا في عدّ المجموعات الكبيرة. الأمر يشبه محاولة عدّ كل حبة رمل على الشاطئ بينما تنظر إلى الشاطئ بأكمله دفعة واحدة؛ حيث يصاب عقلك بالإرهاق والارتباك.

الحل: استراتيجية "فرق تسد"

أدرك مؤلفو هذا البحث أنه بدلًا من مطالبة أمين المكتبة بعدّ الشاطئ بأكمله دفعة واحدة، يجب أن نعطيه استراتيجية أفضل. وقد أطلقوا على طريقتهم اسم LVLM-Count.

فكر في الأمر كالتالي:

النهج التقليدي: تقدم لأمين المكتبة صورة لملعب مزدحم وتسأله: "كم عدد الأشخاص الذين يرتدون قبعات زرقاء؟". يضيق عينيه، ويشعر بالدوار، ثم يخمن بشكل خاطئ.
نهج LVLM-Count: تأخذ مقصًا وتقطع الصورة إلى قطع أصغر يمكن التعامل معها. تقدم لأمين المكتبة قطعة صغيرة واحدة وتسأله: "كم عدد القبعات الزرقاء هنا؟". ثم تفعل الشيء نفسه مع القطعة التالية. أخيرًا، تجمع كل الإجابات الصغيرة للحصول على المجموع الكلي.

يبدو هذا بسيطًا، ولكن هناك فخ كبير في هذه الخطة.

الفخ: "مشكلة بيتزا المقطعة"

إذا قمت فقط بقطع الصورة بخطوط مستقيمة (مثل تقطيع البيتزا)، فقد تقطع بالخطأ شخصًا يرتدي قبعة زرقاء إلى نصفين.

الخطأ: ينظر أمين المكتبة إلى الشريحة اليسرى ويرى "نصف قبعة". ينظر إلى الشريحة اليمنى ويرى "نصف قبعة" آخر. قد يعدهما كـ شخصين مختلفين بدلاً من شخص واحد. أو قد يرتبك ويفقد أحدهما تمامًا.

يُسمى هذا العد المزدوج أو التجزئة.

السر المبتكر: "القطع الواعي بالأجسام"

هنا تبرز الابتكارات الرئيسية للورقة البحثية. لم يستخدم المؤلفون مجرد مقصات مستقيمة، بل صنعوا آلة قطع ذكية.

رصد الأهداف: أولاً، يستخدم النظام "راصدًا" (نموذج كشف) لتحديد مكان القبعات الزرقاء بدقة.
رسم الخريطة: يقوم بإنشاء خريطة حيث تكون القبعات "عوائق" (مثل الصخور في النهر).
تحديد المسار: يستخدم النظام بعد ذلك خوارزمية لتحديد المسار (مثل نظام GPS الذي يجد طريقًا حول الازدحام المروري) لرسم خطوط القطع. تُجبر الخطوط على الدوران حول القبعات، ولا تمر أبدًا خلالها.

التشبيه: تخيل أنك تقطع كعكة، ولكن عليك تجنب قطع الكرز الموجود فوقها. تقوم بتحريك السكين بعناية بحيث تقطع الكعكة بين حبات الكرز، مما يضمن بقاء كل حبة كرز كاملة في قطعة واحدة من الكيك.

كيف يعمل الأمر خطوة بخلف خطوة

الاستماع: يقرأ الذكاء الاصطناعي سؤالك (على سبيل المثال: "عُد البيض البني").
التكبير: يقوم بقص الصورة لعرض المنطقة التي تحتوي على البيض فقط، متجاهلًا بقية المطبخ.
رسم خريطة البيض: يرسم حدودًا غير مرئية حول كل بيضة.
القطع الذكي: يرسم خطًا عبر الصورة، لكن الخط ينحني ويلتف ليمر بين البيض، ولا يقطع أي بيضة إلى نصفين أبدًا.
العد والجمع: يرسل هذه الصور الأصغر والأكثر أمانًا إلى أمين المكتبة (الذكاء الاصطناعي). يقوم أمين المكتبة بعدّ البيض في كل صورة صغيرة بسهولة. ثم يجمع النظام كل الإجابات للحصول على الإجابة النهائية.

لماذا يهم هذا الأمر؟

اختبرت الورقة البحثية هذه الطريقة على العديد من مجموعات البيانات الصعبة:

المشاهد المزدحمة: مثل مستعمرة بطاريق حيث تتكدس البطاريق فوق بعضها البعض.
الأجسام المعقدة: مثل عد رموز تعبيرية (Emojis) محددة تبدو متشابهة جدًا (مثل ساعة تظهر 2:30 مقابل 2:35).
وظائف العالم الحقيقي: مثل عد البراميل في مستودع أو الخلايا تحت المجهر.

النتيجة: لم يتحسن الذكاء الاصطناعي قليلاً فحسب، بل أصبح أفضل بشكل ملحوظ. لقد حول "المخمن المرتبك" إلى "عداد موثوق"، حتى بالنسبة لمئات الأجسام.

الخلاصة

تعلمنا هذه الورقة أنه عندما يعاني الذكاء الاصطناعي مع الأرقام الكبيرة، فنحن لا نحتاج بالضرورة إلى جعل الذكاء الاصطناعي "أذكى" (وهو أمر صعب ومكلف). بدلاً من ذلك، يمكننا جعل المهمة أسهل للذكاء الاصطناعي عن طريق تقسيم المشكلة والحرص على عدم كسر الأجسام التي نعدّها.

إنه الفرق بين طلب عد 500 عملة معدنية من صديق دفعة واحدة، وبين إعطائه صينية لفرزها في مجموعات من 10 عملات. الصديق هو نفسه، ولكن الطريقة هي التي تصنع الفارق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LVLM-Count: تعزيز قدرة نماذج الرؤية واللغة الكبيرة على العد".

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة الكبيرة (LVLMs) قدرات مذهلة في التعرف البصري والاستدلال من نوع "التعلم الصفري" (zero-shot). ومع ذلك، فإنها تظهر ضعفاً كبيراً في العد البصري، لا سيالما عندما يكون عدد الأجسام في الصورة كبيراً (عادةً أكثر من 20 جسماً).

العائق: بينما تؤدي هذه النماذج بشكل جيد نسبياً في الكميات الصغيرة، إلا أن دقتها تتدهور بسرعة مع زيادة كثافة الأجسام.
محدودية الحلول الحالية:
- النماذج الخاصة بفئات محددة: تواجه صعوبة في التعميم على فئات غير مرئية أو تغيرات معقدة.
- النماذج المستقلة عن الفئة/المعتمدة على النصوص: غالباً ما تتطلب أمثلة بصرية أو تكون محدودة بفئات أجسام بسيطة، وتفشل في التعامل مع التعبيرات المرجعية المعقدة.
- أسلوب "فرق تسد" الساذج: مجرد تقسيم الصورة إلى شبكة يؤدي غالباً إلى قطع الأجسام إلى نصفين، مما يؤدي إلى العد المزدوج (عد الأجزاء كأنها أجسام كاملة) أو فقدان بعض الأجسام تماماً.

2. المنهجية: LVLM-Count

يقترح المؤلفون LVLM-Count، وهو منهج أساسي (baseline) يعمل بنظام "التوصيل والتشغيل" (plug-and-play) ولا يتطلب تدريباً، يهدف إلى تعزيز قدرة العد لأي نموذج LVLM موجود باستخدام استراتيجية "فرق تسد". الابتكار الجوهري هو آلية "التقسيم المدرك للأجسام" التي تضمن عدم قطع أي جسم أثناء عملية تقسيم الصورة.

يتكون مسار العمل من أربع مراحل رئيسية:

أ. اكتشاف المنطقة (Area Detection)

المدخلات: صورة وسؤال باللغة الطبيعية $Q$ (مثل: "كم عدد البيض البني؟").
العملية:
1. يستخرج نموذج لغوي كبير (LLM) التعبير المحدد $E$ (مثل: "البيض البني") من السؤال $Q$ .
2. يستخدم نموذج تحديد المواقع (مثل GroundingDINO) التعبير $E$ والصورة لتحديد مربعات الإحاطة (bounding boxes) التي تحتوي على الأجسام المستهدفة.
3. يتم دمج المربعات المتداخلة لتحديد "منطقة الاهتمام" (ROI)، والتي تُقص لإزالة سياق الخلفية غير ذي الصلة.
المتانة: تم ضبط عتبة الكشف عند مستوى منخفض جداً لضمان عدم تفويت أي أجسام مستهدفة، حتى لو أدى ذلك لتضمين بعض النتائج الإيجابية الزائفة (أجسام غير ذات صلة).

ب. تجزئة الهدف (Target Segmentation)

الهدف: تحديد بكسلات الأجسام المستهدفة بدقة لتوجيه عملية التقسيم.
العملية:
1. يتم إدخال منطقة الاهتمام (ROI) المقصوصة إلى كاشف مفتوح العالم (GroundingDINO) للحصول على مربعات إحاطة لكل حالة على حدة.
2. تُمرر هذه المربعات إلى نموذج تجزئة (SAM - Segment Anything Model) لإنشاء أقنعة (masks) لكل جسم.
3. المعالجة اللاحقة: للتعامل مع التداخل والازدحام، تخضع الأقنعة لـ:
  - إزالة التكرار غير الأقصى (NMS): لإزالة الأقنعة المتداخلة ذات الثقة المنخفضة.
  - التآكل (Erosion): تقليص الأقنعة قليلاً لضمان وجود فجوة دنيا (بمقدار 2 بكسل) بين الأجسام المتجاورة، مما يمنع مسارات التقسيم من العلوق.

ج. التقسيم المدرك للأجسام (الابتكار الجوهري)

تقوم هذه المرحلة بتقسيم الصورة إلى صور فرعية دون قطع أي جسم مستهدف.

تخطيط المسار: تُعامل المشكلة كمهمة إيجاد مسار ثنائي الأبعاد.
- يتم إنشاء خريطة ثنائية حيث تكون أقنعة الأجسام سوداء (عقبات) والخلفية بيضاء (طريق متاح).
- نقاط البداية والنهاية: يتم تحديدها عبر خوارزمية Mean-Shift clustering غير معلمية وغير خاضعة للإشراف على الإحداثيات السينية (x-coordinates) المسقطة للأقنعة. هذا يحدد الفجوات الطبيعية بين تجمعات الأجسام.
إيجاد المسار: تُستخدم خوارزمية البحث A* لإيجاد مسار من أعلى الصورة إلى أسفلها (أو من اليسار إلى اليمين) يتنقل حول العقبات السوداء (الأقنعة).
النتيجة: يتم تقطيع الصورة على طول هذه المسارات المحسوبة، مما يضمن أن كل صورة فرعية تحتوي فقط على أجسام كاملة.

د. عد الأهداف والتجميع (Target Counting & Aggregation)

العد: يُرسل السؤال الأصلي $Q$ إلى الـ LVLM مع كل صورة فرعية تم إنشاؤها. يقوم الـ LVLM بعد الأجسام في كل صورة فرعية.
التجميع: تُجمع الأعداد من جميع الصور الفرعية لإنتاج الإجابة النهائية.
التعامل مع الحالات الحدية: إذا كانت الصورة الفرعية لا تحتوي على أجسام، يتم توجيه الـ LVLM لإخراج "0" (باستخدام مطالبة "واعية بالصفر" - Zero-aware prompt) لمنع الهلوسة.

3. المساهمات الرئيسية

إطار عمل LVLM-Count: مسار بسيط وفعال ولا يتطلب تدريباً، يحسن بشكل كبير أداء العد لمختلف نماذج LVLM (بما في ذلك GPT-4o و Qwen2 و Gemma 3) دون الحاجة لضبط النموذج (fine-tuning).
آلية التقسيم المدرك للأجسام: خوارزمية مبتكرة تمنع خطأ "العد المزدوج" الشائع في التقسيم القائم على الشبكات الساذج. وهي تستخدم أقنعة التجزئة ومسار البحث A* لتقطيع الصور حول الأجسام.
تقييم شامل: اختبارات مكثفة عبر مجموعات بيانات متعددة، تشمل:
- FSC-147: العد القياسي مفتوح العالم.
- PASCAL VOC: تقييم عبر مجموعات البيانات.
- Penguin Benchmark: التداخل العالي والخلفيات المعقدة.
- Emoji-Count: معيار جديد اقترحه المؤلفون يتميز بالاختلافات الدقيقة داخل الفئة الواحدة والاستدلال المعقد (مثل التمييز بين أوقات ساعات معينة أو أطوار القمر).
معيار جديد (Emoji-Count): تم إنشاؤه لمعالجة نقص المعايير التي تتطلب استدلالاً معقداً وتمييزاً دقيقاً بين الأجسام المتشابهة.

4. النتائج التجريبية

تُظهر الورقة أن LVLM-Count يتفوق باستمرار على نماذج LVLM الأساسية ويقلص الفجوة مع النماذج المتخصصة والمدربة.

مجموعة بيانات FSC-147:
- GPT-4o: انخفض متوسط الخطأ المطلق (MAE) من 25.57 إلى 17.86 (بمقدار ↓7.71).
- Qwen2 VL: انخفض MAE من 34.18 إلى 22.29 (بمقدار ↓11.89).
- ملاحظة: النماذج مفتوحة المصدر المدمجة مع LVLM-Count تتفوق أحياناً على النموذج التجاري الأساسي (GPT-4o) في مهام العد الخام.
معيار Emoji-Count:
- هذا هو المعيار الأكثر تحدياً. عانت نماذج LVLM الأساسية بشكل كبير (على سبيل المثال، Qwen2 MAE = 78.05).
- LVLM-Count (Qwen2): خفض MAE إلى 24.43 (تحسن هائل بمقدار ↓53.62)، مما جعل أداء النموذج مفتوح المصدر يقترب من أداء GPT-4o.
معيار البطريق (Penguin Benchmark - التداخل العالي):
- حسن LVLM-Count قيمة MAE لـ GPT-4o من 35.18 إلى 26.76، مما يثبت المتانة حتى لو كان الكشف/التجزئة غير مثالي.
المقارنة مع SOTA (أحدث ما توصل إليه العلم):
- بينما تتفوق النماذج المتخصصة والمدربة (مثل GroundingREC و CountGD) في مجموعات البيانات التي تدربت عليها (FSC-147)، إلا أنها تفشل في البيانات خارج نطاق التوزيع (Emoji-Count).
- يحافظ LVLM-Count على أداء عالٍ عبر جميع التوزيعات بفضل قدرات التعميم لنموذج LVLM الأساسي.

5. الأهمية والأثر

القابلية للتطبيق العملي: الطريقة تعمل بنظام "التعلم الصفري" و"التوصيل والتشغيل"، مما يعني إمكانية تطبيقها على أي نموذج LVLM موجود دون إعادة تدريب، مما يجعلها عالية الوصول للتطبيقات الواقعية في إدارة المخزون، التصوير الطبي (عد الخلايا)، والمراقبة البيئية.
حل مشكلة "الأعداد الكبيرة": تعالج المشكلة تحديداً وهي فشل نماذج LVLM عند التعامل مع المشاهد الكثيفة، وهي فجوة حرجة في قدرات الذكاء الاصطنا‌ای متعدد الوسائط الحالي.
المتانة تجاه التجزئة غير المثالية: تُظهر دراسات الاستئصال (ablation studies) أن الطريقة تظل فعالة حتى لو كانت مراحل الكشف/التجزئة الأولية غير مثالية (مثل استخدام SAM بدون GroundingDINO)، حيث أن عملية العد النهائية تتم بواسطة الـ LVLM القوي الذي يمكنه تجاهل الأقنعة الإيجابية الزائفة.
مرجع مستقبلي: يضع "التقسيم المدرك للأجسام" المقترح معياراً جديداً لكيفية تفكيك المهام البصرية للنماذج الكبيرة، مما يمنع الأخطاء الشائعة مثل تفتت الأجسام.

باختสร، يحول LVLM-Count نماذج LVLM من نماذج تعاني مع الكميات الكبيرة إلى أدوات عد قوية من خلال تقسيم المشهد البصري بذكاء مع الحفاظ على سلامة الأجسام، مستفيداً من قوة الاستدلال لنماذج LVLM في المهام الفرعية التي يمكن التحكم فيها.