Object Counting Across Modalities: Taxonomies, Benchmarks, Applications, and Open Challenges
تنتقد هذه الدراسة المراجعة الاعتماد المفرط الحالي على المعايير المرجعية المشبعة في مجال عدّ الكائنات، وتستحدث تصنيفاً خماسياً المحاور لتحليل التناقضات الهيكلية في هذا المجال عبر مختلف الوسائط والنطاقات، وتقترح خارطة طريق لبنية تحتية قوية للتقييم من أجل التمييز بين التعميم الحقيقي في العالم المفتوح وبين التحسين الموجه لمعايير مرجعية محددة.
تخيل محاولة عدّ الأسماك في بركة عكرة، أو عدد السيارات في ازدحام مروري، أو عدد الخلايا في قطرة دم. لعقود من الزمن، علّم علماء الحاسوب الآلات القيام بذلك، لكنهم واجهوا مشكلة مستعصية: عندما تكون الأجسام متراصة بإحكام أو مختبئة خلف بعضها البعض، يصبح مجرد رصد كل منها على حدة أمراً مستحيلاً. كانت الحلول المبكرة تعامل العدّ كمسألة رياضية، حيث تطلب من الكمبيوتر تقدير العدد الإجمالي بناءً على مدى ازدحام الصورة، بدلاً من محاولة إيجاد كل عنصر بمفرده. نجح هذا بشكل جيد في مهام محددة، مثل عدّ الأشخاص في حشد، لكن الآلات لم تستطع الانتقال بسهولة لعدّ شيء جديد، مثل الطيور أو السيارات، دون إعادة تدريبها بالكامل. ومؤخراً، ظهر جيل جديد من الذكاء الاصطناء قادر على فهم اللغة والصور معاً. يمكن أن يُطلب من هذه الأنظمة "عدّ السيارات الحمراء" أو "عدّ التفاح" بمجرد قراءة جملة، مما يبشر بأداة عالمية تعمل لأي جسم في أي موقف.
يأخذ استطلاع جديد أجراه باحثون في جامعة وايومنغ، بقيادة جوانا كونادو أوسو وشيفاناند فينكانا شيشابانا فار، نظرة فاحصة على هذا التقدم السريع. لقد فحصوا مئات الدراسات المنشورة بين عامي 2013 و2026 ليروا ما إذا كانت آلات العدّ الجديدة والمرنة هذه ذكية حقاً كما تدعي. ويكشف تحقيقهم عن فجوة مقلقة: بينما أصبحت الأساليب أكثر تطوراً، فإن الاختبارات المستخدمة لقياسها لم تواكب هذا التطور. ويرى الباحثون أن العديد من النت النتائج الأكثر احتفاءً هي في الواقع أوهام؛ فقد يعطي الكمبيوتر العدد الإجمالي الصحيح للعناصر، ولكن فقط لأنه يخمن أو يعد الأشياء الخاطئة تماماً. فعلى سبيل المثال، قد يخطئ نظام طُلب منه عدّ التفاح في ثلاثة تفاحات حقيقية، لكنه يعد بالخطأ ثلاث حبات طماطم تشبهها، مما يؤدي إلى نتيجة مثالية تخفي فشلاً تاماً في فهم ما يراه بالفعل.
يتتبع البحث تطور عدّ الأجسام عبر أربع حقب متميزة. بدأ الأمر بأنظمة متخصصة مدربة لعد نوع واحد فقط من الأجسام، مثل الأشخاص في حشد، من خلال تحليل كثافة الصورة. ثم انتقل المجال إلى أنظمة يمكنها التعلم من أمثلة قليلة، مما يسمح لها بعدّ أجسام جديدة إذا عُرضت عليها صورة لها أولاً. ووصلت الموجة الثالثة مع نماذج يمكنها فهم اللغة الطبيعية، وتلقي تعليمات مثل "عد المركبات المتحركة" دون الحاجة إلى أي أمثلة بصرية. أما الحقبة الأخيرة، التي ظهرت في عام 2024، فتتعامل مع العد كمسألة استدلال معقدة، حيث يجب على الآلة دمج الأدلة البصرية مع الصوت أو النص للوصول إلى الإجابة. وبينما يمثل هذا التدرج قفزة حقيقية في القدرات، وجد المؤلفون أن المعايير المرجعية — وهي الاختبارات القياسية المستخدمة لتقييم هذه الأنظمة — غالباً ما تكون ضيقة للغاية. فلا تزال معظم الدراسات تعتمد على مجموعة بيانات واحدة تسمى FSC-147 للإعلان عن النجاح. ويظهر الباحثون أن النماذج يمكنها استغلال الأنماط المحددة في مجموعة البيانات هذه للحصول على درجات عالية دون تعلم العد فعلياً في العالم الحقيقي.
ولإصلاح ذلك، يقترح المؤلفون طريقة جديدة لتنظيم واختبار هذه التقنيات. فقد قدموا إطار عمل مفصلاً ينظر إلى خمسة جوانب مختلفة لكيفية عمل نظام العد: نوع البيانات التي يستخدمها (مثل الصور، أو الفيديو، أو العمق ثلاثي الأبعاد)، وكيفية العثور على الأجسام، وكيفية إخباره بما يجب عده، وكيف تم تدريبه، ومدى كفاءته في مواقف جديدة غير مسبوقة. وباستخدام هذا الإطار، قاموا بمراجعة الأدبيات عبر مجالات متنوعة، بما في ذلك المجهر الطبي، والزراعة، والاستشعار عن بعد. واكتشفوا أنه بينما تبدو النماذج العامة مثيرة للإعجاب في المختبر، إلا أنها غالباً ما تفشل عند مواجهة تحديات العالم الحقيقي مثل الظلال الكثيفة، أو الزوايا الغريبة، أو الأجسام التي تتشابه ولكنها مختلفة. في التصوير الطبي، على سبيل المثال، قد يخطئ نموذج عام في رصد خلية لأنها متكتلة مع خلايا أخرى، بينما قد يرصدها نظام متخصص مصمم خصيصاً للخلايا. ويسلط الاستطلاع الضوء على ستة تناقضات رئيسية في هذا المجال، مثل المقايضة بين القدرة على عد أشياء مختلفة وبين القدرة على تحديد مكان كل منها بدقة.
ويخلص الباحثون إلى أن المجال يمر بنقطة تحول حرجة. إن التركيز الحالي على استخراج تحسينات طفيفة في درجات الاختبار لم يعد كافياً. ويجادلون بأن المجتمع بحاجة إلى التوقف عن معاملة العد كمجرد مسألة رياضية بسيطة والبدء في معاملته كشكل من أشكال الاستدلال البصري. وهذا يعني بناء أنظمة يمكنها شرح لماذا عدت ما عدته، ويمكنها التعامل مع المشتتات دون ارتباك، ويمكنها العمل عبر أنواع مختلفة من المستشعرات، من الكاميرات القياسية إلى الماسحات ثلاثية الأبعاد. ويتطلب المسار المستقبلي نوعاً جديداً من التقييم يختبر هذه الآلات في سيناريوهات العالم الحقيقي الفوضوية، بدلاً من مجموعات البيانات النظيفة والمسيطر عليها. وحتى تتغير الاختبارات لتناسب تعقيد العالم الحقيقي، يظل الوعد بآلة عد عالمية حقاً غير مثبت. الهدف النهائي ليس مجرد بناء آلة تحصل على الرقم الصحيح، بل بناء آلة تفهم المشهد جيداً بما يكفي ليتم الوثوق بها في التطبيقات الحرجة، من مراقبة تجمعات الحياة البرية إلى عد الأدوات الجراحية في غرفة العمليات.
ملخص تقني: عدّ الكائنات عبر الأنماط المتعددة
تعريف المشكلة والدوافع تطور عدّ الكائنات من مشكلة انحدار كثافة خاصة بفئة معينة إلى مهمة استدلال متعددة الأنماط ومفتوحة المفردات. وبينما تشير التحولات الأخيرة نحو النماذج التأسيسية والمطالبات مفتوحة المفردات إلى توجه نحو التعميم الشامل، يجادل هذا المسح بأن البنية التحتية التقييمية للمجال لم تواكب هذا التطور. تعتمد مقاييس التقدم الحالية بشكل كبير على عدد قليل من المعايير المرجعية المشبعة (لا سيما FSC-147) التي تستغلها النماذج عبر الانتظامات الإحصائية بدلاً من الاستدلال الحقيقي. وتكشف مجموعات البيانات التشخيصية عن إخفاقات منهجية في التجذر الدلالي، والحفاظ على الهوية الزمنية، والاستدلال المكاني تحت ظروف الاحتجاب. المشكلة المركزية هي "وهم التجذر الدلالي"، حيث يحقق النموذج خطأً صفرياً في العدد (على سبيل المثال، MAE = 0) من خلال التعويض بين الإيجابيات الكاذبة والسلبيات الكاذبة، مما يؤدي فعلياً إلى عدّ الحالات الخاطئة أو المشتتات مع تلبية المقاييس الإجمالية.
الإطار المنهجي والتصنيف يقدم البحث تصنيفاً موحداً ذا خمسة محاور لتفكيك المكونات الهيكلية لطرق العدّ، متجاوزاً بذلك الصوامع المحددة بنطاقات معينة. المحاور هي:
النمط (Modality): يتراوح من الصور الثابتة (RGB) إلى الفيديو، والسحب النقطية ثلاثية الأبعاد، والعمق (RGB-D)، والحراري، والسمعي-البصري.
آلية العد (Counting Mechanism): أربعة نماذج خوارزمية متميزة:
رسم خرائط تشابه الانتباه المتقاطع (P2): استخدام رموز النماذج (exemplar tokens) كمفاتيح وقيم لخرائط الميزات الصورية (العصر الثاني).
توطين المفاهيم القابل للمطالبة (P3): تجذير النصوص أو مطالبات النقاط في صناديق أو أقنعة منفصلة عبر النماذج التأسيسية (العصر الثالث).
الاستدلال اللغوي متعدد الأنماط (P4): التعامل مع العد كمسألة استدلال بصري-لغوي، وغالباً ما يتم عبر توليد مسارات "سلسلة الأفكط" (chain-of-thought) أو مخرجات عددية مباشرة عبر فك التشفير التكراري (العصر الرابع).
تقنية المطالبة (Prompting Technique): تسميات الفئات الثابتة، النماذج البصرية، الاستعلامات النصية، المدخلات متعددة الأنماط، الأولويات المرجعية، والتصحيحات التفاعلية.
مستوى الإشراف (Supervision Level): يتراوح من الإشراف المكاني على مستوى الحالة (نقاط، صناديق، أقنعة) إلى الإشراف الضعيف على مستوى العدد الإجمالي، والتعلم الخاضع للإشراف الذاتي، والتدريب بدون تسميات توضيحية.
إعداد التعميم (Generalization Setting): التمييز بين الإعدادات الخاصة بالفئات (المجموعة المغلقة) والمستقلة عن الفئات (المفردات المفتوحة/العالم المفتوح)، مع توضيح الخلط بين آليات المطالبة وادعاءات التعميم.
المساهمات الرئيسية
تصنيف موحد: يضع البحث إطاراً موحداً ذا خمسة محاور يسمح بالمقارنة عبر النماذج عبر مجالات الصور، والفيديو، والثلاثي الأبعاد، والأنماط المتعددة.
تدقيق نقدي للمعايير المرجعية: يوضح المؤلفون أن المقاييس العددية (MAE, RMSE) لا تتوافق مع تنسيقات المخرجات المتنوعة للعد الحديث (خرائط الكثافة، المسارات، الصناديق المنفصلة) وتفشل في اكتشاف "وهم التجذر الدلالي". كما يسلطون الضوء على أن النماذج الأعلى أداءً في المعايير المرجعية القديمة غالباً ما تفشل في مجموعات البيانات التشخيصية التي تختبر رفض المشتتات وحساسية المطالبة.
التناقضات الهيكلية: يصيغ المسح ستة تناقضات هيكلية متأصلة في المجال، بما في ذلك المقايضة بين التعميم والتوطين، وتطرف النطاق (انهيار الكثافة)، وفشل إعادة دخول الهوية الزمنية، وهشاشة النماذج المرجعية مقابل الغموض الدلالي في المطالبات النصية.
التركيب عبر المجالات: من خلال مراجعة أكثر من 600 سجل، يربط البحث بين المجتمعات المجزأة (عد الحشود، المجهرية، الاستشعار عن بعد، الزراعة) ليظهر أن البنى العامة غالباً ما تعاني في الانتقال إلى المجالات المتخصصة دون ضبط خاص بالمجال.
النتائج واللقى
تشبع المعايير المرجعية: يظهر تحليل FSC-147 أن التحسينات في متوسط الخطأ المطلق (MAE) قد تقلصت لتصبح ضمن حدود الضجيج الإحصائي، ومع ذلك يظل هذا المعيار هو المقياس الوحيد للتقدم. وتكشف المعايير التشخيصية الجديدة (مثل PrACo و CAPTURe) أن النماذج المتطورة تفشل تكراراً في تجذير أعدادها في الحالات الدلالية الصحيحة.
فجوات الأنماط: بينما تقدم طرق الأبعاد الثلاثية والعمق والمنظور المتعدد حلولاً لاحتجاب ترتيب العمق، إلا أنها تعتمد على مجموعات بيانات خاصة أو غير متوافقة، مما يمنع التقييم الموحد. وبالمثل، يفتقر عد الفيديو إلى بروتوكولات معيارية للتمييز بين عد الحالات المرئية في الإطارات، وعد الحالات الفريدة، وعد الأحداث.
اختلافات التطبيق: في المجالات المتخصصة مثل المجهر الطبي والاستشعار عن بعد، تتفوق الأنظمة الخاصة بالمجال غالباً على النماذج التأسيسية العامة لأنها مضبوطة للالتزام بالقيود الفيزيائية (مثل مورفولوجيا الخلايا، ضجيج المستشعرات) التي تتجاهلها النماذج العامة.
عيوب التقييم: يحدد البحث أن بروتوكولات التقييم الحالية تكافئ "الأخطاء التعويضية" (حيث يتم تعويض حالة مفقودة بإيجابية كاذبة) وتفتقر إلى مقاييس الاكتمال المكاني، أو تبديل الهوية، أو رفض المشتتات.
الأهمية والتوجهات المستقبلية يخلص البحث إلى أن ادعاءات العمومية الشاملة في عد الكائنات قد سبقت البنية التحتية اللازمة للتحقق منها. إن المجال عالق حالياً في حلقة من الهندسة التدريجية على معايير مرجعية مشبعة بدلاً من معالجة إخفاقات الاستدلال الأساسية.
يقترح المؤلفون خارطة طريق للبحث المستقبلي تركز على:
الفهم التركيبي للمشهد: الانتقال من انحدار الكثافة إلى بناء تمثيلات مشهد مهيكلة وقابلة للتحقق تربط مناطق الكائنات عبر العلاقات المكانية والاحتجاب.
الوكلاء النشطون والتفاعليون: التحول من العد السلبي أحادي المرحلة إلى وكلاء يمكنهم طلب معلومات مستهدفة (مثل التكبير، أو التوضيح البشري) لحل الغموض وأحداث إعادة الدخول.
البنى الموحدة متعددة الأنماط: تطوير مشفرات وفك تشفير مشتركة تعامل أنماط الاستشعار (RGB، العمق، الحرارة، الصوت) كمدخلات شرطية بدلاً من كونها حدوداً معمارية.
بروتوكولات تقييم قوية: وضع معيار جديد يتطلب فيه إثبات ادعاءات العمومية عبر معايير تشخيصية متنوعة وقيود النشر (زمن الاستجابة، الطاقة، المعايرة) بدلاً من الاعتماد على مقياس عددي واحد من مجموعة بيانات واحدة.
يؤكد المسح أنه ما لم يتم اختبار الطرق بصرامة عبر بيئات متنوعة من العالم الحقيقي مع بروتوكولات تميز بين التعميم في العالم المفتوح وبين التحسين الخاص بالمعايير المرجعية، فإن الادعاءات بوجود عدّاد عام للكائنات تظل غير مثبتة.