🤖 machine learning

Detect in Any Scene: An Agentic Framework for Object Detection with Experience-Aware Reasoning

تقدم هذه الورقة DetAS، وهو إطار عمل وكيل يستفيد من نموذج لغوي كبير متعدد الوسائط لتكوين سير عمل ديناميكي وتكيفي لترميم الصور وكشف متعدد الخبراء، معزز بآلية حصاد خبرة ذاتية التطور للتفوق بشكل كبير على الكواشف الحالية في السيناريوهات الواقعية الصعبة.

المؤلفون الأصليون: Wenlun Zhang, Jun Yin, Kentaro Yoshioka

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenlun Zhang, Jun Yin, Kentaro Yoshioka

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول العثور على أشخاص محددين في غرفة مزدحمة وفوضوية. أحياناً تكون الغرفة ضبابية، وأحياناً تكون مظلمة تماماً، وأحياناً تمطر، وأحياناً يرتدي الأشخاص تنكرات.

المشكلة في أجهزة الكشف القديمة
أنظمة الرؤية الحاسوبية التقليدية تشبه حارس أمن تدرب فقط في مكتب نظيف ومضاء جيداً. إذا وضعت هذا الحارس في قبو مظلم وممطر، فسيصاب بالارتباك. قد يغفل عن الناس لأن الإضاءة سيئة، أو قد يتوقف عن العمل لأنه لا يعرف سوال سوى البحث عن "موظفي المكاتب" وليس "عمال البناء".

تحاول الطرق الحالية إصلاح ذلك بطريقتين:

التدريب المتخصص: يقومون بتدريب حارس خصيصاً لـ "الأيام الممطرة" وآخر لـ "الأيام الضبابية". ولكن إذا تغير الطقس قليلاً، أو ظهر نوع جديد من الأجسام، يفشل الحارس.
المسارات الثابتة: يقومون ببناء آلة تقوم دائماً بتنظيف الصورة أولاً (مثل محرر الصور) ثم تبحث عن الأجسام. ولكن في بعض الأحيان، يؤدي تنظيف الصورة إلى جعل رؤية الجسم أصعب (مثل تعديل صورة بشكل مبالغ فيه حتى تصبح الوجوه غريبة).

الحل: DetAS (الكشف في أي مشهد)
يقترح المؤلفون نظاماً جديداً يسمى DetAS. بدلاً من حارس واحد أو آلة ثابتة، أنشأوا فريقاً ذكياً من الوكلاء يقوده "عقل" (نموذج لغوي كبير متعدد الوسائط). فكر في هذا "العقل" كمدير مشروع خبير جداً يمكنه النظر إلى موقف فوضوي واتخاذ قرار فوري بشأن الأدوات التي يجب استخدامها.

يعمل هذا الفريق عبر ثلاث خطوات بسيطة:

1. فريق "الإصلاح" (استعادة الصور ذاتية التكيف)

عندما ينظر "العقل" إلى صورة، فإنه يسأل: "هل هذه الصورة صعبة الرؤية؟ هل نحتاج لإصلاحها؟"

الطريقة القديمة: تشغيل الصورة دائماً عبر مرشح "إزالة الضباب" أو "تفتيح الإضاءة"، حتى لو لم يكن ذلك ضرورياً.
طريقة DetAS: يتحقق "العقل" من الصورة. إذا كانت ضبابية، يختار أداة "إزالة الضباب". إذا كانت مظلمة، يختار أداة "التفتيح".
اللمسة الذكية: أحياناً، إصلاح الصورة يجعلها أسوأ (مثل جعل الوجه ضبابياً أثناء محاولة إزالة المطر). "العقل" ذكي بما يكفي ليقول: "في الواقع، تبدو هذه الصورة جيدة كما هي،" ويتخطى عملية الإصلاح. هو ينظف الصورة فقط إذا كان ذلك سيساعد في عملية البحث.

2. فريق "الخبراء" (تعدد الخبرات في الكشف)

بمجرد أن تصبح الصورة جاهزة (أو إذا لم تكن بحاجة لإصلاح)، لا يستخدم "العقل" مجرد كاشف واحد. بل لديه صندوق أدوات مليء بـ محققين متخصصين:

أحد المحققين بارع في العث على الأجسام الصغيرة والمزدحمة (مثل الطيور في شجرة).
آخر خبير في العث على الوجوه في الظلام.
آخر يعرف كيفية رصد السيارات على الطريق السريع.
وآخر مدرب للمشاهد تحت الماء.

ينظر "العقل" إلى المشهد ويقول: "هذا شارع مظلم به وجوه. سأستدعي خبير 'الوجه في الظلام' وخبير 'الشارع العام'." ويتجاهل خبير "تحت الماء" لأن استدعاءه سيكون هدراً للوقت.

3. "الحكم" (تجميع الحالات)

بما أن عدة خبراء قد يرصدون نفس الجسم (على سبيل المثال، خبير الوجوه وخبير الشارع كلاهما يرى شخصاً ما)، فقد تكون إجاباتهم مختلفة قليلاً. يعمل "العقل" هنا كحكم؛ حيث ينظر إلى جميع الاقتراحات، ويجمع تلك التي تشير إلى نفس الشخص، ويختار الوصف الأكثر دقة. إذا كان أحد الخبراء يتخيل وجود شيء غير موجود (يرى شخصاً حيث لا يوجد أحد)، يمكن لـ "العقل" رفض ذلك التخمين.

4. "كتاب الذاكرة" (حصاد الخبرة ذاتي التطور)

هذا هو التحديث الخاص بـ DetAS-X.
تخيل أن الفريق ارتكب خطأً في نوع معين من الصور الضبابية. بدلاً من نسيان ذلك، يقوم النظام بكتابة ملاحظة في كتاب الذاكرة: "مهلاً، بالنسبة لهذا النوع المحدد من الضباب، لا تستخدم أداة 'إزالة الضباب'؛ لقد جعلت الأمور ضبابية. استخدم الصورة الأصلية فقط."

في المرة القادمة التي يرى فيها النظام صورة ضبابية مماثلة، يتحقق من "كتاب الذاكرة" أولاً. إنه يتعلم من قراراته السابقة، ويصبح أكثر ذكاءً وسرعة مع كل صورة جديدة يعالجها. هو لا يتبع قاعدة جامدة، بل يستخدم الخبرة لاتخاذ قرارات أفضل.

النتائج

اختبرت الورقة البحثية هذا "الإطار الوكيل" (Agentic Framework) على ستة تحديات صعبة للغاية (مثل العث على الوجوه في الظلام، والسيارات تحت المطر الغزير، والأجسام تحت الماء).

النتيجة: كان نظام DetAS-X أفضل بشكل ملحوظ من جميع نماذج الذكاء الاصطناي الأخرى الرائدة التي تم اختبارها.
الأرقام: حقق تحسناً في دقة الكشف بمتوسط 28% عبر جميع الاختبارات. وفي أصعب اختبار (العث على الوجوه في الظلام)، تحسن بنسبة 37%.

باختة
بدلاً من إجبار الكمبيوتر على أن يكون كاشفاً "واحداً يناسب الجميع"، يعمل DetAS كفريق مرن ومفكر. هو يقرر متى ينظف الصورة، ويختار الخبير المناسب للمهمة، ويتعلم من أخطائه السابقة ليصبح أفضل بمرور الوقت. إنه يحول كشف الأجسام من آلة جامدة ومعطلة إلى وكيل ذكي وقابل للتكيف.

ملخص تقني: DetAS – إطار عمل وكيل لتعرف الأشياء مع الاستدلال القائم على الخبرة

بيان المشكلة

يواجه التعرف على الأشياء في سيناريوهات العالم الحقيقي تحديات كبيرة بسبب تدهور الصور المتنوع (مثل الضباب، المطر، الإضاءة المنخفضة، والتشوه تحت الماء) وتوزيعات الأشياء غير المتجانسة. تعتمد النهج الحالية عموماً على نموذجين، كلاهما يعاني من قيود متأصلة:

تعلم التمثيل (Representation Learning): تعتمد هذه الأساليب على مجموعات بيانات منسقة ذات أنواع تدهور وفئات أشياء محددة. وبينما هي فعالة ضمن نطاقات تدريبها، إلا أنها تفشل في التعميم عند حدوث تغيير طفيف في أنواع التدهور أو توزيعات المشاهد.
خطوط المعالجة المتكاملة (End-to-End Pipelines): تجمع هذه الأساليب بين كاشف قياسي ووحدة مخصصة لترميم الصور. ومع ذلك، فهي تعتمد على استراتيجيات ترميم محددة مسبقاً وخطوط معالجة مصممة يدوياً. وغالباً ما تفتقر إلى المرونة لتحديد ما إذا كان الترميم ضرورياً أو أي مزيج محدد من (الترميم-الكاشف) هو الأمثل لمدخل معين، مما يؤدي إلى أداء دون المستوى أو تدهور في الأداء عندما يغير الترميم حدود الأجسام أو ألوان الخلفية.

بناءً على ذلك، تعاني الكواشف التقليدية ذات المفردات المغلقة (closed-vocabulary detectors) في التكيف مع البيئات الديناميكية المتغيرة في العالم الحقيقي، حيث لا يمكن لخط معالجة ثابت واحد أن يتعامل في آن واحد مع الظروف البيئية المتغيرة وتوزيعات الأشياء المختلفة.

المنهجية

يقترح البحث إطار عمل DetAS (التعرف في أي مشهد)، وهو إطار عمل وكيل (agentic framework) يعيد صياغة عملية التعرف على الأشياء كعملية اتخاذ قرار ديناميكية. بدلاً من خط المعالجة الثابت، يستفيد DetAS من نموذج لغوي كبير متعدد الوسائط (MLLM) كوكيل مركزي لتكوين سير عمل تكيفي عبر الاختيار من مجموعة أدوات تضم وحدات الترميم والكواشف المتخصصة.

يتكون إطار العمل من ثلاثة مكونات أساسية:

1. الترميم الذاتي التكيفي للصور (SAIR)

يعمل SAIR على تحديد ما إذا كان يجب تحسين الصورة وكيفية القيام بذلك قبل عملية الكشف.

إدراك المشهد: يقوم وحدة إدراك تعتمد على LLM بتحليل الصورة المدخلة للتنبؤ بملف تعريف المشهد المرتبط بالتدهور (مثل: طبيعي، ضباب، مطر، تحت الماء، إضاءة منخفضة، ضجيج).
اختيار الأداة: بناءً على الملصق المتوقع، يختار SAIR أداة ترميم مقابلة (مثل: إزالة الضباب، إزالة المطر، إزالة الضجيج، تحسين السطوع) من مجموعة أدوات.
آلية اختيار الصورة: من الناحية الجوهرية، يقارن SAIR بين الصورة الأصلية والنسخة المرممة. ويختار النسخة التي تزيد من الإشارات الموجهة للكشف (وضوح الأجسام، وضوح الحدود، السلامة الهيكلية) بدلاً من الجماليات البصرية. إذا أدى الترميم إلى تدهور أداء الكشف، يتم الاحتفاظ بالصورة الأصلية.
الترقية الفائقة (Super-Resolution - SR): يتم تطبيق خطوة SR نهائية لزيادة الدقة المكانية للأجسام الصغيرة أو البعيدة، مع اختيار عامل التكبير تلقائياً بناءً على دقة مستهدفة.

2. الكشف متعدد الخبرات (MED)

يدمج MED عدة كواشف متخصصة في مجالات مختلفة للتعامل مع توزيعات الأشياء المتنوعة.

مجموعة الكواشف: يحافظ النظام على مجموعة من الكواشف ذات خبرات متنوعة، تشمل الكواشف العامة، وكواشف الأجسام الكثيفة/الصغيرة، وكواشف القيادة الذاتية، وكواشف رؤية الدرون، وكواشف الأعماق، وكواشف الوجه.
الاختيار التكيفي: بالنظر إلى محتوى الصورة وقائمة الفئات المستهدفة، يقوم وكيل LLM باختيار أفضل $K$ من الكواشف الأكثر ملاءمة من المجموعة.
تجميع الحالات (Instance Grouping): لحل التنبؤات المكررة من الكواشف المتعددة، يتم تجميع صناديق الإحاطة المرشحة بناءً على التداخل المكاني (IoU) والتشابه البصري للمناطق المقصوصة.
الاستدلال على مستوى الحالة: لكل حالة مجمعة، يستخرج النظام المنطقة ويزودها بـ LLM لاتخاذ القرار النهائي. يتيح ذلك لـ LLM التركيز على أجسام محددة، ورفض التنبؤات الخاطئة الوهمية، واختيار أفضل زوج (صندوق إحاطة-ملصق)، مما يحسن كفاءة الرموز (tokens) والدقة للأجسام الصغيرة.

3. حصاد الخبرة ذاتي التطور (SEEH)

لمعالجة جمود القرارات القائمة على القواعد والتقاط خصائص الصور الدقيقة، تم توسيع إطار العمل إلى DetAS-X عبر SEEH.

جمع الخبرة: قبل النشر، يقوم النظام بإجراء عمليات استكشافية على مجموعة صغيرة من البيانات الموسومة. يقوم بتسجيل نتائج قرارات مستوى العقدة (اختيار المرمم، اختيار SR، اختيار الكاشف) ومقاييس الأداء المقابلة لها (مثل درجات F1) لملفات تعريف مشاهد محددة.
استرجاع الخبرة: أثناء الاستدلال، يقوم النظام بتوليد مفتاح ملف تعريف دقيق للصورة المدخلة. يقوم باستعلام ذاكرة الخبرة لاسترجاع أفضل $K$ من الملفات التاريخية الأكثر تشابهاً والقرارات المثلى المرتبطة بها.
الاستدلال الواعي بالخبرة: يستخدم وكيل LLM هذه الخبرة التاريخية المسترجعة جنباً إلى جنب مع الأدلة البصرية الحالية لاتخاذ قرارات أكثر استنارة، مما يسمح للنظام بتحسين سياسته تدريجياً والتكيف مع السيناريوهات المتنوعة دون الحاجة لإعادة التدريب.

المساهمات الرئيسية

إطار عمل الكشف الوكيلي (DetAS): إطار عمل مبتكر يصيغ الكشف كعملية قرار ديناميكية، باستخدام وكيل MLLM لاختيار أدوات الترميم والكواشف المتخصصة (SAIR و MED) بشكل تكيفي بدلاً من الاعتماد على خطوط معالجة ثابتة.
الاستدلال الواعي بالخبرة (DetAS-X): تقديم نظام حصاد الخبرة ذاتي التطور (SEEH)، الذي يجمع خبرات قرارات مستوى العقدة من مجموعة صغيرة من البيانات الموسومة. وهذا يمكن النظام من التعلم من الملاحظات السابقة وتحسين جودة القرار في ظل ظروف دقيقة للغاية.
تقييم شامل: تجارب واسعة النطاق تثبت أن إطار العمل المقترح يتفوق بشكل كبير على الكواشف القائمة على MLLM عبر ستة اختبارات معيارية تتضمن تدهورات متنوعة.

النتائج التجريبية

تم تقييم إطار العمل على ستة اختبارات معيارية: HazyDet (مشاهد الدرون الضبابية)، MARIS (تحت الماء)، DarkFace (الوجه في الإضاءة المنخفضة)، B-Night و B-Rainy (مجموعات فرعية من BDD100K)، و COCO (الكشف القياسي).

مكاسب الأداء: حقق DetAS-X متوسط تحسن قدره 28.36% في درجة F1 عبر المجموعات الست مقارنة بنماذج MLLM الأساسية.
تحسينات محددة: لوحظت مكاسب ملحوية في الظروف الصعبة، مع تحسن بنسبة 37.01% في مجموعة بيانات DarkFace لكشف الوجه في الإضاءة المنخفضة.
المقارنة: بينما عانت نماذج MLLM الأساسية (مثل Qwen3-VL-8B، GPT-4.1) مع التدهور الشديد (غالباً ما حققت درجات F1 أقل من 10% في مجموعات بيانات متدهورة معينة)، حقق DetAS-X أداءً عالياً باستمرار (على سبيل المثال، 44.98% في DarkFace، و52.35% في HazyDet).
دراسات الاستئصال (Ablation Studies): أدى إزالة SAIR أو MED إلى انخفاض كبير في الأداء (على سبيل المثال، انخفضت F1 في DarkFace من 44.98% إلى 25.84% بدون SAIR). ووجد أن العدد الأمثل للكواشف المختارة ( $K$ ) هو 2؛ حيث أدى الزياد عن ذلك إلى تدهور طفيف بسبب التنبؤات الخاطئة خارج النطاق.

الأهمية والادعاءات

يزعم البحث أن DetAS يضع أساساً متيناً لـ الكشف الوكيلي (agentic detection)، موضحاً أن اتخاذ القرار الدينماكي المعتمد على المدخلات يتفوق على خطوط المعالجة الثابتة لتحقيق كشف قوي للأشياء في البيئات المعقدة والديناميكية.

تحول النموذج: يشير العمل إلى أن المتانة تحت التدهورات المتنوعة تتطلب استدلالاً تكيفياً بدلاً من مجرد تحسين التمثيلات أو خطوط ترميم ثابتة.
القابلية للتوسع: تسمح الطبيعة النمطية لإطار العمل بدمج أدوات وكواشف إضافية لدعم تطبيقات أوسع، مثل التصوير الطبي أو الكشف بالأشعة تحت الحمراء، رغم أنها لم تُستكشف صراحة في هذا العمل.
الإمكانات المستقبلية: يرى المؤلفون أنه مع تحسن قدرات الربط (grounding) في نماذج MLLM، ستتضاءل قيود الكواشف القائمة على MLLM في الإعدادات الثابتة، مما يؤكد مجدداً أن الكشف الوكيلي هو نموذج واعد للنشر في العالم الحقيقي على نطاق واسع.

يشير المؤلفون إلى أنه سيتم فتح المصدر البرمجي (open-source) عند قبول البحث.