🤖 AI

Beyond Prompt Degradation: Prototype-guided Dual-pool Prompting for Incremental Object Detection

تقترح هذه الورقة إطار عمل PDP، وهو إطار عمل جديد لفك الارتباط بين التلقين (prompt-decoupled) للكشف المتزايد عن الكائنات، والذي يستخدم نموذج تلقين ثنائي المجمعات لفصل المعرفة العامة للمهمة عن المعرفة الخاصة بالمهمة مع توظيف وحدة توليد تسميات مستعارة نموذجية للتخفيف من انحراف التلقين، محققاً بذلك أداءً هو الأفضل في فئته على معايير MS-COCO وPASCAL VOC.

المؤلفون الأصليون: Yaoteng Zhang, Zhou Qing, Junyu Gao, Qi Wang

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yaoteng Zhang, Zhou Qing, Junyu Gao, Qi Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق تحاول تعلم كيفية التعرف على أنواع جديدة من المشتبه بهم (الأجسام) مع تذكر جميع المشتبه بهم القدامى الذين قبضت عليهم بالفعل. هذا هو تحدي الكشف التدريجي عن الأجسام (Incremental Object Detection - IOD).

المشكلة هي أنه بينما تتعلم حِيلاً جديدة، غالباً ما تبدأ في نسيان الحِيَل القديمة، أو تصبح مرتبكاً وتخلط بين القواعد القديمة والجديدة. يُسمى هذا "النسيان الكارثي" (catastrophic forgetting).

مؤخراً، حاول العلماء حل هذه المشكلة باستخدام "المحفزات" (Prompts). فكر في المحفز كأنه ورقة ملاحظات لاصقة تضعها على قبعة المحقق. تخبر عقلك: "مهلاً، نحن نبحث عن كلاب الآن"، أو "نحن نبحث عن سيارات الآن".

ومع ذلك، كان لطريقة استخدام أوراق الملاحظات هذه في السابق عيبان كبيران، يطلق عليهما هذا البحث اسم "تدهور المحفز" (Prompt Degradation):

مشكلة "المكتب المزدحم" (ترابط المحفز - Prompt Coupling): تخيل أن لديك مكتباً واحداً صغيراً تضع فيه كل ورقة ملاحظات صنعتها على الإطلاق. ومع إضافة المزيد من الأوراق للمشتبه بهم الجدد، تبدأ الأوراق القديمة في التجعّد، والتداخل، والتموه. يصبح عقلك مرتبكاً لأن ورقة "الكلب" أصبحت الآن ملتصقة بورقة "القطة".
مشكلة "الاتهام الخاطئ" (انزياح المحفز - Prompt Drift): في لعبة المحقق هذه، عندما تتعلم عن مشتبه به جديد (مثل "روبوت")، يخبرك الكمبيوتر أن تعامل جميع المشتبه بهم القدامى (مثل "الكلاب") كمجرد "ضوضاء خلفية" (مثل شجرة أو صخرة). هذا يربك عقلك؛ فتبدأ بالتفكير: "انتظر، ألم أكن أعتقد أن الكلاب مهمة؟ الآن يُقال لي إنها مجرد خلفية؟". وهكذا، يتم إعادة كتابة ورقة "الكلب" الخاصة بك وتنزاح بعيداً عن الحقيقة.

الحل: PDP (التحفيز ثنائي المستودع الموجه بالنماذج الأولية)

قام المؤلفون ببناء نظام جديد يسمى PDP لإصلاح هذه الفوضى. وقد استخدموا فكرتين ذكيتين:

1. "المكتب ذو الدرجين" (ثنائية المستودع للفصل - Dual-Pool Decoupling)

بدلاً من مكتب واحد فوضوي، أعطوا المحقق درجين منفصلين:

الدرج المشترك (المعرفة العامة): يحتوي هذا الدرج على أوراق ملاحظات لأشياء تنطبق على الجميع. على سبيل المثال، "ابحث عن الحواف"، "ابحث عن الألوان"، أو "ابحث عن الحركة". هذه مهارات عامة تساعدك على رصد أي جسم. هذا الدرج يتم تحديثه باستمرار ليصبح أفضل في هذه المهارات العامة.
الدرج الخاص (المعرفة المحددة): هذا الدرج مخصص للمشتبه بهم المحددين. عندما تتعلم عن "الكلاب"، تحصل على درج خاص ومغلق للكلاب فقط. وعندما تتعلم عن "السيارات"، تحصل على درج منفصل ومغلق للسيارات.

لماذا ينجح هذا: أوراق "الكلب" لا تختلط أبداً مع أوراق "السيارة". المهارات العامة تساعدك في العثور على الجسم، والملاحظات الخاصة تساعدك في تحديد ماهيته بالضبط. إنهما يعملان معاً ولكن دون أن يعيق أحدهما الآخر.

2. "ألبوم صور المجرمين" (تسمية البيانات الزائفة الموجهة بالنماذج الأولية - Prototype-Guided Pseudo-Labeling)

هل تتذكر مشكلة "الاتهام الخاطئ"؟ عندما يقول الكمبيوتر: "عامل الكلب القديم كخلفية"، يرتبك المحقق.

لحل هذه المشكلة، ينشئ PDP ألبوم صور للمجرمين (يسمى مساحة النموذج الأولي - Prototype Space).

في كل مرة ينجح فيها المحقق في تحديد "كلب"، يلتقط صورة مثالية له ويضعها في الألبوم. هذه الصورة تمثل "الجوهر الحقيقي" للكلب.
لاحقاً، عندما يقول الكمبيوتر: "هذا يبدو كخلفية"، يتحقق المحقق من الألبوم: "انتظر، هذا الشكل الضبابي يشبه الكلب الموجود في ألبومي بنسبة 90%. رغم أن الكمبيوتر يقول إنه خلفية، إلا أنني أعرف أنه كلب!".
يقوم النظام بعد ذلك بإنشاء "تسمية زائفة" (ملاحظة مزيفة لكنها موثوقة) تقول: "في الواقع، هذا كلب"، ويستخدم ذلك لتعليم النموذج.

لماذا ينجح هذا: إنه يمنع المحقق من نسيان شكل الكلب لمجرد أن الكمبيوتر أخبره بتجاهله. إنه يستخدم "ألبوم الصور" لإبقاء الذاكرة حية.

النتائج

اختبر الباحثون هذا النظام على مجموعات بيانات شهيرة للكشف عن الأجسام (مثل MS-COCO و PASCAL VOC).

النتيجة: أصبح النظام الجديد (PDP) هو الأفضل في العالم (State-of-the-Art).
التحسن: لقد حسن دقة الكشف بنسبة تقارب 10% في بعض الاختبارات.
الخلاصة: من خلال فصل المهارات العامة عن الذكريات المحددة (المكتب ذو الدرجين) واستخدام "ألبوم صور" للتحقق من الحقيقة (النموذج الأولي)، يمكن للذكاء الاصطناعي تعلم أشياء جديدة دون نسيان الأشياء القديمة.

باختة: PDP يشبه إعطاء المحقق نظام أرشفة أفضل وألبوم صور موثوق، حتى يتمكن من حل القضايا الجديدة دون فقدان ذاكرته عن القضايا القديمة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "Beyond Prompt Degradation: Prototype-guided Dual-pool Prompting for Incremental Object Detection".

1. بيان المشكلة

يهدف الكشف التدريجي عن الأشياء (Incremental Object Detection - IOD) إلى التعلم المستمر لفئات كائنات جديدة من تدفقات بيانات متسلسلة مع الحفاظ على القدرة على اكتشاف الفئات التي تم تعلمها سابقًا دون الوصول إلى البيانات الماضية. تواجه هذه المهمة معضلة الاستقرار واللدونة (stability-plasticity dilemma): يجب أن يكون النموذج لدنًا بما يكفي لتعلم مفاهيم جديدة، ومستقرًا بما يكفي لتجنب النسيان الكارثي.

بينما اكتسبت الأساليب القائمة على المطالبات (prompt-based methods) شعبية مؤخرًا لكفاءتها في المعلمات وطبيعتها الخالية من إعادة التشغيل (replay-free)، حدد المؤلفون أنها تعاني من تدهور المطالبات (Prompt Degradation)، والذي يتجلى في طريقتين محددتين:

اقتران المطالبات (Prompt Coupling): تستخدم الأساليب الحالية عادةً مجمع مطالبات واحد (single prompt pool) لتخزين كل من المطالبات العامة للمهمة (القابلة للنقل) والمطالبات الخاصة بالمهمة (التمييزية). وهذا يجبر المطالبات ذات الأدوار الوظيفية المختلفة على التنافس على مساحة معلمات محدودة، مما يؤدي إلى التداخل وتدهور الأداء.
انحراف المطالبات (Prompt Drift): في عملية الـ IOD، عند تعلم مهمة جديدة، غالبًا ما يتم إعادة تسمية الأشياء من الفئات القديمة كـ "خلفية" (background) لأنها تفتقر إلى التسميات التوضيحية في مجموعة البيانات الحالية. هذه الإشرافات غير المتسقة تجبر النموذج على تحديث المطالبات المحسنة للمهام القديمة، مما يسبب انحرافها نحو اتجاهات دلالية غير صحيحة. علاوة على ذلك، تعتمد طرق التسميات المستعارة (pseudo-labeling) الحالية على عتبات ثقة ثابتة، والتي تفشل في التكيف مع توزيعات الثقة المتغيرة عبر الفئات المختلفة، مما يفاقم الانحراف.

2. المنهجية: إطار عمل PDP

اقترح المؤلفون إطار عمل PDP (Prototype-guided Dual-pool Prompting)، وهو إطار عمل قابل للتدريب بالكامل من البداية إلى النهاية (end-to-end) مصمم لفصل المطالبات والحفاظ على الاتساق الإشرافي. يتكون PDP من وحدتين أساسيتين:

أ. المطالبات المزدوجة المنفصلة (Decoupled Dual-Pool Prompting - DDP)

لحل مشكلة اقتران المطالبات، قدم PDP بنية ثنائية المجمعات تفصل المطالبات صراحةً إلى مجمعين متميزين:

المجمع المشترك (Shared Pool): يحتوي على رموز مطالبات قابلة للتعلم مصممة لالتقاط المعرفة العامة للمهمة. هذا المجمع متاح لجميع المهام ويتم تحسينه باستمرار لتسهيل النقل المستقر للمعرفة للأمام.
المجمع الخاص (Private Pool): يحتوي على معاملات مطالبات خاصة بالمهمة الحالية. يتم جعل هذه المطالبات خاصة (وتجميدها للمهام السابقة) للحفاظ على الميزات التمييزية الخاصة بالمهمة، ومنع التداخل من المهام الجديدة.
قيد التنوع بين المجمعات (Inter-Pool Diversity Constraint): لضمان تعلم المجمعين لتمثيلات متكاملة ومتعامدة، يتم تطبيق فقدان فك الارتباط الاتجاهي ( $L_{DDL}$ ). يعمل هذا الفقدان على تعظيم الفصل الزاوي بين المتجهات في المجمعين المشترك والخاص، مما يعاقب أي تداخل.

ب. توليد التسميات المستعارة الموجهة بالنماذج الأولية (Prototypical Pseudo-Label Generation - PPG)

لحل انحراف المطالبات الناتج عن الإشراف غير المتسق، يستبدل PDP عتبات الثقة الثابتة بنهج ديناميكي موجه بالنماذج الأولية:

فضاء النموذج الأولي للفئة (Class Prototype Space): يحافظ النموذج على نموذج أولي (مرساة ميزة) لكل فئة متعلمة في فضاء التضمين (embedding space). يتم تحديث هذه النماذج الأولية فقط في نهاية كل مهمة لضمان الاستقرار.
التحقق الهرمي (Hierarchical Validation):
1. العينات السهلة: يتم قبول التنبؤات ذات الثقة العالية من النموذج المعلم مباشرة.
2. العينات الصعبة: بالنسبة للمرشحات ذات الثقة المنخفضة إلى المتوسطة، يحسب النموذج التشابه بين ميزة المرشح والنموذج الأولي للفئة المجمد. إذا تجاوز التشابه عتبة معينة، يتم الاحتفاظ بالعينة كتسمية مستعارة صالحة، حتى لو كانت ثقتها الخام منخفضة.
الفائدة: تضمن هذه الآلية إشرافًا متسقًا للفئات القديمة (منع معاملتها كخلفية بحتة) وتولد تسميات مستعارة عالية الجودة دون الاعتماد على عتبات ثابتة سيئة المعايرة.

3. المساهمات الرئيسية

فك الارتباط في المجمعات المزدوجة: أول إطار عمل لـ IOD يقوم صراحةً بفك ارتباط المطالبات العامة والمحددة للمهمة باستخدام نموذج المجمع المشترك والخاص، مما يحسن بشكل كبير التوازن بين الاستقرار واللدونة.
التسمية المستعارة الموجهة بالنماذج الأولية: وحدة PPG مبتكرة تستخدم النماذج الأولية للفئات في فضاء التضمين لتوليد تسميات مستعارة موثوقة، مما يخفف بفعالية من انحراف المطالبات الناتج عن الإشراف غير المتسق.
أداء رائد (State-of-the-Art): يحقق الأسلوب نتائج متفوقة على المعايسات القياسية، مما يظهر قوة ضد النسيان الكارثي مع الحفاظ على قدرة عالية على التكيف مع الفئات الجديدة.

4. النتائج التجريبية

قيم المؤلفون PDP على مجموعات بيانات MS-COCO و PASCAL VOC تحت إعدادات تزايدية مختلفة (مثل: multi-step, 40+40, 70+10).

MS-COCO (Multi-step IOD):
- حقق PDP نسبة mAP@A نهائية بلغت 59.4%، مما يمثل تحسنًا بنسبة 9.2% عن أفضل طريقة سابقة (MD-DETR).
- أظهر أقل معدل نسيان (أعلى mAP@P) ولدونة قوية (mAP@C).
PASCAL VOC:
- عبر ثلاثة إعدادات (10+10, 15+5, 19+1)، تفوق PDP باستمرار على جميع المنافسين.
- شملت التحسينات الملحوظة +3.3% mAP@A في إعداد 19+1 مقارنة بثاني أفضل طريقة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة المجمع الخاص (Private Pool) إلى نسيان كبير.
- أدت إزالة المجمع المشترك (Shared Pool) إلى تقليل قدرة النموذج على نقل المعرفة العامة.
- أدت استبدال PPG بالتسميات المستعارة ذات العتبة الثابتة إلى انخفاض قدره 3.3% mAP@A في المهمة النهائية، مما يؤكد ضرورة الإشراف الموجه بالنماذج الأولية.

5. الأهمية

تعالج هذه العمل دركًا جوهريًا في التعلم المستمر القائم على المطالبات: خلط المعرفة العامة والخاصة الذي يؤدي إلى التدهور. من خلال فك الارتباط بين هذه الأنواع من المعرفة وتقديم آلية تسمية مستعارة مستقرة دلاليًا، يوفر PDP حلاً قويًا للكشف عن الأشياء في العالم المفتوح. إنه يثبت أن التصميم الهيكلي الصريح (المجمعات المزدوجة) المقترن بالتوجيه الدلالي (النماذج الأولية) أكثر فعالية من الاعتماد فقط على كفاءة المعلمات أو العتبات الثابتة. تم إصدار الكود ومجموعات البيانات لتسهيل المزيد من الأبحاث في التعلم التدريجي.