💻 computer science

Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation

تقترح هذه الورقة البحثية إطار عمل "التعلم من أجل التسمية" (L2L)، وهو إطار عمل معزز ذاتي التطور يستفيد من النماذج اللغوية الكبيرة متعددة الوسائط للحصول على أولويات دلالية-مكانية، ويصيغ اختيار التسميات المستعارة كعملية اتخاذ قرار تكيفية لتحسين تقسيم التعبيرات المرجعية شبه الموجهة في ظل محدودية التوسيم.

المؤلفون الأصليون: Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

نُشر 2026-05-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية العثور على أشياء محددة في صورة بناءً على جملة تعطيها له، مثل "الكلب الذي يرتدي طوقاً أحمر" أو "قطعة البيتزا الموجودة على اليسار". تسمى هذه المهمة تجزئة التعبير المرجعي (Referring Expression Segmentation). يحتاج الروبوت إلى رسم تحديد دقيق حول ذلك الكائن بالضبط.

عادةً، لتعليم الروبوت هذا الأمر بشكل جيد، تحتاج إلى آلاف الصور حيث قام إنسان برسم هذه التحديدات يدوياً بكل عناية. وهذا أمر مكلف وبطيء. التعلم شبه المُشرف (Semi-supervised learning) هو طريق مختصر: تعطي الروبوت عدداً قلياً من الصور ذات التحديدات المثالية (بيانات مصنفة)، ومجموعة ضخمة من الصور التي لا تحتوي على أي تحديدات (بيانات غير مصنفة)، على أمل أن يتمكن الروبوت من اكتشاف الباقي بمفرده.

المشكلة هي؟ عندما يحاول الروبوت تخمين التحديدات للصور غير المصنفة، فإنه غالباً ما يرتبك. قد يرسم دائرة حول الكلب بأكمله بدلاً من مجرد الطوق، أو قد يتشتت بـكائن آخر يشبهه. إذا أخبرت الروبوت ببساطة: "حسناً، ثق بتخميناتك الخاصة"، فإنه غالباً ما يتعلم من أخطائه، مما يخلق حلقة مفرغة من الأخطاء.

تقدم هذه الورقة البحثية إطار عمل جديد يسمى التعلم للتوسيم (Learning to Label - L2L). فكر في الأمر كأنه نظام معلم خصوصي ذكي ومصحح ذاتياً. إليك كيف يعمل، مقسماً إلى ثلاثة أجزاء بسيطة:

1. "المراقب الفائق" (MLLM)

أولاً، يستدعي النظام "مراقباً فائقاً"—وهو نموذج ذكاء اصطناعي ضخم مدرب مسبقاً (يُسمى نموذج لغوي كبير متعدد الوسائط أو MLLM)، وهو بارع جداً في فهم اللغة والصور ولكنه ليس مثالياً.

التشبيه: تخيل أنك تحاول العثور على شخص معين في ملعب مزدحم. تطلب المساعدة من صديق فائق الذكاء (الـ MLLM). يقول لك صديقك: "أعتقد أنه الرجل الذي يرتدي قبعة زرقاء". لكن صديقك قد يكون مخطئاً أحياناً، أو ربما ينظر إلى الشخص الخطأ.
ادعاء الورقة: يستخدم النظام هذا "المراقب الفائق" للحصول على "مسودة أولية" لمكان الكائن المحتمل. هو لا يثق في هذه المسودة بشكل أعمى؛ بل يستخدمها فقط كإشارة مبدئية.

2. "محطة المعايرة" (SPM)

الآن، لدى النظام رأيان: المسودة الأولية للمراقب الفائق ورأي الروبوت الخاص. أحياناً يتفقان؛ وأحياناً يختلفان تماماً.

التشبيه: تخيل أنك وصديقك تنظران إلى خريطة. يقول صديقك: "انعطف يساراً"، بينما تقول أنت: "انعطف يميناً". إذا اخترت واحداً منهما فقط، فقد تضل الطريق. بدلاً من ذلك، يعمل هذا النظام كـ محطة معايرة. فهو ينظر إلى مدى ثقة كل منكما. إذا كان صديقك متأكداً بنسبة 95% بينما أنت متأكد بنسبة 25% فقط، فإنه يميل نحو صديقك. ولكن إذا كنت متأكداً بنسبة 98% وصديقك متأكد بنسبة 40% فقط، فإنه يثق بك.
ادعاء الورقة: يقوم النظام بدمج هذين الرأيين معاً، مع وزن كل مصدر بناءً على مدى تأكده. هذا يخلق دليلاً "معايراً" أكثر موثوقية من أي منهما بمفرده.

3. "الفلتر الذكي" (RPLE)

هذا هو الجزء الأكثر تميزاً. عادةً ما تستخدم الحواسيب قاعدة ثابتة لتقرير أي التخمينات جيدة بما يكفي لاستخدامها في التدريب (مثل: "ثق فقط بالتخمينات التي تزيد نسبة التأكد فيها عن 80%").

التشبيه: تخيل معلماً صارماً يقول: "لن أقبل الواجب المنزلي إلا إذا أجبت على 80% بشكل صحيح". هذا أمر سيء لأن بعض الأسئلة الصعبة تستحق جهداً بنسبة 100% حتى لو حصلت فيها على 60%، وبعض الأسئلة السهلة قد تكون مجرد ضربة حظ.
ادعاء الورقة: بدلاً من القاعدة الثابتة، يستخدم L2L وكيل تعلم معزز (مثل شخصية في لعبة فيديو تتعلم عن طريق التجربة والخطأ). يعمل هذا الوكيل كـ فلتر ذكي. فهو يراقب عملية التدريب ويسأل: "هل هذا التخمين مفيد الآن؟"
- إذا كان الروبوت يعاني مع صورة صعبة، فقد يقول الفلتر: "دعونا نكون أكثر تساهلاً ونستخدم هذا التخمين لمساعدة الروبوت على التعلم".
- إذا كان الروبوت واثقاً ولكن التخمين يحتوي على ضجيج، يقول الفلتر: "لا، تجاهل هذا".
- يتعلم الفلتر تعديل "صرامته" ديناميكياً، حيث يكافئ الروبوت على تقدمه الجيد ويعاقبه على التعلم من بيانات سيئة.

النتيجة: حلقة تطور ذاتي

يعمل النظام بأكمله في حلقة:

يقوم الروبوت بعمل تخمين.
يقدم المراقب الفائق تلميحاً.
تقوم محطة المعايرة بدمجهما.
يقرر الفلتر الذكي أي أجزاء من هذا الدمج جديرة بالثقة بما يكفي لتعليم الروبوت.
يتعلم الروبوت من البيانات المفلترة، ويصبح أفضل، وتتكرر الدورة.

ما وجدته الورقة:
اختبر المؤلفون طريقتهم على ثلاثة مجموعات بيانات قياسية (RefCOCO، RefCOCO+، و RefCOCOg) باستخدام كمية ضئيلة جداً من البيانات المصنفة (بنسبة تصل إلى 0.1% فقط من إجمالي الصور).

الادعاء: تفوقت طريقتهم (L2L) باستمرار على الأساليب الحالية. وحتى مع وجود بيانات مصنفة شبه معدومة، فقد كان أداؤهم أفضل من أساليب "التعلم من الصفر" (zero-shot) (النماذج التي تحاول القيام بالمهمة دون أي أمثلة تدريبية على الإطلاق).
الخلاصة: من خلال اعتبار اختيار بيانات التدريب "قراراً تعلمياً" بدلاً من قاعدة ثابتة، وباستخدام مراقب فائق لتوجيه العملية، يمكن للنظام أن يتعلم توسيم نفسه بدقة وموثوقية أكبر بكثير.

باختصار، تزعم الورقة أنه من خلال تعليم الكمبيوتر كيفية اختيار أمثلة التدريب الخاصة به باستخدام فلتر ذكي ومتكيف ومساعد ذكاء اصطناعي مفيد (وإن كان غير مثالي)، يمكننا بناء أنظمة رؤية أفضل بجهد بشري أقل بكثير.

ملخص تقني: التعلم من أجل التوسيم (L2L)

بيان المشكلة

يهدف تقسيم التعبير المرجعي شبه الموجه (SS-RES) إلى تحقيق تجذير لغوي دقيق على مستوى البكسل باستخدام مجموعة صغيرة من أزواج الصور والنصوص الموسومة ومخزن كبير من البيانات غير الموسومة. وبينما تعتمد طرق التقسيم شبه الموجهة الحالية على التوسيم الزائف وتنظيم الاتساق، فإن تطبيق هذه النماذج مباشرة على SS-RES يعد أمراً صعباً بسبب الغموض المرجعي، والانسداد، والحاجة إلى استدلال سياقي بعيد المدى. وتؤدي هذه العوامل غالباً إلى عدم يقين في الحدود وعدم استقرار الأقنعة الزائفة.

عادة ما تقوم النهج الحالية بتصفية التوسيمات الزائفة باستخدام عتبة ثقة ثابتة. ومع ذلك، فإن هذا الاستدلال يتسم بالهشاشة: فالعتبات الصارمة للغاية تتجاهل العينات المعلوماتية، بينما العتبات المتساهلة تُدخل إشرافاً مشوشاً يلوث التدريب. علاوة على ذلك، تستفيد الأعمال الحديثة من نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) والنماذج التأسيسية (مثل SAM) لتوليد أولويات خارجية. ومع ذلك، فإن هذه الأولويات ليست موثوقة دائماً؛ فقد تعاني نماذج MLLM من الهلوسة أو انحراف التجذير، وقد تفرط نماذج التقسيم في التقسيم أو تتشتت. والأهم من ذلك، غالباً ما يكون هناك اختلاف كبير يعتمد على العينة بين ثقة أولوية MLLM وتنبؤات نموذج التقسيم الخاص به، مما يجعل استراتيجيات العتبة الثابتة غير فعالة.

المنهجية

يقترح المؤلفون التعلم من أجل التوسيم (L2L)، وهو إطار عمل معزز ذاتي التطور يعيد صياغة بناء التوسيم الزائف كعملية اتخاذ قرار قابلة للتعلم. يعمل الإطار في حلقة مغلقة حيث تتطور الأولويات متعددة الوسائط، واختيار التوسيم الزائف، وشبكة التقسيم معاً. تتكون البنية من ثلاثة مكونات أساسية:

1. الأولوية الدلالية-المكانية مع MLLM (SPM)

لتحديد مقترحات التقسيم الناعمة الأولية، يستفيد L2L من نموذج MLLM مجمد المعلمات لاستخراج إشارات التجذير الدلالي لأزواج الصور والنصوص غير الموسومة. تقوم هذه الإشارات بتحفيز SAM2 لتوليد مقترحات تقسيم كثيفة وناعمة ( $P^\dagger_i$ ) مع الحفاظ على عدم اليقين.

المعايرة الواعية بعدم اليقين: إدراكاً بأن الأولويات الخارجية وتنبؤات النموذج ( $P^w_i$ $P_{i}^{w}$ ) قد تتعارض، يقوم SPM بدمجهما في مساحة الـ logit باستخدام وزن متكيف مع البكسل $\lambda(u)$ $λ (u)$ . يتم حساب هذا الوزن بناءً على:
- اليقين على مستوى البكسل: درجة قائمة على الهامش $C(p)$ تزدزد كلما ابتعدت التنبؤات عن الغموض (0.5).
- الاتفاق على مستوى العينة: درجة اتساق عالمية $W$ تقيس الاتفاق بين التنبؤ الضعيف والأولوية الخارجية.
الدمج: يتم إنشاء الأولوية المعايرة $\tilde{P}^\dagger_i$ عن طريق وزن الـ logits للأولوية الخارجية وتنبؤ النموذج. يضمن هذا اعتماد النموذج بشكل أكبر على الأولوية الخارجية عندما يكون غير متيقن، ولكنه يكبح الأولوية عندما يكون النموذج واثقاً أو عندما يكون الاتفاق العالمي منخفضاً.

2. وحدة التقسيم ذاتية التطور (SESM)

تدمج SESM الأولوية المعايرة في شبكة تقسيم هرمية. وبدلاً من الدمج الساكن، تستخدم آلية بوابية متكيفة مع المراحل لحقن التوجيه الدلالي والهيكلي.

التوجيه المزدوج: يجمع الوحدة بين مجال دلالي ( $S$ ) من مشفر النصوص ومجال هيكلي ( $G_j$ ) مشتق من أولوية البكسل.
البوابة الديناميكية: يتم تخليق إشارة شرطية موحدة $M_j$ عبر عوامل بوابية قابلة للتعلم لكل مرحلة ( $\alpha_j, \beta_j$ ) توازن بين فك الغموض الدلالي عالي المستوى وصقل الهيكل منخفض المستوى.
التفاعل المعتمد على المرحلة: بالنسبة للمراحل الضحلة، يتم تطبيق المجال الهيكلي عبر إسقاط محلي صارم للحفاظ على الارتباط المكاني. أما بالنسبة للمراحل العميقة، فيتم تمكين الاستدلال العلاقاتي العالمي عبر الانتباه المتقاطع (cross-attention).
التطور الذاتي: يتم تحديث التوجيه الهيكلي بشكل تكراري مع تحسن التنبؤات الضعيفة للنموذج، مما يقلل الضجيج ويزيد الموثوقية تدريجياً.

3. استكشاف التوسيم الزائف المعزز (RPLE)

لمعالجة عدم مثالية العتبات الثابتة، يصيغ RPLE قبول التوسيم الزائف كعملية قرار تعتمد على التعلم المعزز (RL).

تمثيل الحالة: تشمل الحالة $s_t$ الميزات الإحصائية للتنبؤ المدمج (المتوسط، الانحراف المعياري)، ونسب البكسلات الأمامية/الخلفية/المتجاهلة، ودرجة الاتفاق على مستوى العينة.
الباحث عن السياسة: تخرج شبكة الممثل (Actor network $\pi_\phi$ ) عتبات ثقة تكيفية للخلفية والأمام $\tau_{fg}, \tau_{bg}$ لكل عينة.
الناقد والمكافأة: تقيم شبكة الناقد (Critic network $Q_\phi$ $Q_{ϕ}$ ) التوسيمات الزائفة المختارة. تُعرف المكافأة بأنها كسب تعليمي ( $\Delta\Phi_t$ $Δ Φ_{t}$ ) يتكون من ثلاثة مكونات:
- كسب القابلية للفصل ( $\Delta M$ ): يقيس التباين الحدودي بين المقدمة والخلفية.
- كسب الاتساق ( $\Delta K$ ): يقيس الاتفاق بين تنبؤ النموذج والأولوية المعايرة.
- كسب التغطية ( $\Delta C$ ): يقيس نسبة البكسلات المختارة.
- يتم تطبيق عقوبة الاستقرار لمنع التغيرات العشوائية في العتبات.
التحسين: يتم تحسين السياسة عبر تدرجات السياسة الحتمية لتعظيم توقع درجة الجودة التراكمية، مما يوازن ديناميكياً بين الدقة والتغطية طوال عملية التدريب.

المساهمات الرئيسية

إطار عمل التعلم من أجل التوسيم: قدم المؤلفون L2L، الذي يحول بناء التوسيم الزائف من عملية عتبة ثابتة إلى عملية اتخاذ قرار قابلة للتعلم ومتكيفة مع العينات، مما يسمح باستخراج أكثر موثوقية للتوسيم على مستوى البكسل في ظل وجود تسميات شحيحة.
الأولويات المدفوعة بـ MLLM والمعايرة: يقدم العمل أولويات دلالية-مكانية مدفوعة بـ MLLM لتهيئة التقسيم الناعم، ويقترح آلية اختيار معززة تحدد بشكل تكيفي التوسيم عالي المنفعة عبر دمج الأولويات متعددة الوسائط مع تنبؤات النموذج.
التحقق التجريبي: أظهرت التجارب المكثفة على RefCOCO وRefCOCO+ وRefCOCOg تحسينات مستمرة مقارنة بالأساليب شبه الموجهة والأساليب المرجعية الحالية عبر مختلف ميزانيات التسمية (من 0.1% إلى 10%).

النتائج التجريبية

الأداء: يحقق L2L نتائج هي الأفضل في فئتها (SOTA) عبر جميع مجموعات البيانات وميزانيات التسمية. ومن الملاحظ أنه في نظام التسمية شديد الانخفاض (0.1% من البيانات الموسومة)، يتفوق L2L على النظراء ذوي القدرة صفرية (zero-shot) والأساليب شبه الموجهة الحالية (مثل RESMatch وSemiRES).
دراسات الاستئصال (Ablation Studies):
- يؤدي إزالة SPM أو SESM أو RPLE بشكل فردي إلى تدهور الأداء، مما يؤكد ضرورة الدمج الواعي بعدم اليقين، والتوجيه الهرمي، والعتبة التكيفية.
- تتفوق استراتيجية الوزن في SESM (البوابة الديناميكية) على دمج الوزن الثابت، مما يؤكد الحاجة إلى موازنة الإشارات الدلالية والهيكلية ديناميكياً.
- يتفوق RPLE بشكل كبير على العتبة الثابتة، والتي تبين أنها حساسة للغاية لاختيار قيم العتبة.
المتانة: يتميز النهج بالمتانة تجاه الاختلافات في اختيار النماذج التأسيسية (مثل SAM مقابل SAM2، أو هياكل MLLM المختلفة) ويظل فعالاً حتى عند استبدال أولويات MLLM بمعلمين غير MLLM (مثل CARIS أو CGFormer).
الكفاءة: المعلمات القابلة للتدريب الإضافية التي يقدمها L2L ضئيلة (~9.3 مليون)، كما أن مكونات التعلم المعزز خفيفة الوزن، ولا تضيف تكلفة تذكر في وقت الاستدلال لأن النماذج التأسيسية تظل مجمدة.

الأهمية والادعاءات

يزعم البحث أن L2L يوفر حلاً قوياً لبناء أنظمة تقسيم مرجعي فعالة في استخدام البيانات تحت تكاليف تسمية منخفضة للغاية. ومن خلال معاملة التوسيم الزائف كعملية تطور معززة، ينجح الإطار بفعالية في التخفيف من هشاشة استدلالات العتبة الثابتة وعدم موثوقية الأولويات الخارجية. يؤكد المؤلفون أن نهجهم يتيح التحسين المشترك لنموذج التقسيم والتوسيمات الزائفة، مما يعزز موثوقية التسمية تدريجياً. ويُقدم هذا العمل كخطوة نحو أنظمة SS-RES قابلة للتعميم يمكنها الاستفادة من قدرات الاستدلال لنماذج MLLM دون أن تعيقها احتمالات الهلوسة أو انحراف التجذير.