💻 computer science

Retrieve and Segment: Are a Few Examples Enough to Bridge the Supervision Gap in Open-Vocabulary Segmentation?

تقترح هذه الورقة مُكيِّفًا وقتيًّا معززًا بالاسترجاع يستفيد من مجموعة دعم قليلة العينات من الصور الموضحة بالبكسل لدمج الميزات النصية والبصرية، مما يجسّر بفعالية فجوة الأداء بين التجزئة مفتوحة المفردات في حالة عدم وجود بيانات مسبقة (zero-shot) والتجزئة الخاضعة للإشراف الكامل، مع الحفاظ على القدرة على التعرف على فئات عشوائية.

المؤلفون الأصليون: Tilemachos Aravanis, Vladan Stojnić, Bill Psomas, Nikos Komodakis, Giorgos Tolias

نُشر 2026-02-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tilemachos Aravanis, Vladan Stojnić, Bill Psomas, Nikos Komodakis, Giorgos Tolias

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً، ولكنه حرفي للغاية، كيفية تحديد ورسم الخطوط العريضة (الحدود) حول الأجسام في صورة ما.

المشكلة: معضلة الروبوت

الروبوت الذي تملكه هو نموذج لغوي بصري (VLM). إنه يشبه عبقرياً قرأ كل كتاب في المكتبة ورأى ملايين الصور.

الخبر الجيد: إذا سألته "ما هي 'الدراجة النارية'؟"، سيعرف تماماً ما تعنيه هذه الكلمة. يمكنه التعرف على المفهوم بشكل مثالي.
الخبر السيئ: نظرًا لأنه تعلم من الأوصاف النصية، فهو سيء جداً في رسم الخط العريض الدقيق للدراجة النارية في صورة معينة. قد يقول: "هذه دراجة نارية"، ولكنه قد يخطئ أيضاً ويحسب خوذة السائق أو السماء في الخلفية كجزء من الدراجة النارية. إنه يفتقر إلى الدقة على مستوى البكسل.

هذه هي الفجوة التي تحاول الورقة البحثية إصلاحها: كيف نجعل الروبوت الذي يفهم الكلمات، يصبح أيضاً فناناً بارعاً في رسم الحدود؟

الحلول القديمة (ولماذا فشلت)

النص فقط (Zero-Shot): أنت تخبر الروبوت فقط: "ابحث عن الدراجة النارية". هو يخمن بناءً على معرفته العامة. وغالباً ما يكون مخطئاً أو غامضاً (مثل تسمية الدراجة الهوائية دراجة نارية).
الصور فقط (Few-Shot): تعرض للروبوت بضع صور لدراجات نارية مع الخطوط العريضة مرسومة مسبقاً. يحاول هو تقليدها. ولكن إذا كانت الصورة الجديدة بزاوية غريبة أو إضاءة مختلفة، أو إذا لم يكن لديك صورة لجسم محدد (مثل "أريكة حمراء")، فسيصاب الروبوت بالارتباك.
المزيج "المصنوع يدوياً": حاولت الطرق السابقة الجمع بين النص والصور باستخدام قواعد جامدة مكتوبة مسبقاً (مثل الوصفة). "إذا كان النص يقول 'كلب' والصورة تبدو كفرو، أضف 50% كلب". هذا أسلوب فظ وغالباً ما يفشل عندما يكون الموقف معقداً.

الحل الجديد: "الاسترجاع والتقسيم" (RNS)

يقترح المؤلفون طريقة تسمى الاسترجاع والتقسيم (Retrieve and Segment - RNS). فكر في الأمر كأنك تعطي الروبوت مساعداً ذكياً وديناميكياً يعمل بناءً على كل حالة على حدة.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "أمين المكتبة الذكي" (الاسترجاع - Retrieval)

تخيل أنك تنظر إلى صورة لغرفة معيشة فوضوية. تريد من الروبوت أن يجد "الأريكة".

الطريقة القديمة: ينظر الروبوت إلى ذاكرته عن كلمة "أريكة" ويحاول التخمين.
طريقة RNS: يمتلك الروبوت مكتبة ضخمة من الصور المرجعية (مجموعة الدعم). هو لا ينظر إلى جميع هذه الصور فحسب، بل يعمل مثل أمين مكتبة ذكي ينظر إلى غرفتك الفوضوية المحددة ويقول: "آه، لديك قطة على الأريكة ومصباح بجانبها. دعني أسحب الصور المرجعية التي تحتوي أيضاً على قطط ومصابيح بالقرب من أريكة".
يقوم باسترجاع الأمثلة الأكثر صلة فقط من مكتبته والتي تطابق صورتك المحددة.

1. "المعلم الخصوصي اللحظي" (التكيف عند وقت الاختبار - Test-Time Adaptation)

بمجرد أن يجد الروبوت تلك الصور المرجعية ذات الصلة، فإنه لا يحفظها في ذاكرته للأبد. بدلاً من ذلك، يستأجر معلماً مؤقتاً وخفيف الوزن خصيصاً لهذه الصورة المحددة.

ينظر هذا المعلم إلى النص ("أريكة") والصور المسترجعة (أرائك مع قطط/مصابيح) ويتعلم قاعدة صغيرة ومخصصة: "في هذه الصورة المحددة، الأريكة هي الشيء الموجود تحت القطة، وليست الشيء الموجود بجانب المصباح".
يتم تدريب هذا المعلم في أقل من ثانية، ويقوم بعمله، ثم يتم التخلص منه. إنه خبير "لمرة واحدة فقط" لتلك الصورة الواحدة.

3. "الوصفة الممزوجة" (الدمج - Fusion)

السحر يكمكم في كيفية دمج المعلم بين النص (تعريف الأريكة) والمرئيات (المظهر المحدد للأريكة في الصور المرجعية).

بدلاً من قاعدة جامدة، يتعلم الروبوت كيفية مزجهما. إذا كان النص واضحاً ولكن الصورة ضبابية، فإنه يثق في النص أكثر. وإذا كان النص غامضاً ولكن الصورة مثالية، فإنه يثق في الصورة أكثر. إنه يجد التوازن المثالي لكل بكسل.

لماذا يعد هذا أمراً هاماً؟

إنه يتعامل مع المعلومات المفقودة: ماذا لو لم يكن لديك صورة مرجعية لـ "نبتة في أصيص"؟ لا يزال بإمكان الروبوت استخدام الوصف النصي للتخمين، ولكن إذا رأى نباتاً يشبه مرجع "الأريكة"، فيمكنه استخدام هذا الدليل البصري للمساعدة. إنه مرن.
إنه شخصي: يمكنك أن تري الروبوت صورة لكرسيك الأحمر الخاص بك. سيتعلم الروبوت فوراً كيفية العثين على ذلك الكرسي في الصور المستقبلية، مما يميزه عن "الكراسي" العامة. يسمى هذا التقسيم الشخصي (Personalized Segmentation).
إنه يسد الفجوة: إنه يحصل على دقة الرسم البشري (التعلم الخاضع للإشراف) دون الحاجة إلى ملايين الأمثلة المرسومة يدوياً. هو يحتاج فقط إلى بضعة أمثلة وطريقة ذكية لاستخدامها.

الخلاصة

تقدم الورقة نظاماً يتوقف عن معاملة كل صورة بنفس الطريقة. بدلاً من روبوت "مقاس واحد يناسب الجميع"، فإنه ينشئ خبيراً مخصصاً لكل صورة من خلال:

إيجاد الأمثلة الأكثر تشابهاً في ذاكرته.
مزج التعريف اللفظي مع المثال البصري بشكل مثالي لذلك المشهد المحدد.
رسم الخط العريض بدقة عالية.

إنه يشبه امتلاك محقق لا يكتفي فقط بقراءة الملف (النص) أو النظر إلى مسرح الجريمة (الصورة) بشكل منفصل، بل يجد فوراً القضايا السابقة الأكثر تشابهاً، ويجمع الأدلة، ويحل لغز "ما هو موجود وأين" في ثوانٍ معدودة.

1. بيان المشكلة

يهدف التقطيع مفتوح المفردات (Open-Vocabulary Segmentation - OVS) إلى تقطيع أي فئات كائنات يتم تحديدها عبر مطالبات نصية، مستفيداً من قدرات التعلم الصفري (zero-shot) للنماذج البصرية-اللغوية (VLMs). ومع ذلك، لا يزال الـ OVS يتخلف بشكل كبير عن طرق التقطيع الخاضعة للإشراف الكامل بسبب تحديين رئيسيين:

الإشراف الخشن (Coarse Supervision): تُدرب النماذج البصرية-اللغوية على أزواج (صورة-نص) على مستوى الصورة، مما يفتقر إلى الإشراف الدقيق على مستوى البكسل المطلوب لإنشاء أقنعة تقطيع دقيقة.
الغموض الدلالي (Semantic Ambiguity): غالباً ما تكون الأوصاف اللغوية الطبيعية غامضة، مما يؤدي إلى الهلوسة (مثل تصنيف الخلفية خطأً ككائن) أو الارتباك بين الفئات المتشابهة (مثل الدراجة النارية مقابل الدراجة الهوائية).

بينما تم استكشاف التعلم بلقطات قليلة (few-shot learning) (باستخدام أمثلة معدلة قليلة)، فإن الطرق الحالية غالباً ما تعتمد على دمج يدوي للميزات النصية والبصرية أو تفشل في التعامل مع السيناريوهات التي يغيب فيها الدعم البصري لبعض الفئات في بيئة مفتوحة.

2. المنهجية: الاسترجاع والتقطيع (RNS)

يقترح المؤلفون RNS، وهو محول وقت الاختبار (test-time adapter) مدعوم بالاسترجاع، يعمل على سد الفجوة بين التقطيع الصفري والتقطيع الخاضع للإشراف. بدلاً من إعادة تدريب العمود الفقري الثقيل للنموذج البصري-اللغوي، يتعلم RNS مصنفاً خطياً خفيف الوزن لكل صورة عبر دمج الميزات النصية والبصرية الداعمة ديناميكياً.

المكونات الأساسية:

مجموعات الدعم (Support Sets):
- الدعم النصي: أسماء الفئات أو الأوصاف التي تتم معالجتها بواسطة المشفر النصي للنموذج البصري-اللغوي.
- الدعم البصري: مجموعة صغيرة من الصور ذات البكسلات الموضحة (مجموعة الدعم) التي تتم معالجتها بواسطة المشفر البصري للنموذج لاستخراج ميزات على مستوى الرقعة (patch-level features).
بناء الميزات (Feature Construction):
- ميزات الفئة البصرية: يتم تجميع ميزات الرقع من الصور الداعمة بناءً على الأقنعة الحقيقية (ground-truth masks) لإنشاء ميزات فئة بصرية لكل صورة ( $v^i_c$ ). ويتم تجميع هذه الميزات عبر مجموعة الدعم لتشكيل ميزات الفئة البصرية العالمية ( $v_c$ ).
- الميزات المدمجة (Fused Features): لمعالجة الفجوة بين الأنماط (modality gap)، تنشئ الطريقة ميزات فئة مدمجة ( $f_{c\lambda}$ ) عن طريق الجمع الخطي بين الميزات النصية ( $t_c$ ) والميزات البصرية ( $v_c$ ) باستخدام معامل خلط $\lambda$ . تُستخدم قيم متعددة لـ $\lambda$ لالتقاط استراتيجيات دمج متنوعة.
آلية الاسترجاع (Retrieval Mechanism):
- بالنسبة لصورة اختبار معينة، يقوم النظام باسترجاع أقرب $k$ من الجيران (ميزات الدعم البصري) لكل رقعة/منطقة بناءً على التشابه.
- ينشئ هذا مجموعة دعم بصري مسترجعة ( $V_r$ ) خاصة بصورة الاختبار، مما يؤدي إلى تصفية الأمثلة غير ذات الصلة.
التكيف في وقت الاختبار (Test-Time Adaptation - TTA):
- يتم تدريب مصنف خطي خفيف الوزن ( $g_\theta$ ) لكل صورة اختبار باستخدام الميزات المسترجعة.
- دالة الخسارة (Loss Function): تقلل عملية التدريب إجمالي الخسارة $L = L_v + \beta_f L_f + \beta_p L_p$ $L = L_{v} + β_{f} L_{f} + β_{p} L_{p}$ :
  - $L_v$ (الخسارة البصرية): خسارة الإنتروبيا المتقاطعة (cross-entropy) على الميزات البصرية المسترجعة.
  - $L_f$ (خسارة الدمج): خسارة الإنتروبيا المتقاطعة على الميزات المدمجة للفئات الموجودة في المجموعة المسترجعة.
  - $L_p$ (خسارة الملصقات الزائفة): بالنسبة للفئات التي تفتقر إلى الدعم البصري، يستخدم النموذج تنبؤات التعلم الصفري لإنشاء ملصقات زائفة (pseudo-labels)، مما يسمح للنموذج بالتعلم من الأولويات النصية حتى بدون أمثلة بصرية.
- أوزان صلة الفئة ( $w_c$ ): تُستخدم درجة تشابه بين الميزة العالمية لصورة الاختبار والميزة النصية للفئة لوزن الخسارة، مما يقلل من تأثير الفئات المسترجعة غير ذات الصلة.

التعامل مع الدعم الجزئي:

تم تصميم RNS لسيناريوهات العالم المفتوح الديناميكية:

الدعم البصري الجزئي: إذا لم تكن هناك أمثلة بصرية لفئة ما، فإنه يعتمد على الملصقات الزائفة من تنبؤات التعلم الصفري لإنشاء ميزات بصرية.
الدعم النصي الجزئي: إذا كان اسم الفئة مفقوداً، يستخدم النموذج متوسط الميزة النصية للفئات المعروفة كأولوية محايدة.

3. المساهمات الرئيسية

إطار عمل RNS: تقديم محول وقت الاختبار المدعوم بالاسترجاع الذي يتعلم دمج الدعم النصي والبصري بشكل أكثر فعالية من طرق الدمج اليدوية السابقة.
القابلية للتكيف الديناميكي: يدعم RNS مجموعات دعم تتوسع باستمرار، مما يسمح بإضافة أمثلة بصرية جديدة في أي وقت دون إعادة تدريب العمود الفقري. كما يتعامل مع الحالات التي تمتلك فيها بعض الفئات نصوصاً فقط، أو صوراً فقط، أو كليهما.
الكفاءة: من خلال تجميد العمود الفقري للنموذج البصري-اللغوي وتدريب مصنف خطي خفيف الوزن لكل صورة فقط (يستغرق أقل من ثانية واحدة على وحدة معالجة رسوميات A100)، يحقق RNS أداءً قوياً مع حد أدنى من العبء الحسابي.
التقطيع المخصص (Personalized Segmentation): يمتد الإطار بشكل طبيعي لتقطيع حالات محددة (مثل "لوحتي الخاصة") عن طريق إضافة أمثلة خاصة بالحالة إلى مجموعة الدعم.

4. النتائج التجريبية

قيم المؤلفون RNS على ستة معايير (PASCAL VOC, Context, COCO, Cityscapes, ADE20K, إلخ) باستخدام OpenCLIP وDINOv3 كأعمدة فقارية.

مكاسب الأداء: يقلص RNS الفجوة بشكل كبير بين التقطيع الصفري والتقطيع الخاضع للإشراف الكامل.
- مع صورة دعم واحدة فقط لكل فئة، يحسن RNS أداء التعلم الصفري بمقدار +7.3% (OpenCLIP) و +18.4% (DINOv3).
- مع 20 صورة دعم، يقلص RNS الفجوة مع النماذج الخاضعة للإشراف الكامل إلى متوسط 11.5 mIoU، متفوقاً على ثاني أفضل طريقة OVS (وهي CAT-Seg) بمقدار 14.1 mIoU.
القوة تجاه البيانات المفقودة:
- في إعدادات الدعم البصري الجزئي (حيث تفتقر بعض الفئات إلى الصور)، يتدهور أداء RNS بشكل تدريجي، بينما تنخفض طرق مثل kNN-CLIP وFREEDA بشكل كبير تحت مستوى أداء التعلم الصفري.
- في إعدادات الدعم النصي الجزئي، يحافظ RNS على أداء عالٍ، مما يثبت أن الأنماط البصرية والنصية تكمل بعضها البعض بفعالية.
دراسات الاستئصال (Ablation Studies):
- إزالة آلية الاسترجاع (استخدام مجموعات فرعية عشوائية) يؤدي إلى انخفاض كبير في الأداء، مما يؤكد أهمية استرجاع الأمثلة البصرية ذات الصلة.
- إزالة أوزان صلة الفئة ( $w_c$ ) يقلل من الأداء، مما يسلط الض الضوء على الحاجة إلى كبح الفئات المسترجعة غير ذات الصلة.
- استخدام معاملات خلط متعددة ( $\Lambda$ ) للدمج يتفوق على الدمج بمعامل واحد.

5. الأهمية

يُظهر هذا العمل أن لقطات قليلة هي بالفعل كافية لسد فجوة الإشراف في التقطيع مفتوح المفردات، بشرما يتم استرجاع الأمثلة ودمجها بذكاء.

تحول في النموذج المعرفي: ينتقل العمل بعيداً عن التدريب الثابت وغير المتصل لرؤوس التقطيع نحو التكيف الدينماكي في وقت الاختبار الذي يستفيد من التضمينات الغنية للنماذج البصرية-اللغوية الحديثة.
العملية: القدرة على التعامل مع الأنماط المفقودة (نص أو صورة) تجعل RNS مناسباً للغاية لتطبيقات العالم المفتوح في الواقع، حيث تكون توفر البيانات غير متسق.
التخصيص: يوفر حلاً قوياً وخفيف الوزن لمهام التقطيع المخصص دون الحاجة إلى ضبط دقيق معقد للنماذج التأسيسية.

في الختام، يضع RNS معياراً جديداً للتقطيع مفتوح المفردات بلقطات قليلة من خلال الجمع الفعال بين المرونة الدلالية للنص ودقة الأمثلة البصرية عبر استراتيجية تعلم مدعومة بالاسترجاع وتكيف في وقت الاختبار.