Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

ملخص تقني: المحاذاة المجزأة بين الرؤية واللغة للتقسيم دقيق التفاصيل مفتوح المفردات

بيان المشكلة
تعاني نماذج التقسيم مفتوحة المفردات (OVS)، رغم قدرتها على التعميم إلى أسماء الفئات غير المرئية عبر التدريب المسبق للرؤية واللغة، من صعوبة في التعميم على تركيبات غير مرئية من فئات الكائنات والسمات (على سبيل المثال، التمييز بين "مبنى صناعي ذي سقف مسطح" و"مبنى سكني ذي سقف مسطح" عندما لم تكن هذه التركيبة المحددة موجودة أثناء التدريب). تقوم النهج الحالية بتشفير المطالبة النصية بأكملها كتسلسل متكامل واحد. هذا التشفير المتكامل يدمج دلالات الفئة والسمة ضمن تمثيل مشترك، مما يمنع النموذج من تفكيك وإعادة دمج الوحدات الدلالية وقت الاستدلال. وبناءً على ذلك، تفشل النماذج في فرض قيود "و" (AND) المنطقية المطلوبة للاستدلال التركيبي الدقيق، مما يؤدي إلى تدهور الأداء على تركيبات السمات والفئات غير المرئية.

المنهجية
يقترح المؤلفون إطار عمل المحاذاة المجزأة بين الرؤية واللغة المصمم لتجزئة المطالبات النصية صراحةً وفرض القيود التركيبية على مستويي الميزات والدرجات. هذا الأسلوب مستقل عن النموذج، ولكن تم تطبيقه هنا ضمن بنية SAM3.

1. تفكيك المطالبة الصريح:
   بدلاً من دمج النصوص في جملة واحدة، يقوم الإطار بتشفير الفئة وكل سمة بشكل مستقل. ولحل الغموض الهندسي (على سبيل المثال، تطبيق "سقف مسطح" على أي سطح مسطح)، يتم اشتراط السمات بناءً على الفئة أثناء التشفير (على سبيل المثال، تشفير "سقف مسطح" كـ "مبنى ذي سقف مسطح"). ينتج عن ذلك تمثيل مهيكل يتكون من تسلسل رمز الفئة ($t_c$)، ومجموعة من تسلسلات رموز السمات ($t_{a_k}$)، وقناع وجود السمات ($m$).

2. الاهتمام المتقاطع الموجه بالميزات:
   ينفذ الإطار اهتماماً متقاطعاً مجزأً بين الاستعلامات البصرية وكل وحدة دلالية.

• تفاعل الفئة: يُستخدم الاهتمام المتقاطع القياسي لمحاذاة الاستعلامات مع رمز الفئة.
• بوابات السمات: لكل سمة، يقوم فرع اهتمام متقاطع منفصل بإنشاء خريطة توجيه ($G_{a_k}$) عبر دالة "سيجمويد" (sigmoid). تعمل هذه البوابات كمرشحات "الشروط الضرورية".
• تركيب "و" (AND): يتم الحصول على مخرجات الميزة النهائية عن طريق الضرب العنصري للميزات المحاذية للفئة وجميع بوابات السمات النشطة ($F_{out} = Q_c \odot \prod G_{a_k}$). هذا التجميع الضربي يفرض أن الميزة البصرية لا تُحفظ إلا إذا استوفت جميع قيود السمات في آن واحد.

3. التقييم التركيبي في الفضاء اللوغاريتمي:
   لتجنب عدم الاستقرار العددي وتلاشي التدرج المرتبط بضرب الاحتمالات، تعمل آلية التقييم في الفضاء اللوغاريتمي.

• يتم حساب درجات المطابقة للفئة ولكل سمة بشكل مستقل.
• يتم تحويل هذه الدرجات إلى احتمالات عبر دالة "سيجمويد"، ثم تُحول إلى لوغاريتمات احتمالية.
• الدرجة التركيبية النهائية هي مجموع هذه اللوغاريتمات الاحتمالية، مقسومة على عدد المكونات النشطة. هذه الصيغة تقرب رياضياً عملية "و" المنطقية ($\log(\prod \pi) = \sum \log(\pi)$) مع الحفاظ على استقرار التدرجات أثناء التحسين.

المساهمات الرئيسية

• المحاذاة المجزأة بين الرؤية واللغة: إطار عمل يتكامل بسلاسة مع بنيات التقسيم القائمة على المحولات (Transformers)، حيث يفصل صراحةً بين تفاعلات الفئة والسمة لتحسين التقسيم مفتوح المفردات دقيق التفاصيل.
• الاهتمام المتقاطع الموجه بالميزات: وحدة مبتكرة تعمل فيها السمات كمرشحات مكانية، مما يفصل تعلم الميزات الخاص بالسمة ويفرض القيود التركيبية عبر التوجيه الضربي.
• التقييم التركيبي في الفضاء اللوغاريتمي: استراتيجية تقييم تنمذج صراحةً علاقات "و" المنطقية بين الوحدات الدلالية، مما يوفر استقراراً عددياً وسلوك تحسين أفضل مقارنة بضرب الاحتمالات المباشر.
• بروتوكول تقييم التعميم التركيبي: تقديم بروتوكول تقييم صارم يقسم البيانات إلى تركيبات (سمة-فئة) مرئية وغير مرئية، باستخدام مقاييس مثل AP غير المرئي، وفجوة المرئي-غير المرئي ($R_d$)، وكفاءة "و" (AND-Efficiency) لقياس قدرات الاستدلال التركيبي.

النتائج التجريبية
تم تقييم الطريقة على مجموعة بيانات مباني UBC ومجموعة بيانات PACO-LVIS في إطار إعداد التعميم التركيبي حيث تم استبعاد تركيبات محددة من (السمة-الفئة) من التدريب.

• مكاسب الأداء: في مجموعة بيانات UBC، رفعت الط المقترحة من AP غير المرئي من 4.0 (خط الأساس SAM3) إلى 7.1، بينما تحسنت كفاءة "و" بشكل كبير من 0.533 إلى 0.959. وفي PACO-LVIS، ارتفع AP غير المرئي من 37.9 إلى 39.2، وتحسنت كفاءة "و" من 0.874 إلى 0.907.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن التشفيد المتكامل يحد من التعميم. أدى استبدال التشفيد المتكامل بالتشفيد المستقل والتجميع المتوسط إلى تحسين النتائج، لكن آلية "اللوغاريتم و" (Log-Space AND) الكاملة قدمت المكاسب الأكثر أهمية. علاوة على ذلك، تفوقت الطريقة على طرق التعلم الصفري الصفرى التركيبي (CZSL) المعدلة (مثل AttrAsOp وCGE)، مما يثبت أن التوجيه المكاني على مستوى البكسل يتفوق على ناقلات التركيب العالمية لمهام التنبؤ الكثيف.
• التحليل النوعي: أظهرت تصورات بوابات الميزات أن النموذج تعلم بنجاح قمع الحالات التي تطابق الفئة ولكنها تخالف قيود سمة معينة (على سبيل المثال، قمع المباني التجارية عندما تتطلب المطالبة "سكنية")، مما يؤكد فعالية آلية التوجيه الضربي.

الأهمية
يزعم البحث أن أهميته الرئيسية تكمن في معالجة التحيز المنهجي لنماذج الرؤية واللغة في الاستدلال التركيبي دقيق التفاصيل. من خلال نقل رؤية التفكيك من مستوى الصورة في التعلم الصفري التركيبي إلى مجال التقسيم على مستوى البكسل، يوضح العمل أن التفكيك الصريح للوحدات الدلالية وفرض القيود المنطقية على مستوى الميزة أمر بالغ الأهمية للتعميم على التركيبات غير المرئية. ويرى المؤلفون أن هذا الإطار يوفر أساساً قوياً لتطوير أنظمة إدراك عالمي أكثر موثوقية قادرة على التعامل مع الأوصاف الدلالية المعقدة والمهيكلة.