ملخص تقني: HyRo – المحاذاة الدلالية في الفضاء الزائدي للتجزئة الدلالية مفتوحة المفردات

1. بيان المشكلة

تهدف التجزئة الدلالية مفتوحة المفردات (OVSS) إلى تعيين فئات دلالية لكل بكسل في الصورة، بما في ذلك الفئات غير المرئية أثناء التدريب. وبينما توفر نماذج الرؤية واللغة (VLMs) مثل CLIP محاذات دلالية غنية، إلا أنها مُدربة مسبقًا لتمثيل مستوى الصورة، مما يجعل تكييفها مع التنبؤات الكثيفة على مستوى البكسل أمرًا صعبًا.

تواجه الأساليب الحالية قصورين أساسيين:

1. عدم التطابق الهرمي مقابل الدلالي: نجحت الأعمال الحديثة التي تستخدم الهندسة الزائدية (مثل HyperCLIP) في نمذجة العلاقات الهرمية من خلال ضبط النصف قطر الزائدي للتمثيلات لمطابقة دقة مستوى البكسل. ومع ذلك، فإنها غالبًا ما تغفل عن عدم المحاذاة الدلالية بين التمثيلات ضمن نفس المستوى الهرمي.
2. القيود الهندسية: في الفضاء الزائدي، يتم تشفير الهرمية عبر المسافة الشعاعية، بينما تنعكس التشابهات الدلالية في التوجه الزاوي. تفشل الطرق السابقة التي تكتفي فقط بضبط نصف القطر في تصحيح العلاقات الزاوية غير الصحيحة، مما يؤدي إلى سيناريوهات تكون فيها المفاهيم المتميزة دلاليًا (مثل "شخص" و"كرسي") مدمجة عند أنصاف أقطار متشابهة ولكن بزوايا خاطئة، مما يتسبب في تصنيف النموذج لها كجسم واحد.

2. المنهجية: HyRo (الدوران الزائدي)

يقترح المؤلفون HyRo، وهو إطار عمل للضبط الدقيق يقوم صراحةً بفصل المحاذاة الهرمية عن الصقل الدلالي داخل نموذج كرة بوانكاريه (Poincaré ball). الجوهر يكمن في أن الهرمية والدلالات تتوافقان مع خصائص هندسية متميزة: نصف القطر للهرمية والزاوية للدلالات.

2.1. الأساس النظري

يعمل الأسلوب في نموذج كرة بوانكاريه ($D^m_c$)، حيث:

• التوافق (Conformality): تُحفظ الزوايا المقاسة عند الأصل من الفضاء الإقليدي.
• التحويلات المتعامدة: يثبت المؤلفون أن تطبيق مصفوفة متعامدة $R$ على نقطة في كرة بوانكاريه يعمل كدوران مثالي. فهو يضبط العلاقة الزاوية (المحاذاة الدلالية) دون تغيير نصف القطر الزائدي (العمق الهرمي).
  • ليكن $x$ تمثيلاً. متجه مماسه عند الأصل هو $v_x = \log_0(x)$.
  • تطبيق مصفوفة متعاملة $R$ ينتج عنه $v'_x = R v_x$. وبما أن $R$ تحافظ على المعيار الإقليدي ($\|v'_x\| = \|v_x\|$)، فإن نصف القطر الزائدي يظل دون تغيير بعد إعادة الخرائط عبر الخريطة الأسية: $x' = \exp_0(R v_x) = R x$.

2.2. البنية وسير العمل

يتكون مسار HyRo (الموضح في الشكل 3) من أربع مراحل:

1. الخرائط إلى الفضاء الزائدي: يتم نقل تمثيلات الميزات الإقليدية ($z$) من CLIP إلى كرة بوانكاريه باستخدام الخريطة الأسية: $h = \exp_0^{\mathbb{D},c}(z)$.
2. التعديل الهرمي (نصف القطر): تقوم مصفوفة قطرية قابلة للتعلم $S$ (ذات بنية قطرية كتلية للكفاءة) بتغيير حجم نصف القطر الزائدي لمحاذاة التمثيلات مع دقة مستوى البكسل المناسبة: $q = S \otimes_c h$.
3. الصقل الدلالي (الدوران): يتم تطبيق مصفوفة متعامدة $R$ لصقل العلاقات الزاوية: $v = R q$.
   • الترميز: لضمان أن $R$ متعامدة تمامًا، يستخدم المؤلفون تحويل كايلي (Cayley transform) على مصفوفة مائلة متناظرة (skew-symmetric) قابلة للتعلم $\Theta$: $R = (I + A)(I - A)^{-1}$، حيث $A = \Theta - \Theta^\top$.
   • الكفاءة: للتعامل مع تمثيلات CLIP عالية الأبعاد (مثل 768 بُعدًا) وأبعاد الوسائط المختلفة، يتم تفكيك $R$ إلى مصفوفات قطرية كتلية مستقلة، مما يقلل التكلفة الحسابية من $O(d^3)$ إلى $O(d^3/n^2)$.
4. فك الترميز: يتم نقل التمثيلات الزائدية المصقولة مرة أخرى إلى الفضاء الإقليدي عبر الخريطة اللوغاريتمية وتغذيتها إلى مجمع تجميع التكلفة (المبني على CATSeg) لتوليد تنبؤات على مستوى البكسل.

2.3. استراتيجية التدريب

• المشفرات المجمدة: تظل مشفرات CLIP مجمدة للحفاظ على قدرات التعميم.
• الضبط الدقيق: يتم ضبط معلمات التحويل الزائدي فقط (مصفوفات تغيير نصف القطر $S$ ومصفوفات الدوران $R$) باستخدام فقدان التقاطع التقاطعي (cross-entropy loss) على مستوى البكسل.

3. المساهمات الرئيسية

1. المحاذاة المفككة: يقدم البحث إطار عمل يفصل صراحةً بين المحاذاة الهرمية (نصف القطر) والصقل الدلالي (الزاوية) في الفضاء الزائدي، مما يعالج فجوة حرجة في أساليب OVSS السابقة.
2. استراتيجية الدوران المتعامد: طريقة مبررة نظريًا تستخدم التحويلات المتعامدة (عبر ترميز كايلي) لتعديل الزوايا الدلالية دون تشويه البنية الهرمية.
3. أداء رائد (State-of-the-Art): يحقق الأسلوب المقترح نتائج متفوقة في الاختبارات القياسية، مما يثبت صحة النهج الهندسي.

4. النتائج التجريبية

قيم المؤلفون HyRo على اختبارات OVSS القياسية: ADE20K (A-847, A-150)، PASCAL-Context (PC-459, PC-59)، وPASCAL VOC (PAS-20, PAS-20b).

• الأداء الكمي: حقق HyRo أفضل أداء في أربعة من أصل ستة اختبارات. ومن الجدير بالذكر أنه تفوق على الحالة الراهنة للنماذج الزائدية (HyperCLIP) بـ:
  • +0.1 mIoU في A-847 (12.0 مقابل 11.9)
  • +0.7 mIoU في PC-459 (18.9 مقابل 18.2)
  • +0.2 mIoU في PC-59 (57.3 مقابل 57.1)
  • +0.1 mIoU في PAS-20 (95.0 مقابل 94.9)
• التحسينات النوعية: تظهر التصورات أن HyRo يحل بفعالية حالات الغموض الدلالي حيث تفشل الطرق السابقة. على سبيل المثال، في المشاهد التي يوجد فيها شخص مستلقٍ على كرسي، غالبًا ما يخطئ HyperCLIP في تصنيف كليهما كـ "كرسي"، بينما يقوم HyRo بفك الارتباط بينهما بشكل صحيح. وتؤكد خرائط الانتباه أن HyRo يركز الانتباه على المناطق المستهدفة ويقلل من ضجيج الخلفية.
• دراسات الاستئصال (Ablation Studies):
  • أهمية المكونات: الجمع بين تغيير نصف القطر والدوران يعطي أفضل النتائج. تم تحديد الدوران كمحرك رئيسي للتعميم مفتوح المفردات، بينما يضمن تغيير نصف القطر قابلية الفصل الدقيقة.
  • الانحناء ($c$): وُجد أن انحناءً "أكثر ليونة" ($c=0.01$) هو الأمثل، مما يحافظ على قدرة التعميم الصفري لـ CLIP مع السماح بالتعديلات الهرمية اللازمة.
  • حجم الكتلة (Block Size): وفر حجم كتلة $n=256$ أفضل توازن بين السعة والتعميم.

5. الأهمية والادعاءات

يدعي البحث أن HyRo يسلط الضوء على أهمية النمذجة المشتركة للهرمية والدلالات في الفضاءات غير الإقليدية. ومن خلال إثبات أن العلاقات الزاوية لا تقل أهمية عن المسافات الشعاعية للتنبؤات الكثيفة، يفتح هذا العمل آفاقًا جديدة لتعلم التمثيل الهندسي في مهام الرؤية واللغة.

يضع المؤلفون عملهم كحل لمشكلة "عدم المحاذاة الدلالية" المتأصلة في الأساليب الزائدية السابقة. ويجادلون بأن مجرد تعديل الدقة (نصف القطر) ليس كافيًا؛ بل يتطلب الأمر تحسينًا صريحًا للتوجه الدلالي (الزاوية) لتحقيق تعميم قوي مفتوح المفردات. ويُقدم الأسلوب كخطوة هامة للأمام لتكييف النماذج التأسيسية مع الفهم الكثيف على مستوى البكسل دون التضحية بقدرتها على التعرف على الفئات غير المرئية.

يُقترح في العمل المستقبلي توسيع هذا النهج الهندسي الزائدي ليشمل مهام تجزئة الفيديو مفتوحة المفردات المعقدة (مثل MOSE, MeViS)، رغم أن النطاق الحالي يقتصر على الصور الثابتة.