Phrase-Instance Alignment for Generalized Referring Segmentation

إليك ملخص تقني مفصل لورقة البحث بعنوان "محاذاة العبارة-النموذج (InstAlign) لتجزئة المراجع المعممة" (InstAlign).

1. تعريف المشكلة

توسع تجزئة التعبير المرجعي المعممة (GRES) نطاق تجزئة التعبير المرجعي التقليدية (RES) للتعامل مع سيناريوهات أكثر تعقيداً وواقعية حيث قد يشير التعبير اللغوي إلى:

• كائن واحد.
• كائنات متعددة مرتبطة ببعضها (مثل "رجلان على اليسار").
• لا توجد كائنات على الإطلاق (مثل "الفيل الموجود على الأريكة" في حال عدم وجود فيل).

التحدي الجوهري: تتعامل نماذج GRES الحالية عادةً مع جميع الحالات بشكل موحد عبر التنبؤ بقناع ثنائي واحد للخلفية (foreground mask). هذا النهج "القائم على المنطقة" (region-based) يؤدي إلى تسطيح البنية اللغوية، مما يفشل في التفكير الصريح في كيفية استجابة عبارات محددة لنماذج بصرية متميزة. وبناءً على ذلك، تواجه هذه النماذج صعوبة في فصل النماذج المرتبطة، أو التقاط السمات المحددة، أو التعامل مع اللغة التركيبية، مما يؤدي غاللباً إلى الإفراط في التجزئة، أو نقص التجزئة، أو الخلط بين الكائنات المتشابهة.

2. المنهجية: InstAlign

يقترح المؤلفون InstAlign، وهو إطار عمل يعيد صياغة GRES كمسألة استدلال على مستوى النموذج (instance-level reasoning). فبدلاً من التنبؤ بقناع مدمج واحد، يقوم النموذج أولاً بالتنبؤ بنماذج كائنات متعددة ثم يحاذيها مع العبارات اللغوية قبل تجميعها.

تتكون البنية من ثلاثة مكونات رئيسية:

أ. إطار تجزئة مدرك للنماذج (Instance-Aware Segmentation Framework)

• العمود الفقري (Backbone): يوسع النموذج عموداً فقرياً لتجزئة النماذج قائم على الاستعلام (Mask2Former) ليعمل تحت تأثير التعبيرات المرجعية.
• الآلية: يأخذ صورة وتعبيراً نصياً كمدخلات. وتتفاعل مجموعة من استعلامات الكائنات القابلة للتعلم مع الميزات البصرية متعددة المقاييس ورموز النص (text tokens) من خلال طبقات فك التشفير المحولة (Transformer decoder).
• المخرجات: يخرج النموذج $N$ من أقنعة النماذج المتميزة ودرجات الصلة المرتبطة بها ($\hat{p}$)، بدلاً من قناع مدمج واحد. وهذا يقدم إشرافاً صريحاً على مستوى الكائن، مما يجبر كل استعلام على التخصص في نموذج متميز وقابل للتفسير.

ب. محاذاة العبارة-الكائن (Phrase-Object Alignment - POA)

لسد الفجوة بين العبارات اللغوية والنماذج البصرية، قدم المؤلفون آلية مبتكرة لـ محاذاة العبارة-الكائن (POA).

• المفهوم: على عكس الطرق السابقة التي تعتمد على الانتباه المتبادل الضمني، تقوم POA بربط كل استعلام كائن صراحةً بالعبارة اللغوية الأكثر صلة به.
• العملية:
  1. الصلة بين الرمز والاستعلام (Token-to-Query Relevance): تحسب خريطة انتباه توضح مدى قوة ارتباط كل استعلام كائن بكل رمز كلمة في التعبير.
  2. تضمين العبارة (Phrase Embedding): تبني تضميناً لغوياً ناعماً لكل استعلام كائن عن طريق وزن الميزات النصية بناءً على خريطة الانتباه.
  3. خسارة المحاذاة (Alignment Loss): تفرض الاتساق الدلالي من خلال تقليل المسافة الجيبية (cosine distance) بين تضمين استعلام الكائن وتضمين العبارة المقابلة له.
• الفائدة: يضمن ذلك أن النماذج المتوقعة مؤصلة لغوياً، مما يساعد النموذج على التمييز بين الكائنات المتشابهة (على سبيل المثال، التمييز بين "الكلب على اليسار" و"الكلب على اليمين").

ج. التجميع المرجح بالصلة (Relevance-Weighted Aggregation)

بمجرد تجزئة النماذج ومحاذاتها، يجب على النموذج إنتاج المخرج النهائي، والذي قد يكون كائناً واحداً، أو كائنات متعددة، أو "لا هدف".

• تجميع النماذج (Instance Aggregation - IA): بالنسبة للأهداف الصالحة، يتم إنشاء القناع النهائي من خلال تجميع مرجح بالصلة لجميع نماذج الكائنات المتوقعة. الصيغة هي:
  $$M_{merged} = \text{Sigmoid}\left( \sum_{i=1}^{N} (\hat{p}_i \cdot \sigma(\hat{s}_i)) \right)$$
  حيث $\hat{p}_i$ هو درجة الصلة المتعلمة، و$\hat{s}_i$ هو منطق قناع النموذج، و$\sigma$ هو تنشيط PReLU يعمل كعتبة ديناميكية قابلة للتعلم لقمع ضجيج الخلفية. وهذا يسمح بدمج ناعم للنماذج ذات الصلة مع قمع المشتتات.
• متنبئ "لا هدف" (No-Target Predictor): يحدد وحدة خفيفة الوزن ما إذا كان التعبير يشير إلى أي كائن. وهي تجمع استعلامات الكائنات الموزونة بدرجات صلتها وتدمج هذا مع تضمين نصي على مستوى الجملة لتصنيف سيناريو "لا هدف".

3. المساهمات الرئيسية

1. الإشراف الصريح على مستوى النموذج: أول عمل يقدم إشرافاً صريحاً على مستوى الكائن في GRES، مما يسمح لكل استعلام بالتخصص في نموذج متميز مرتبط بالتعبير.
2. محاذاة العبارة-الكائن (POA): آلية قابلة للاشتقاق توفر إشرافاً مباشراً لترابط العبارة والنموذج، مما ينتج استعلامات كائنات مفسرة ومؤصلة دلالياً.
3. التجميع المرجح بالصلة: آلية موحدة تدمج النماذج ذات الصلة ديناميكياً وتتعامل بمتانة مع سيناريوهات "لا هدف" دون الحاجة إلى بنيات منفصلة ومعقدة لأنواع التعبيرات المختلفة.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات قياسيتين: gRefCOCO و Ref-ZOM.

• الأداء على gRefCOCO:
  • cIoU: بنسبة 68.94% (الأداء السابق SOTA: ~65.72% بواسطة MABP). تحسن قدره +3.22%.
  • N-acc (دقة لا هدف): بنسبة 79.72% (الأداء السابق SOTA: ~67.47% بواسطة LQMFormer). تحسن قدره +12.25%.
  • تفوق على كل من طرق RES التقليدية ونماذج الرؤية-اللغة القائمة على النماذج اللغوية الكبيرة (LLM) (مثل LISA و GSVA).
• الأداء على Ref-ZOM:
  • حقق نتائج رائدة (SOTA) بـ 70.81% mIoU و 94.23% Acc لاكتشاف "لا هدف".
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة POA إلى انخفاض كبير في الأداء، مما أكد ضرورة المحاذاة الصريحة بين العبارة والنموذج.
  • تفوق التجميع المرجح بالصلة (IA) على استراتيجيات الاختيار الصلبة، مما أثبت قيمة الدمج الناعم.
  • النموذج فعال (230 مليون معلمة) مقارنة بالنماذج الثقيلة القائمة على LLM.

5. الأهمية

• القابلية للتفسير: من خلال محاذاة عبارات محددة لنماذج كائنات محددة، تصبح عملية الاستدلال في النموذج شفافة وقابلة للتفسير بشرياً.
• المتانة: يتعامل الإطار مع اللغة التركيبية المعقدة (السمات، العلاقات) وحالات "لا هدف" بشكل أفضل بكثير من النهج السابقة القائمة على المناطق.
• تحول في النموذج (Paradigm Shift): ينقل المجال من "التنبؤ بكتلة" إلى "الاستدلال حول النماذج"، واضعاً معياراً جديداً لمهام التأسيس البصري-اللغوي التي تتطلب فهماً دقيقاً.

في الختام، يثبت InstAlign أن تفكيك مهمة GRES إلى كشف النماذج، ومحاذاة العبارات، والتجميع المرجح يؤدي إلى أداء متفوق ومتانة في السيناريوهات البصرية-اللغوية المعقدة.