FlowSeg: Dynamic Semantic Guidance for LLM-Conditioned Segmentation

ملخص تقني: FlowSeg: التوجيه الدلالي الديناميكي لتقسيم الصور المشروط بنماذج اللغات الكبيرة (LLM)

1. بيان المشكلة

تحدد الورقة نمط فشل مستمر في أنظمة تقسيم الصور الحالية القائمة على الاستعلام والمشروطة بنماذج اللغات الكبيرة (LLM)، وهو ما يُسمى بـ عدم الاتساق الدلالي (semantic misalignment). فبينما تنجح الأنظمة الحالية التي تتبع نهج "الاقتراح ثم الاختيار" (مثل X-SAM وHyperSeg) في توليد مرشحات أقنعة (mask candidates) عالية الجودة من خلال فك الترميز البصري التكراري، إلا أن التنبؤ النهائي غالباً ما يفشل في المطابقة مع الشرط اللغوي.

ويرى المؤلفون أن هذا الفشل لا ينبع من ضعف قدرات توليد الأقنعة، بل من انفصال المعاني اللغوية عن عملية توليد القناع. في البنيات الحالية:

• تعمل الشروط اللغوية كـ مطالبات ثابتة (static prompts) أو إشارات مطابقة لاحقة (post-hoc matching signals).
• يتم توجيه التحسين التكراري لاستعلامات الأقنعة بشكل أساسي عبر الميزات البصرية.
• نتيجة لذلك، قد ينتج النموذج مرشحاً دقيقاً بصرياً يلبي محتوى الصورة، ولكنه يفشل في تلبية القيود الدلالية المحددة للنص، مما يؤدي إلى اختيار خاطئ في المرحلة النهائية.

ويكشف التحليل المنهجي أنه في العديد من حالات الفشل، يوجد بالفعل مرشح قناع صحيح ضمن المجموعة المولدة، ولكن لا يتم اختياره بسبب عدم كفاية التوجيه الدلالي أثناء ديناميكيات فك الترميز.

2. المنهجية: FlowSeg

لمعالجة عدم الاتساق الدلالي، يقترح المؤلفون إطار عمل FlowSeg، الذي يستبدل المطالبات الثابتة بـ التدفق الدلالي ثنائي الاتجاه (Bidirectional Semantic Flow - BSF). يتيح هذا التصميم تفاعلاً عميقاً ومتبادلاً بين تضمينات الشروط المستمدة من نموذج اللغة (LLM) وحالات فك الترميز الوسيطة طوال عملية التوليد.

مكونات البنية الأساسية:

• المشفرات البصرية المزدوجة: يستخدم النظام "مشفراً عادياً" (Vanilla Encoder) للميزات الدلالية عالية المستوى (المسقطة في مساحة الـ LLM)، و"مشفر تقسيم" (Segmentation Encoder) للميزات البصرية دقيقة التفاصيل، مما يفصل بين الفهم الدلالي والتموضع الدقيق للبكسلات.
• التدفق الدلالي ثنائي الاتجاه (BSF): هذا هو الابتكار المركزي، ويحدث داخل فك ترميز التقسيم القائم على الاستعلام عبر $L$ من الطبقات. ويتكون من ثلاث آليات:
  1. الانتباه المتقاطع الدلالي (Semantic Cross-Attention): بدلاً من الانتظار حتى مرحلة المطابقة النهائية، تقوم استعلامات فك الترميز بالانتباه صراحةً إلى تضمينات الشروط (التي تعمل كمفاتيح وقيم/keys and values) في كل طبقة. هذا يحقن القيود اللغوية مباشرة في مسار تحسين الاستعلام.
  2. بوابات الدمج التكيفية (Adaptive Fusion Gates): إدراكاً بأن الاعتماد على الإشارات البصرية مقابل الدلالية يتفاوت عبر مراحل فك الترميز، يستخدم النموذج بوابة قابلة للتعلم لموازنة التمثيل المدمج للميزات البصرية والتوجيه الدلالي ديناميكياً. وهذا يسمح بانتقال سلس من التكامل متعدد الوسائط المتوازن إلى التحسين المقيد دلالياً.
  3. تحسين الشرط (Condition Refinement): لضمان ثنائية الاتجاه الحقيقية، يتم تحديث تضمينات الشروط نفسها عند كل طبقة من خلال الانتباه إلى استعلامات فك الترميز المحسنة. وهذا يسمح للتمثيل اللغوي باستيعاب الأدلة البصرية الناشئة تدريجياً، مما يربط الشرط الدلالي بسياق الصورة المحدد.
• تحسين القناع المدرك للحدود (Boundary-Aware Mask Refinement - BAR): وحدة خفيفة الوزن مصممة للتعامل مع الأخطاء المتبقية التي تتركز عند حدود الأجسام. فهي تحدد مناطق الحدود غير المؤكدة عبر التدرجات المورفولوجية وتطبق تحديثاً متبقياً انتقائياً. يعزز هذا الدقة المحلية دون المساس بالمناطق الداخلية الواثقة، ملتزماً بمبدأ "التعزيز لا الاستبدال".

التدريب:
يتم تدريب FlowSeg من البداية إلى النهاية (end-to-end) باستخدام هدف متعدد المهام يجمع بين التنبؤ التالي للرمز (next-token prediction) القياسي (لقدرات الـ LLM) وفقدان التقسيم (Cross-Entropy، وDice، وMask loss) مع إشراف عميق عبر جميع مراحل فك الترميز.

3. المساهمات الرئيسية

تزعم الورقة المساهمات التالية:

• تحديد عدم الاتساق الدلالي: أثبت المؤلفون تجريبياً أن العائق الرئيسي في تقسيم الصور القائم على الاستعلام هو اختيار المرشح وليس توليد المرشح. وقد أظهروا أن الأقنعة الدقيقة يتم توليدها غالباً ولكن يتم اختيارها بشكل خاطئ بسبب التكامل الدلالي الضحل.
• التطور الدلالي المشترك ثنائي الاتجاه: يحول FlowSeg المطالبات اللغوية الثابتة إلى عملية ديناميكية حيث توجه تضمينات الشروط تحسين الاستعلام بينما يتم تحديثها في الوقت نفسه بالأدلة البصرية. وهذا يتناقض مع الانتباه المتقاطع السابق حيث تظل التمثيلات اللغوية ثابتة أثناء فك الترميز.
• التحسين الهرمي: تعالج مقدمة "تحسين الحدود المدرك" (BAR) القصور المحدد في المحاذاة الدلالية العالمية، والتي غالباً ما تترك تفاصيل الحدود دون حل. يقوم نظام BAR بتصحيح المناطق غير المؤكدة بشكل انتقائي، مما يوفر مكملاً هرمياً للتدفق الدلالي العالمي.

4. النتائج التجريبية

أُجريت تجارب مكثفة على معايم تقسيم التعبيرات المرجعية (RefCOCO، RefCOCO+، RefCOCOg) ومعايير التقسيم الاستدلالي (ReasonSeg).

• الأداء: يحقق FlowSeg أداءً رائدًا (SOTA) عبر جميع المعاييم.
  • في RefCOCO، حقق تحسناً بنسبة 0.8% في cIoU عن أفضل أداء سابق (X-SAM).
  • في RefCOCO+ و RefCOCOg، كانت التحسينات أكثر وضوحاً (2.7% و 2.4% على التوالي)، مما يشير إلى قدرة أفضل على التعامل مع الأوصاف المعقدة والاستدلال الضمني.
  • في ReasonSeg، حقق FlowSeg نسبة 54.7% في cIoU، متفوقاً على X-SAM بنسبة 13.7%.
• استعادة حالات الفشل: أظهر تحليل "الحالات الصعبة" (حيث كان cIoU الأساسي < 0.5) أن FlowSeg استعاد 44.6% من هذه الأخطاء.
• تحليل الأوراكل (Oracle Analysis): كشف تحليل الحد الأعلى للأوراكل أن كل من النماذج الأساسية وFlowSeg يولدون مجموعات مرشحة عالية الجودة بشكل مماثل (Oracle cIoU $\approx$ 91%). وبالتالي، فإن فجوة الأداء تُعزى إلى اختيار أفضل للمرشحين عبر تحسين المحاذاة بين اللغة والقناع، وليس لقدرة توليد متفوقة.
• التحكم في العمود الفقري (Backbone Control): تؤكد دراسات الاستئصال (Ablation studies) أن مكاسب الأداء تنبع من بنية التدفق الدلالي ثنائي الاتجاه وليس من اختيار العمود الفقري لـ LLM، حيث يتفوق FlowSeg على النماذج المرجعية حتى عند استخدام نفس عمود Phi-3 الفقري.
• دقة الحدود: تعمل وحدة BAR على تحسين مقاييس Boundary IoU (BIoU) بشكل كبير دون تقليل تداخل المنطقة الإجمالي.

5. الأهمية والادعاءات

تذهب الورقة إلى أن السبب الجذري لفشل التأسيس الدلالي في تقسيم الصور المشروط بـ LLM هو المشاركة الضحلة للمعاني اللغوية أثناء عملية فك الترميز التكرارية. ومن خلال تقديم نموذج حيث تشارك اللغة والرؤية في تطور مشترك ثنائي الاتجاه ومستمر، يضمن FlowSeg أن القيود اللغوية تشكل عملية توليد القناع بنشاط بدلاً من مجرد تصفية النتائج لاحقاً.

يزعم المؤلفون أن هذا النهج يحل مشكلة "الانفصال الدلالي-البصري" المتأصلة في أطر العمل الحالية القائمة على الاستعلام، مما يؤدي إلى مطابقة أكثر موثوقية وتقسيم أعلى جودة، لا سيما في السيناريوهات التي تتضمن استدلالاً معقداً وأوصافاً غامضة. ويشير العمل إلى أن مهام الرؤية واللغة المستقبلية التي تتطلب مخرجات مكانية دقيقة تتماشى مع قيود دلالية عالية المستوى يجب أن تعطي الأولوية للتوجيه الدلالي الديناميكي على المطالبات الثابتة.

القيود: يقر المؤلفون بأن الطريقة الحالية تعتمد على علامات عبارات صريحة (مثل <p>...</p>) لاستخراج الشروط بدقة، وهو ما قد يكون أقل عملية في السيناريوهات الحوارية البحتة وغير المقيدة التي تفتقر إلى هذا التنسيق.