Can Segmentation Models Understand the World? Towards Proactive Affordance Reasoning via Visual Chain-of-Thought

ملخص تقني: SegWorld – نحو استدلال استباقي للقدرة الارتفاقية عبر سلسلة الأفكوت البصرية

1. تعريف المشكلة: الفجوة بين القصد والهدف

تعمل نماذج التجزئة الحالية الموجهة باللغة، والتي تدمج النماذج اللغوية الكبيرة (LLMs) مع أجهزة فك تشفير الأقنعة (mask decoders)، بشكل أساسي تحت نموذج مشروط بالاستعلام (query-conditioned paradigm). في هذا الإعداد، تكون التعليمات "مرجعية للهدف"، حيث تسمي أو تصف أو تقيد صراحةً المنطقة المحددة المراد تجزئتها (على سبيل المثال، "جزئ الكوب الأحمر"). وبينما قدمت الأعمال الحديثة سلسلة أفكوت بصرية (visual chain-of-thought) للتعامل مع الاستدلال الضمني، إلا أن المشهد البصري يظل غير ذي صلة حتى يتم طرح استعلام محدد.

ومع ذلك، في التفاعل الواقعي مع الأجسام (embodied interaction)، غالبًا ما تكون تعليمات البشر ذات مستوى قصد (intent-level) ونفعية. فهي تصف نتيجة مرغوبة دون تحديد منطقة الهدف (على سبيل المثال، "أريد أن أشرب الماء" في مشهد يحتوي على كوب، وغلاية، وصحن). وتلبية مثل هذا التعليمة تتطلب من الوكيل القيام بما يلي:

1. استنتاج الكائن ذي الصلة (الكوب).
2. تحديد الإجراء الضروري (الإمساك).
3. تحديد الجزء الحامل للقدرة الارتفاقية (affordance-bearing part) المحدد الذي يُمكّن الإجراء، بدلاً من الكائن بأكمله (مثل المقبض، وليس الكوب كاملاً).

تعاني النماذج الحالية من هذه الفجوة بين "القصد والجزء" (intent-to-part) لأنها تفتقر إلى الاستدلال الاستباقي لربط الأهداف عالية المستوى بمواقع التفاعل الفيزيائي منخفضة المستوى.

2. المنهجية: إطار عمل SegWorld

يقترح المؤلفون SegWorld، وهو إطار عمل يستبدل الربط المباشر بين التعليمات والقناع بعملية استدلال استباقية متعددة المستويات. الابتكار الجوهري هو بنية مكونة من مرحلتين وثلاث مراحل تُصوّر التجزئة كاستدلال احتمالي حيث يعمل الملاحظة الاستباقية كمعلومات سابقة (prior).

أ. الصياغة الاحتمالية
يقوم SegWorld بتقريب التقدير المباشر $P_\theta(M | I, q)$ عن طريق الهامش فوق سياق مشهد مستقل عن التعليمات $c$:
$$P_\theta(M | I, q) \approx \mathbb{E}_{c \sim P_\theta(c|I)} [P_\theta(M | I, q, c)]$$
حيث $I$ هي الصورة، و $q$ هي التعليمات، و $c$ هو السياق اللغوي للمشهد الذي تم توليده قبل معرفة التعليمات.

ب. البنية والمراحل
يستخدم النموذج عمودًا فقريًا مشتركًا للرؤية واللغة (مُضبط عبر LoRA) وفك تشفير قناع SAM2. تسير العملية عبر جولتين أماميّتين:

1. المرحلة 0: الملاحظة الاستباقية (المستقلة عن التعليمات)

   • المدخلات: الصورة $I$ فقط.
   • المخرجات: سياق لغوي للمشهد $c = (s, o_{list}, r, e)$.
   • العملية: يولد النموذج أربعة مستويات من الاستدلال:
     • المشهد ($s$): وصف عام للإطار العام.
     • الأجسام ($o_{list}$): قائمة بالأجسام المرئية البارزة.
     • العلاقات ($r$): العلاقات المكانية والوظيفية.
     • الأحداث ($e$): التفاعلات المحتملة التي يتيحها المشهد (مثل "الصب"، "الرشف").
   • الهدف: إنشاء "سياق مشهد لغوي" يعمل كمعلومات سابقة غنية بالمعلومات، مستقلة عن استعلام المستخدم المحدد.

2. المرحلة 1: الاستدلال المشروط بالتعليمات

   • المدخلات: الصورة $I$، والتعليمات $q$، والسياق $c$.
   • العملية: يتتبع النموذج سلسلة أفكوت بصرية مكونة من ثمانية مستويات منظمة في ثلاث مراحل فرعية:
     • حل القصد (Intent Resolution): يحدد الكائن ذي الصلة ($o$) والإجراء ($a$) المطلوب لتحقيق القصد.
     • تأسيس القدرة الارتفاقية (Affordance Grounding): يحدد جزء الكائن المحدد ($p$) الذي يدعم الإجراء ويسمي قدرته الارتفاقية ($f$).
     • التجزئة (Segmentation): تنتهي السلسلة برمز [SEG] خاص. يتم إسقاط حالته المخفية إلى تضمين محفز (prompt embedding) لفك تشفير قناع SAM2، والذي يدمج هذا مع ميزات الصورة للتنبؤ بالقناع الثنائي $M$.

ج. استراتيجية التدريب

• الهدف: تدريب مشترك مع فقدان القناع (التقاطع الثنائي المتوافق + Dice) وفقدان النمذجة اللغوية لكل من سلسلة الملاحظة وسلسلة الاستدلال.
• الإشراف: يتم تركيب مستويات الملاحظة (offline) باستخدام نماذج الرؤية واللغة لضمان كونها مستقلة عن التعليمات. تستخدم مستويات الاستدلال ملاحظات حقيقية (ground-truth) من المعيار الجديد.
• أخذ العينات المجدول (Scheduled Sampling): لسد الفجوة بين التدريب والاختبار، يتم تدريب النموذج على التكيّف مع السياقات المُركبة في البداية، ثم الانتقال تدريجيًا إلى السياقات المولدة ذاتيًا.

3. المساهمات الرئيسية

1. إعداد التجزئة بمستوى القصد: يحدد البحث ويعرف نموذجًا جديدًا للتجزئة حيث تحدد التعليمات هدفًا بدلاً من هدف مرجعي، مما يتطلب استعادة الجزء الحامل للقدرة الارتفاقية من خلال خطوات استدلال كامنة ($q \to o \to a \to (p, f) \to M^\star$).
2. إطار عمل SegWorld: نموذج تجزئة استباقي يقوم بسلسلة أفكوت بصرية من ثمانية مستويات. وهو مؤصل رسميًا في الاستدلال الاحتمالي، حيث يستخدم الملاحظة الاستباقية لتوفير سياق مشهد يعمل على توضيح التوزيع البعدي للاستعلامات ذات مستوى القصد.
3. معيار Intent2Part: مجموعة بيانات جديدة تم إنشاؤها بناءً على InstructPart، حيث أضيفت تعليمات مستوى القصد إلى 1,800 عينة تدريب و600 عينة اختبار. وهي تتضمن أهدافًا عالية المستوى (مثل "أريد الاسترخاء") مقترنة بالأجزاء المقابلة الحاملة للقدرة الارتفاقية (مثل مقبض كأس النبيذ).

4. النتائج التجريبية

أُجريت التجارب على معيار Intent2Part، لمقارنة SegWorld مع نماذج مرجعية مثل LISA وSa2VA وAffordance-R1 وSAM3-I.

• الأداء المرجعي للهدف: يطابق SegWorld أو يتفوق على النماذج المرجعية القوية في التعليمات المرجعية والاستدلالية القياسية، مما يثبت أن آلية الاستدلال الاستباقي لا تضعف الأداء في المهام التقليدية.
• الأداء بمستوى القصد:
  • التعميم صفري المحطة (Zero-Shot Generalization): حقق SegWorld v1 (المدرب فقط على التعليمات المرجعية للهدف) قيمة 0.514 mIoU على تقسيم test_clean الخاص بمستوى القصد، متفوقًا على أقوى نموذج مرجعي (Affordance-R1) بمقدار 3.4 نقطة. وهذا يشير إلى أن النموذج يتعلم نمط استدلال قابل لإعادة الاستخدام من "القصد إلى الجزء".
  • التحسين الخاضع للإشراف: حقق SegWorld v2 (المدرب مع تعليمات مستوى القصد) تحسنًا إضافيًا ليصل إلى 0.612 mIoU على test_clean، متفوقًا بشكل كبير على جميع النماذج المرجعية.
  • انبعاث الرمز (Token Emission): على عكس النماذج الجاهزة (مثل Sa2VA) التي غالبًا ما تفشل في إصدار رمز التجزئة للاستعلامات ذات مستوى القصد (وتكتفي بالرد حواريًا)، يلتزم SegWorld باستمرار بإنتاج قناع.
• دراسات الاستئصال (Ablation Studies): أدى إزالة السياق الاستباقي أو سلسلة استدلال المرحلة الأولى إلى انخفاض كبير في الأداء، مما يؤكد أن الاستدلال الصريح حول الأجسام والأفعال والقدرات الارتفاقية أمر بالغ الأهمية لتأسيس القصد.

5. الأهمية والادعاءات

يزعم البحث أن SegWorld يمثل خطوة نحو أنظمة تجزئة تستدل على ما يتيحه المشهد (affords) بدلاً من مجرد اتباع تعليمات صريحة. ومن خلال التحول من نموذج استجابي مشروط بالاستعلام إلى نموذج استباقي، يمكن للنموذج التعامل مع الطبيعة غير المحددة للقصد البشري في التفاعل مع الأجسام.

يؤكد المؤلفون أن سلسلة الأفكوت البصرية تجعل عملية التنبؤ قابلة للتفسير والتتبع، حيث تكشف عن أصل التنبؤ (على سبيل المثال، السلسلة الاستدلالية التي تؤدي إلى "المقبض" بدلاً من "الزجاجة" بأكملها). كما يقرون بالقيود، مشيرين إلى أن العمل الحالي يقتصر على الصور الثابتة والنيات أحادية الخطوة، وأن الاستدلال اللغوي الصريح يجعل النظام حساسًا للأخطاء في التنبؤات النصية الوسيطة. ومع ذلك، تشير النتائج إلى أن الملاحظة الاستباقية تكون أكثر قيمة تحديدًا في الحالات التي تكون فيها النماذج التقليدية المشروطة بالاستعلام في أضعف حالاتها: وهي استعادة الأجزاء القابلة للتفاعل من الأهداف عالية المستوى.