💻 computer science

MagicSeg: Open-World Segmentation Pretraining via Counterfactural Diffusion-Based Auto-Generation

يقدم MagicSeg خط معالجة جديداً يعتمد على الانتشار يقوم تلقائياً بتوليد صور عالية الدقة مع أقنعة زيفة دقيقة وعينات سلبية مضادة مقترنة لتدريب نماذج التجزئة الدلالية ذات العالم المفتوح مسبقاً، محققاً أداءً هو الأفضل في فئته على مجموعات البيانات المرجعية دون الاعتماد على البيانات المكلفة التي يدوّنها البشر.

المؤلفون الأصليون: Kaixin Cai, Pengzhen Ren, Jianhua Han, Yi Zhu, Hang Xu, Jianzhuang Liu, Xiaodan Liang

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaixin Cai, Pengzhen Ren, Jianhua Han, Yi Zhu, Hang Xu, Jianzhuang Liu, Xiaodan Liang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم روبوت كيفية التعرف على كل شيء في العالم والإشارة إليه—من "قطة برتقالية وبرية" إلى "دراجة حمراء صدئة"—ليس فقط العشرين شيئاً التي تعلمها في المدرسة. هذا ما يسمى التقسيم مفتوح العالم (Open-World Segmentation).

المشكلة؟ لكي تعلم الروبوت بهذا الإتقان، ستحتاج عادةً إلى إنسان يجلس ليرسم حدوداً مثالية حول كل جسم في ملايين الصور. هذا أمر مكلف للغاية، وبطيء، وممل. إنه يشبه محاولة رسم جدارية يدوياً، بكسل تلو الآخر، لمليار صورة مختلفة.

إليك MagicSeg. فكر في MagicSeg كأنه مصنع فنون آلي فائق القدرة يبني مدرسته التدريبية الخاصة، ولكن مع بعض الحيل الذكية في جعبته.

إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. الكاتب المبدع (مولد النصوص)

أولاً، لا يكتفي MagicSeg بالقول "كلب". فهذا ممل للغاية. بل يطلب من كاتب ذكاء اصطناعي فائق الذكاء (مثل ChatGPT) كتابة قصة حيوية.

بدلاً من: "كلب."
يكتب: "كلب بني وأبيض مرح يطارد كرة تنس صفراء زاهية في حديقة مشمسة مع أشجار الكرز."

هذا الوصف الغني يضمن أن يتعلم الروبوت أن الكلب يمكن أن يكون في حديقة، أو في شارع، أو في غابة، وأنه يمكن أن يكون بنياً، أو أبيضاً، أو منقطاً.

2. الرسام (نموذج الانتشار)

بعد ذلك، يأخذ MagicSeg تلك القصة الجميلة ويسلمها لرسام رقمي (نموذج انتشار، مشابه لـ DALL-E أو Midjourney). يقوم الرسام بإنشاء صورة جديدة تماماً وعالية الجودة بناءً على القصة فقط.

الخدعة السحرية: بما أن الروبوت هو من صنع الصورة، فهو يعرف بالضبط ما الذي كان من المفترض أن يكون موجوداً فيها. لا يحتاج إلى إنسان ليرسم الحدود؛ يمكن للروبوت "قراءة" القصة وتخمين مكان الكلب.

3. لعبة "ماذا لو؟" (الصور المقابلة للواقع)

هذه هي الفكرة الأروع في الورقة البحثية. لجعل الروبوت ذكياً حقاً، يقوم MagicSeg بإنشاء صورة توأم لكل صورة يصنعها.

الصورة (أ): الحديقة مع الكلب وهو يطارد الكرة.
الصورة (ب) (الصور المقابلة للواقع): الحديقة نفسها تماماً، مع نفس الأشجار والسماء، ولكن بدون كلب. القصة تقول "كرة تنس صفراء تطارد... لا شيء".

لماذا نفعل هذا؟ إنه يشبه لعبة "أوجد الفروق". من خلال عرض المشهد مع الكلب والمشهد بدونه، يتعلم الروبوت: "آه! الكلب هو الشيء الذي تغير". هذا يساعد الروبوت على العثة على الأشياء حتى لو لم يكن القناع (الحدود) مثالياً. إنه يعلمه فهم مفهوم الشيء، وليس مجرد حفظ شكله.

4. فريق مراقبة الجودة (الترميز التلقائي)

بما أن الروبوت هو من صنع الصورة، فإنه يحتاج لمعرفة مكان الأشياء بدقة لتقييم عمله. يستخدم MagicSeg خبيرين آخرين من الذكاء الاصطناعي:

المحقق (Grounding DINO): ينظر إلى الصورة ويقول: "أرى كلباً هناك".
المتتبع (SAM): يأخذ تخمين المحقق ويرسم حدوداً دقيقة للغاية حول الكلب.

الآن، أصبح لدى الروبوت صورة، وقصة، وحدود مثالية، ونسخة "بدون كلب" ليدرسها. إنها حزمة تدريبية كاملة.

5. استراتيجية الفصل الدراسي (العينات العشوائية)

تخيل فصلاً دراسياً يحتوي على 1,200 موضوع مختلف (قطط، كلاب، سيارات، سحب، إلخ)، ولكن في كل يوم لا يظهر المعلم للطالب سوى 20 منها. إذا أظهر المعلم دائماً نفس العشرين، فسيشعر الطالب بالملل ولن يتعلم إلا تلك الأشياء.
يستخدم MagicSeg استراتيجية العينات العشوائية. في كل مرة يدرس فيها الروبوت صورة، يختار عشوائياً مجموعة مختلفة من 100 كلمة للتركيز عليها. هذا يجبر الروبوت على البقاء يقظاً وتعلم التعرف على أي جسم، وليس فقط الأشياء التي يراها بكثرة.

النتيجة

اختبرت الورقة البحثية هذا "المصنع السحري" على مجموعات بيانات شهيرة (مثل PASCAL VOC و COCO).

بدون MagicSeg: كانت الروبوتات المدربة على بيانات اصطناعية غالباً ما تشعر بالارتباك أو الكسل.
مع MagicSeg: أصبح الروبوت بارعاً. لقد حقق نتائج رائدة (state-of-the-art)، مما يعني أنه استطاع تقسيم الأجسام بشكل أفضل من أي طريقة أخرى تقريباً، رغم أنه تدرب بالكامل تقريباً على صور مولدة بالحاسوب.

باخت way مختصر: MagicSeg هو مثل روبوت يبني مدرسته الخاصة، ويكتب كتبه المدرسية، ويضع امتحاناته، وحتى يبتكر "أسئلة خداعية" (الصور المقابلة للواقع) لضمان أنه يفهم العالم حقاً، كل ذلك دون الحاجة إلى إنسان واحد يرسم خطاً واحداً.

إليك ملخص تقني مفصل لورقة البحث "MagicSeg: Open-World Segmentation Pretraining via Counterfactual Diffusion-Based Auto-Generation".

1. بيان المشكلة

يهدف التقطيع الدلالي للعالم المفتوح (Open-world semantic segmentation) إلى تقسيم الكائنات من مفردات واسعة، قد تكون غير محدودة، على عكس التقطيع ذي المجموعة المغلقة (closed-set) الذي يقتصر على مجموعة ثابتة من الفئات. تعتمد نماذج العالم المفتوح الحديثة بشكل كبير على مجموعات بيانات ضخمة من أزواج الصور والنصوص (مثل بيانات تدريب CLIP). ومع ذلك، تعاني هذه المجموعات من نقص حاد في التوصيفات الدقيقة على مستوى البكسل (fine-grained pixel-level annotations).

العقبة: الحصول على توصيفات دقيقة على مستوى البكسل لمجموعة متنوعة من الفئات أمر باهظ التكلفة اقتصادياً بسبب العمالة البشرية الهائلة والوقت المطلوب.
قصور الطرق الاصطناعية الحالية: تعتمد المحاولات السابقة لتوليد بيانات تقطيع اصطناعية باستخدام نماذج GANs أو نماذج الانتشار (Diffusion models) غالباً على:
- الاعتماد على بيانات حقيقية مصنفة لإجراء الضبط الدقيق (مما يبطل الغرض من قابلية التوسع في العالم المفتوح).
- آليات الانتباه (Attention mechanisms) داخل نماذج الانتشار لتوليد الأقنعة (masks)، والتي غالباً ما تنتج تسميات مشوشة أو غير دقيقة.
- مفردات محددة ذات مجموعة مغلقة (مثل PASCAL VOC فقط)، مما يفشل في معالجة متطلبات "العالم المفتوح".

2. المنهجية: مسار عمل MagicSeg

يقترح MagicSeg مسار عمل مؤتمت بالكامل لتوليد مجموعة بيانات اصطناعية عالية الجودة ومتنوعة للتدريب المسبق للتقطيع في العالم المفتوح. يتكون الإطار من مرحلتين رئيسيتين: توليد مجموعة البيانات وتدريب النموذج.

المرحلة الأولى: التوليد القائم على الانتشار التناقضي (Counterfactual Diffusion-Based Generation)

تقوم هذه المرحلة ببناء مجموعة بيانات تحتوي على صور، وأقنعة على مستوى البكسل، وأوصاف نصية، وصور تناقضية (counterfactual images).

توليد المفردات والنصوص:
- تم اختيار مفردات واسعة ( $V$ ) تضم 1,205 فئة (من LVIS وPASCAL VOC).
- بدلاً من المطالبات البسيطة (مثل "صورة لكلب")، يستخدم النظام ChatGPT لتوليد أوصاف نصية غنية ومتنوعة بناءً على أسماء الفئات. تفرض هذه المطالبات قيوداً لضمان تنوع الخلفية، وتفاصيل سمات الكائن، وتنوع السيناريوهات.
توليد الصور:
- يقوم نموذج Stable Diffusion بتوليد صور عالية الدقة ( $x$ ) بناءً على المطالبات النصية الغنية.
بناء الصور التناقضية (Counterfactual Images):
- لمعالماة ضجيج التوصيف وتحسين تحديد موقع الكائن، يقوم النظام بتوليد صور تناقضية ( $x_{co}$ ).
- يتم استبدال اسم الفئة المستهدفة في المطالبة النصية بكلمة "لا شيء" (على سبيل المثال، "كلب" $\leftarrow$ "لا شيء")، بينما يظل وصف الخلفية متطابقاً. يؤدي هذا إلى إنشاء زوج ( $x, x_{co}$ ) حيث يكون الكائن مفقوداً ولكن سياق المشهد يظل محفوظاً.
التوصيف الآلي للقناع (Automatic Mask Annotation):
- بدلاً من الاعتماد على خرائط الانتباه المشوشة في نماذج الانتشار، يستخدم MagicSeg مسار توصيف من مرحلتين:
  - Grounding DINO: كاشف مفتوح المفردات يحدد الكائن المستهدف في الصورة المولدة $x$ بناءً على اسم الفئة، ويقوم بتصفية الصور التي فشل فيها توليد الكائن.
  - SAM (Segment Anything Model): يستخدم صناديق الإحاطة (bounding boxes) من Grounding DINO كمطالبات لاستخراج أقنعة دقيقة على مستوى البكسل ( $Y$ ).

المرحلة الثانية: تدريب نموذج التقطيع للعالم المفتوح

تُستخدم مجموعة البيانات المولدة للتدريب المسبق لنموذج تقطيع يعتمد على CLIP (ZegCLIP) باستخدام استراتيجيتين مبتكرتين للتعامل مع تحديات البيانات الاصطناعية والمفردات المفتوحة.

استراتيجية أخذ عينات الفئات العشوائية (Category Random Sampling Strategy):
- المشكلة: في مفردات كبيرة ( $N=1205$ )، تحتوي الصورة الواحدة على عدد قليل فقط من الفئات ( $n \ll N$ ). التنبؤ بالأقنعة لجميع الفئات الـ $N$ يخلق عدم توازن حاد في الفئات (معظمها عينات سالبة) وتكلفة حوسبية عالية.
- الحل: في كل دورة تدريبية، يقوم النموذج بأخذ عينات عشوائية لمجموعة فرعية من الفئات ( $C_{sub}$ ) من المفردات للتنبؤ بالأقنعة لها. يضمن هذا أن النموذج يتعلم التمييز بين الفئات الموجودة والغائبة ديناميكياً، مما يقلل من الإفراط في التخصيص (overfitting) لفئات معينة ويخفض العبء الحوسبي.
التدريب التناقضي المقارن (Counterfactual Contrastive Training):
- المشكلة: الأقنعة الزائفة (Pseudo-masks) من البيانات الاصطناعية تحتوي على ضجيج.
- الحل: يستخدم النموذج أزواج الصور التناقضية ( $x, x_{co}$ ) للتعلم الخاضع للإشراف الذاتي.
- الآلية: يستخرج النموذج رموز CLS من الصور الأصلية والتناقضية. يتم تطبيق خسارة تشابه جيب التمام ( $L_{cos}$ ) لتعظيم الفرق بين تمثيلات الصورة مع الكائن والصورة بدون الكائن. هذا يجبر النموذج على تعلم تحديد موقع الكائن المستقل عن الفئة (class-agnostic object localization) دون الاعتماد فقط على أقنعة البكسل المشوشة.
دالة الخسارة (Loss Function):
تجمع الخسارة الإجمالية بين:
- خسارة Focal وDice: للتنبؤ بالقناع الثنائي على مجموعة الفئات المختارة.
- الخسارة التباينية (Contrastive Loss): لمحاذاة الزوج التناقضي.

3. المساهمات الرئيسية

مسار عمل MagicSeg: إطار عمل مبتكر لبناء مجموعات بيانات تقطيع العالم المفتوح باستخدام نماذج الانتشار، والنماذج اللغوية الكبيرة (LLMs)، وكواشف مفتوحة المفردات، مما يلغي الحاجة إلى بيانات حقيقية مصنفة.
توليد البيانات التناقضية: تقديم "الصور التناقضية" (نفس المشهد، مع فقدان الكائن) مقترنة بالصور الأصلية لتمكين التعلم المقارن، مما يحسن تحديد موقع الكائن والمتانة ضد ضجيج التوصيف.
استراتيجيات التدريب:
- أخذ عينات الفئات العشوائية: يخفف من عدم توازن التدرج والعبء الحوسبي في التدريب ذي المفردات الكبيرة.
- خسارة التباين التناقضي: تعزز قدرة النموذج على التمييز بين الكائنات والخلفيات دون إشراف صريح على مستوى البكسل لكل حالة.
التقييم الشامل: أثبت أداءً رائدًا (SOTA) في اختبارات متعددة باستخدام بيانات تدريب مسبق اصطناعية فقط.

4. النتائج التجريبية

تم تقييم النموذج على PASCAL VOC، وPASCAL Context، وCOCO، وLVIS، بالإضافة إلى مهمة تنبؤ النقاط (zero-shot point prediction) على OpenImages-v7.

الأداء على المعايير القياسية:
- PASCAL VOC: حقق 62.9% mIoU (أفضل أداء SOTA بين طرق العالم المفتوح، متفوقاً على SCLIP الذي حقق 59.1%).
- PASCAL Context: حقق 26.7% mIoU.
- COCO: حقق 40.2% mIoU (متفوقاً على الطرق السابقة للعالم المفتوح مثل CLIPpy التي حققت 32.0%).
المقارنة مع النماذج المرجعية (Baselines):
- تفوق بشكل كبير على "Grounded SAM" (Grounding DINO + SAM)، خاصة في LVIS (4.9% مقابل 0.5%)، مما يثبت فعالية استراتيجية التدريب مقارنة بمجرد الاستدلال.
- قلص الفجوة بين طرق البيانات الاصطناعية والطرق الخاضعة للإشراف بالبيانات الحقيقية (مثلاً: 62.9% مقابل 82.7% في VOC للنماذج الخاضعة للإشراف الكامل).
القدرة على التعميم الصفري (Zero-Shot):
- في OpenImages-v7 (فئات غير مرئية)، حقق MagicSeg نسبة 45.6% p-mIoU، مما يظهر قدرة قوية على التعميم للفئات غير المرئية مقارنة بطرق العالم المفتوح الأخرى.
دراسات الاستئصال (Ablation Studies):
- المطالبات النصية: تفوقت المطالبات الغنية المولدة بواسطة LLM بشكل كبير على المطالبات البسيطة ("صورة لـ...").
- التناقضات (Counterfactuals): ضرورية للأداء؛ حيث أدى إزالتها إلى انخفاض mIoU من 40.2% إلى 38.1%.
- أخذ العينات (Sampling): وازنت عملية أخذ العينات العشوائية المثلى ( $m=100$ ) بين كفاءة التعلم والتعرض للعينات السالبة.

5. الأهمية

يعالج MagicSeg العقبة الأساسية المتمثلة في ندرة البيانات في تقطيع العالم المفتوح. من خلال الاستفيد من قوة التوليد لنماذج الانتشار وقدرات الاستنتاج للنماذج اللغوية الكبيرة، فإنه ينشئ مسار عمل مؤتمتاً وقابلاً للتوسع لتخليق مجموعات البيانات.

القابلية للتوسع: يزيل الاعتماد على التوصيف البشري المكلف، مما يسم يسمح بإنشاء مجموعات بيانات تضم آلاف الفئات.
المتانة: يوفر النهج التناقضي المقارن إشارة تعلم ذاتي تجعل النموذج متيناً ضد الضجيج المتأصل في الأقنعة الاصطناعية.
التعميم: تثبت الطريقة أنه يمكن تحقيق تقطيع عالم مفتوح عالي الجودة دون الحاجة إلى توصيفات بكسلية في العالم الحقيقي، مما يقلص الفجوة بين أداء العالم المفتوح والتقطيع الخاضع للإشراف.

باختصار، يضع MagicSeg نموذجاً جديداً للتدريب المسبق للتقطيع في العالم المفتوح، موضحاً أن البيانات الاصطناعية المصممة بعناية، والمعززة بالاستدلال التناقضي، يمكن أن تضاهي أو تتجاوز النماذج المدربة على بيانات حقيقية محدودة التوصيف.