💻 computer science

CatalogStitch: Dimension-Aware and Occlusion-Preserving Object Compositing for Catalog Image Generation

يقدم CatalogStitch مجموعة من التقنيات غير المرتبطة بنموذج محدد والتي تعمل على أتمتة حساب الأقنعة المدركة للأبعاد واستعادة العناصر مع الحفاظ على الحجب، مما يحول دمج الكائنات التوليدي إلى أداة عملية وسهلة الاستخدام لإنتاج صور الكتالوج عبر التخلص من التعديلات اليدوية المرهقة.

المؤلفون الأصليون: Sanyam Jain, Pragya Kandari, Manit Singhal, He Zhang, Soo Ye Kim

نُشر 2026-04-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sanyam Jain, Pragya Kandari, Manit Singhal, He Zhang, Soo Ye Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مصمم ديكور رقمي تحاول استبدال قطعة أثاث في صورة ما. ربما تريد استبدال طاولة قهوة عريضة ومنخفضة بمصباح أرضي طويل ونحيف. أو ربما تريد وضع أريكة جديدة في غرفة، ولكن هناك نبتة في أصيص موضوعة أمامها مباشرة.

في عالم الذكاء الاصطناي التوليدي (التقنية التي تنشئ الصور)، كان القيام بعملية الاستبدال هذه في السابق كابوساً لغير الخبراء. كان الذكاء الاصطناعي يحاول حشر العنصر الجديد في المساحة القديمة، مما يؤدي غالباً إلى ضغط المصباح ليصبح مسطحاً مثل الفطيرة أو مسح النبتة تماماً.

إليك CatalogStitch. فكر فيه كـ "مساعد ذكي" يجلس بينك وبين الذكاء الاصطناعي، ليقوم بإصلاح الأخطاء قبل وقوعها حتى لا تضطر للقيام بذلك بنفسك.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. مشكلة "البنطال الضيق" (القناع المدرك للأبعاد)

الطريقة القديمة: تخيل أن لديك بنطال جينز (المنتج القديم) وتريد استبداله بفستان طويل ومنساب (المنتج الجديد). إذا أخبرت الذكاء الاصطناعي فقط: "ضع الفستان في مكان الجينز"، فقد يحاول الذكاء الاصطناعي مط الفستان ليتناسب تماماً مع شكل الجينز. والنتي نتيجة لذلك؟ فستان مشوه وغريب المظهر يبدو وكأن عملاقاً قد شده بقوة.

حل CatalogStitch:
يعمل CatalogStitch مثل الخياط. قبل أن يبدأ الذككاء الاصطناعي بالعمل، يقوم بقياس العنصر الجديد.

إذا كان العنصر الجديد أطول أو أعرض من القديم، يقوم الخياط تلقائياً بتوسيع "منطقة القص" (القناع/Mask) لتناسب الشكل الجديد.
يحافظ على العنصر في منتصف الغرفة ولكنه يمنحه المساحة التي يحتاجها ليبدو طبيعياً.
النتيجة: يقف المصباح طويلاً ومستقيماً، وليس مضغوطاً. لست بحاجة لتعديل أي شيء يدوياً؛ فالنظام يعرف ببساطة كيف يجعل المساحة أكبر.

2. مشكلة "الممحاة السحرية" (الحفاظ على الحجب/الإعاقة)

الطريقة القديمة: تخيل أنك تريد استبدال أريكة، ولكن هناك طاولة قهوة ومزهرية موضوعتان أمامها. عندما يحاول الذكاء الاصطناعي استبدال الأريكة، فإنه غالباً ما يرتبك. قد يحاول "الرسم فوق" المزهرية لإفساح المجال للأريكة الجديدة، أو قد يتخيل نسخة ضبابية غريبة للمزهرية. الأمر يشبه محاولة تغيير خلفية صورة مع حذف الخلفية الأمامية بالخطأ.

حل CatalogStitch:
يستخدم CatalogStitch خدعة "الحفظ والاستعادة" المكونة من ثلاث خطوات:

اللقطة: قبل أن يلمس الذكاء الاصطناعي أي شيء، يلتقط "لقطة" عالية الدقة للأشياء التي تحجب الرؤية (المزهرية، الطاولة). ويقوم بحفظ هذه البكسلات في خزنة آمنة.
المسح الشامل: يخبر الذكاء الاصطناعي: "حسناً، تظاهر بأن تلك الأشياء ليست موجودة". يقوم بمسحها رقمياً لإنشاء خلفية نظيفة وفارغة.
الاستبدال والاستعادة: يقوم الذكاء الاصطناعي باستبدال الأريكة في الخلفية النظيفة. وبمجرد الانتهاء، يأخذ CatalogStitch "اللقطة" من الخزنة الآمنة ويعيد لصق المزهرية والطاولة في مكانهما بالضبط، بدقة متناهية (بكسل مقابل بكسل).

النتيجة: تبدو الأريكة الجديدة مثالية، وتبدو المزهرية الموجودة أمامها تماماً كما كانت في الصورة الأصلية — دون أي ضبابية أو تشوهات غريبة.

لماذا يهم هذا الجميع

في السابق، كان استخدام الذكاء الاصطناعي لإنشاء صور الكتالوجات (مثل أمازون أو إيكيا) يتطلب فريقاً من الخبراء لإصلاح كل خطأ يدوياً. كان الأمر بطيئاً ومكلفاً.

يغير CatalogStitch قواعد اللعبة بجعل العملية مستقلة عن النموذج (Model-agnostic). وهذا يعني أنه لا يهم أي محرك ذكاء اصطناعي محدد تستخدمه (مثل ObjectStitch أو OmniPaint أو InsertAnything)؛ حيث يحيط به CatalogStitch كغلاف واقٍ، مما يجعلها جميعاً أكثر ذكاءً وموثوقية.

الصورة الكبيرة:

قبل: أنت ميكانيكي تحاول إصلاح محرك سيارة بيديك العاريتين، وتصارع كل برغي.
بعد: أنت سائق. أنت فقط تقول: "أريد الذهاب إلى الشاطئ"، والسيارة (CatalogStitch) تقوم تلقائياً بتعديل نظام التعليق، وتغيير الإطارات، وقيادة الطريق نيابة عنك.

من خلال أتمتة الإصلاحات التقنية المملة، يتيح CatalogStitch للمسوقين والمصممين التركيز على الجزء الإبداعي: اختيار المنتجات الصحيحة والخلفيات المناسبة، دون الحاجة لأن يكونوا عباقرة في البرمجة أو خبراء في تحرير الصور. إنه يحول عملية معقدة وعرضة للخطأ إلى سير عمل بسيط بضغطة زر واحدة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CatalogStitch: دمج الكائنات مع مراعاة الأبعاد والحفاظ على العناصر المحجوبة لتوليد صور الكتالوجات."

1. بيان المشكلة

لقد طورت نماذج دمج الكائنات التوليدية (مثل ObjectStitch وOmniPaint وInsertAnything) القدرة على إدراج الكائنات في المشاهد بسلاسة. ومع ذلك، فإنها تفشل في سير عمل كتالوجات التجارة الإلكترونية في العالم الحقيقي بسبب وجود فجوتين حرجتين بين الافتراضات البحثية والاحتياجات الإنتاجية:

التحدي 1: عدم تطابق أبعاد المنتج: غالبًا ما تفرض الطرق الحالية منتجًا جديدًا داخل قناع مستهدف محدد من قبل الكائن الأصلي. إذا كان المنتج الجديد يمتلك نسبة عرض إلى ارتفاع مختلفة (على سبيل المثال، استبدال أريكة عريضة بمصباح طويل)، فإن النتيجة تكون تشوهًا هندسيًا شديدًا (تمدد أو انضغاط) ليتناسب مع القناع الأصلي.
التحدي 2: تدمير العناصر المحجوبة: غالبًا ما تحتوي صور الكتالوجات الحقيقية على عناصر مقدمة (نباتات، مزهريات، أثاث) تحجب جزئيًا المنتج المستهدف. تقوم عمليات الدمج القياسية باستبدال المنطقة المستهدفة بالكامل، مما يؤدي إلى تدمير هذه العناصر الأمامية أو تخيلها بشكل خاطئ، مما يتطلب تدخلًا يدويًا مرهقًا لاستعادة تلك العناصر.

تتطلب سير العمل الحالية تدخلًا يدويًا كبيرًا (ضبط القناع، القياس، واستعادة البكسلات)، مما يجعلها غير عملية لغير الخبراء وبطيئة لعمليات الإنتاج عالية الكثافة.

2. المنهجية: CatalogStitch

يقترح المؤلفون CatalogStitch، وهو مجموعة من التقنيات المستقلة عن النموذج (model-agnostic) التي تعمل كإطار يحيط بأي نموذج دمج توليدي موجود. يعمل النظام كخط معالجة مسبقة ولاحقة، ولا يتطلب ضبطًا دقيقًا للنموذج (fine-tuning).

أ. حساب القناع المدرك للأبعاد (المعالجة المسبقة)

تعمل هذه الوحدة تلقائيًا على تكييف القناع المستهدف مع نسبة العرض إلى الارتفاع للمنتج الجديد مع الحفاظ على الموقع المكاني الأصلي.

المنطق: تقوم بحساب نسبة العرض إلى الارتفاع ( $AR$ ) للقناع المستهدف الأصلي ( $AR_t$ ) وللمنتج الجديد ( $AR_p$ ).
العتبة: إذا كان $|AR_t - AR_p| > \tau$ (حيث $\tau=0.06$ )، يقوم النظام بتفعيل عملية التوسيع.
الخوارزمية:
1. حساب مركز الثقل (centroid) للقناع الأصلي للحفاظ على التموضع.
2. حساب الأبعاد الجديدة المثلى ( $w^*, h^*$ ) بناءً على نسبة العرض إلى الارتفاع للمنتج، مع الارتكاز على العرض أو الارتفاع (أيهما أصغر) لتقليل التداخل مع المشهد.
3. إنشاء قناع مستطيل جديد ممركز حول مركز الثقل الأصلي، مع قصه عند حدود الصورة.
النتيجة: يتلقى النموذج التوليدي قناعًا يستوعب بشكل طبيعي النسب الحقيقية للمنتج، مما يمنع التشوه.

ب. الاستعادة الهجينة المدركة للاحتجاب (المعالجة اللاحقة)

تضمن هذه الوحدة الحفاظ على عناصر المقدمة التي تحجب المنتج المستهدف بدقة "بكسلية مثالية" باستخدام نهج "التخزين والاستعادة" الحتمي بدلاً من التنبؤ التوليدي.

خطوات العملية المكونة من خمس مراحل:
1. التقسيم (Segmentation): تحديد حالات المقدمة التي تتداخل مع المنطقة المستهدفة باستخدام تقسيم الكيانات (مثل EntitySeg).
2. التخزين المؤقت (Caching): استخراج وتخزين بكسلات RGB الدقيقة وأقنعة ألفا (alpha masks) لهذه العناصر المحجبة من صورة الخلفية الأصلية.
3. الترميم (Inpainting): تطبيق الترميم التوليدي على صورة الخلفية لإزالة العناصر المحجبة، مما يخلق خلفية نظيفة وغير محجوبة.
4. الدمج (Compositing): تشغيل نموذج الدمج التوليدي على الخلفية النظية باستخدام القناع المدرك للأبعاد. ينتج عن ذلك دمج سلس دون عيوب الاحتجاب.
5. إعادة التكوين (Recomposition): دمج بكسلات المحجب الأصلي المخزنة مؤقتًا (Alpha-composite) فوق النتيجة المولدة.
النتيجة: تحتوي الصورة النهائية على المنتج الجديد المولد والمدمج في المشهد، مع استعادة عناصر المقدمة الأصلية تمامًا كما ظهرت، مما يحافظ على الإضاءة، الملمس، والهندسة.

3. المساهمات الرئيسية

خوارزمية القناع المدرك للأبعاد: حل هندسي مؤتمت يلغي الحاجة لتغيير حجم القناع يدويًا ويمنع تشوه نسبة العرض إلى الارتفاع.
الاستعادة الهجينة المدركة للاحتجاب: نهج هجين مبتكر يجمع بين الذكاء الاصتناعي التوليدي (لتنظيف الخلفية والتناغم) والعمليات الحتمية (لتخزين البكسلات) لضمان الحفاظ على العناصر المحجبة.
معيار تقييم CatalogStitch-Eval: مجموعة بيانات تقييم جديدة تحتوي على 58 مثالاً (35 حالة عدم تطابق في الأبعاد، 23 حالة احتجاب كثيفة) مع أقنعة الحقيقة الأرضية (ground truth)، وبيانات وصفية، وعارضات HTML للفحص السريع.
التحقق عبر النماذج: إثبات تجريبي بأن هذه التقنيات تحسن الأداء عبر ثلاثة نماذج رائدة: ObjectStitch وOmniPaint وInsertAnything.

4. النتائج التجريبية

قام المؤلفون بتقييم طريقتهم مقابل النماذج المرجعية باستخدام خمسة مقاييس: خطأ نسبة العرض إلى الارتفاع (AR Error)، مسافة فريدشيه (FID)، درجة CLIP، درجة DINO، وPSNR للعناصر المحجوبة.

الحفاظ على الأبعاد: انخفض خطأ نسبة العرض إلى الارتفاع (AR Error) بشكل كبير من ~30% (في النماذج المرجعية) إلى ~4–5% عبر جميع النماذج.
جودة الصورة: تحسنت درجات FID بشكل ملحوظ (على سبيل المثال، تحسن InsertAnything من 105.99 إلى 77.72)، مما يشير إلى عمليات دمج أكثر واقعية.
الدقة الدلالية والهيكلية: ارتفعت درجات CLIP وDINO، مما يظهر توافقًا أفضل مع المنتج المرجعي وسلامة هيكلية أعلى.
استعادة الاحتجاب: في سيناريوهات الاحتجاب، حققت الطريقة PSNR مرتفعًا للعناصر المحجبة (يصل إلى 27.54 لـ InsertAnything + منهجيتنا)، مما يثبت فعالية تقنية استعادة البكسلات مقارنة بالدقة المنخفضة للنماذج المرجعية (مثل 11.60 لـ ObjectStitch).
الاتساق: كانت التحسينات متسقة بغض النظر عن النموذج التوليدي المستخدم، مما يؤكد أن هذه التقنيات تعالج أوجه القصور المنهجية وليس مجرد خصائص مرتبطة بنموذج معين.

5. الأهمية والتأثير

الجاهزية للإنتاج: يسد CatalogStitch الفجوة بين أبحاث الذكاء الاصطناعي التجريبية واحتياجات التجارة الإلكترونية الصناعية. فهو يحول عملية الدمج من مهمة يدوية تعتمد على الخبراء إلى سير عمل مؤتمت وسهل الاستخدام.
التحول في التفاعل بين الإنسان والذكاء الاصطناعي: ينقل دور المستخدم من التلاعب منخفض المستوى بالبكسلات (التقنيع، القياس) إلى القرارات الإبداعية رفيعة المستوى (اختيار المنتجات والخلفيات).
فلسفة التصميم الهجين: تثبت الورقة أن الجمع بين المرونة التوليدية (للظلال، الإضاءة، والتناغم) مع الموثوقية الحتمية (للحفاظ الدقيق على البكسلات والقيود الهندسية) هو المسار الأمثل لتوليد الصور الاحترافية.
إمكانية الوصول: من خلال إزالة العبء التقني، يساهم النظام في جعل إنشاء الكتالوجات عالية الجودة متاحًا للمسوقين والمصممين دون الحاجة لمهارات متخصصة في الذكاء الاصطناعي.

ختامًا، يوفر CatalogStitch إطار عمل قوي وقابل للتطبيق (plug-and-play) يحل اثنين من أهم العوائق أمام نشر الدمج التوليدي في بيئات التجزئة الواقعية: التشوه الهندسي وفقدان العناصر المحجوبة.