💻 computer science

Dress-ED: Instruction-Guided Editing for Virtual Try-On and Try-Off

تقدم هذه الورقة البحثية Dress-ED، وهي أول مجموعة بيانات واسعة النطاق توحد بين تجربة الملابس الافتراضية (Virtual Try-On)، وإزالة الملابس الافتراضية (Virtual Try-Off)، وتحرير الملابس الموجه بالنص مع أكثر من 146 ألف عينة مدفوعة بالتعليمات، إلى جانب إطار عمل انتشار متعدد الوسائط موحد لتمكين توليد أزياء تفاعلي وقابل للتحكم.

المؤلفون الأصليون: Fulvio Sanguigni, Davide Lobba, Bin Ren, Marcella Cornia, Nicu Sebe, Rita Cucchiara

نُشر 2026-03-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fulvio Sanguigni, Davide Lobba, Bin Ren, Marcella Cornia, Nicu Sebe, Rita Cucchiara

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك خزانة ملابس سحرية في غرفة المعيشة الخاصة بك. تختار فستاناً، ترتديه، وفجأة، يمكنك تغيير لونه، أو تحويله إلى جلد، أو إضافة جيب، أو حتى تقصير الأكمام، كل ذلك بمجرد التحدث إليها. هذا هو حلم "القياس الافتراضي" (VTON). ولكن حتى الآن، كانت هذه السحر متعثرة بعض الشيء؛ حيث كان بإمكانك تجربة فستان، لكن لم يكن بإمكانك تعديله بسهولة بتعليمات محددة مثل "اجعل الأكمام طويلة" أو "أضف نمط تمويه".

تقدم هذه الورقة البحثية Dress-ED، وهو مشروع ضخم جديد يعمل بمثابة "مدرسة تدريب" للذكاء الاصطناعي لإتقان هذا النوع من سحر الموضة. إليك التفاصيل بكلمات بسيطة:

1. المشكلة: "المانيكان الثابت"

فكر في مجموعات بيانات أزياء الذاء الاصطناعي السابقة كأنها مكتبة من المانيكان (تماثيل العرض). كان بإمكانك استبدال قميص المانيكان بآخر، لكن لم يكن بإمكانك أن تقول للمانيكان: "مهلاً، حوّل ذلك القميص الأزرق إلى سترة جلدية حمراء بسحاب". لم يكن لدى الذكاء الاصطناعي مكتبة كبيرة بما يكفي من الأمثلة التي توضح كيفية إجراء تلك التغييرات المحددة مع الحقاء الشخص يبدو كما هو.

2. الحل: "طباخ الموضة" (Dress-ED)

بنى المؤلفون Dress-ED، وهو كتاب طبخ ضخم يحتوي على أكثر من 146,000 وصفة.

المكونات: كل "وصفة" (أو عينة بيانات) تتكون من أربعة أجزاء:
1. الصورة الأصلية لشخص يرتدي قطعة ملابس.
2. الصورة الأصلية للقطعة وحدها (مثل صورة من كتالوج).
3. النسخة "المعدلة" من القطعة (مثلاً: أصبحت الآن من الجلد الأصفر).
4. النسخة "المعدلة" للشخص وهو يرتدي تلك القطعة الجديدة.
5. التعليمات: ملاحظة نصية توضح بالضبط ما الذي تغير (مثلاً: "غير اللون إلى الأصفر").
الخدعة السحرية (كيف صنعوا ذلك): لم يطلبوا من البشر رسم 146,000 صورة (لأن ذلك سيستغرق وقتاً طويلاً جداً). بدلاً من ذلك، بنوا خط تجميع آلي:
1. المحلل (Qwen3-VL): ذكاء اصطناعي فائق الذكاء ينظر إلى الصورة ويكتب وصفاً مفصلاً للملابس (مثلاً: "قميص قطني أزرق، أكمام قصيرة").
2. الطباخ (FLUX.2): ذكاء اصطناعي آخر يأخذ ذلك الوصف ويتبع أمراً مثل "اجعله أصفر" لإنشاء صورة جديدة ومعدلة للقميص.
3. الخياط (FitDiT): ذكاء اصطنافت ثالث يأخذ القميص الأصفر الجديد و"يخيطه" على الشخص الموجود في الصورة.
4. المفتش (GPT-5 & InternVL): ذكاء اصطناعي أخير يعمل كمدير صارم لمراقبة الجودة. يتحقق من: "هل أصبح القميص أصفر بالفعل؟ هل ظل وجه الشخص كما هو؟ هل السحاب في مكانه الصحيح؟" إذا كانت الإجابة لا، يتم رمي العينة في القمامة. وإذا كانت نعم، تذهب إلى مجموعة البيانات.

3. اللعبتان الرئيسيتان

باستخدام مجموعة البيانات الجديدة هذه، وضعوا تحديين لنماذج الذكاء الاصطناعي لحلهما:

القياس الافتراضي (غرفة القياس): تعطي الذكاء الاصطناعي شخصاً وأمراً ("اجعل الفستان أحمر"). يجب على الذكاء الاصطناعي أن يريك الشخص وهو يرتدي الفستان الأحمر.
الخلع الافتراضي (الكتالوج): تعطي الذكاء الاصطناعي شخصاً يرتدي فستاناً وأمراً ("أزل الحزام"). يجب على الذكاء الاصطناعي إنشاء صورة نظيفة للفستان فقط بدون الحزام، كما لو كانت صورة منتج لمتجر.

4. النجم الجديد: Dress-EM

لم يكتفِ المؤلفون ببناء مجموعة البيانات فحسب؛ بل بنوا أيضاً نموذج ذكاء اصطناعي جديد يسمى Dress-EM ليلعب هذه الألعاب.

فكر في Dress-EM كمصمم أزياء "ثنائي اللغة". يمكنه قراءة تعليماتك بالإنجليزية ("أضف جيباً") والنظر إلى الأدلة البصرية للملابس في نفس الوقت.
يستخدم "رابطاً" (connector) لسد الفجوة بين اللغة والصور، مما يضمن أنه عندما تطلب تغييراً، فإنه يحدث بالضبط حيث تريد، دون إفساد بقية الزي.

5. لماذا هذا مهم؟

قبل هذا، إذا كنت تريد تعديل الملابس في صورة، كان عليك استخدام فوتوشوب أو الأمل في أن يخمن ذكاء اصطناعي عام ما تقصده.

يوفر Dress-ED للذكاء الاصطناعي مكتبة ضخمة ومنظمة من أمثلة "قبل وبعد" مع تعليمات واضحة.
يثبت Dress-EM أن الذكاء الاصطناعي يمكنه الآن فهم أوامر الموضة المعقدة، مثل تغيير المادة من القطن إلى الجلد أو إضافة نمط معين، مع الحفاظ على وجه الشخص وهيئته بشكل طبيعي تماماً.

باخت aside (باختصار): بنى المؤلفون "مدرسة موضة" آلية ضخمة حيث يتعلم الذكاء الاصطناعي الاستماع لصوتك وإعادة تصميم الملابس على الأشخاص فوراً. لقد أنشأوا المنهج الدراسي (مجموعة البيانات) والطالب المتفوق (النموذج) ليظهروا أن مستقبل التسوق عبر الإنترنت قد يسمح لك قريباً بأن تقول: "أريد هذا الفستان من المخمل الأخضر وبأكمام طويلة"، وترى ذلك يحدث أمام عينيك في الحال.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Dress-ED: التحرير الموجه بالتعليمات لتجربة الملابس الافتراضية (VTON) وإزالتها الافتراضية (VTOFF)."

1. بيان المشكلة

بينما أدت التطورات الأخيرة في تقنيات تجربة الملابس الافتراضية (VTON) وإزالتها الافتراضية (VTOFF) إلى تحسين عملية التركيب الواقعي للأزياء، إلا أن النهج الحالية تواجه قيوداً كبيرة:

مجموعات البيانات الثابتة: تحتوي مجموعات البيانات الحالية (مثل VITON-HD و Dress Code) على أزواج ثابتة من (الشخص والملابس) دون دعم للتحكم على مستوى التعليمات أو التحرير الدلالي.
الافتقار إلى إطار عمل موحد: الحلول الحالية مجزأة؛ فمجموعات بيانات VTON تفتقر إلى القدرة على التحرير، ومجموعات بيانات تحرير الصور العامة تفتقر إلى التوافق المتسق بين الملابس والشخص، كما أن طرق تحرير الأزياء غالباً ما تعالج مهام فرعية ضيقة دون معايير مرجعية موحدة.
فجوة التحكم: هناك نقص في المعايير المرجعية واسعة النطاق والموجهة بالتعليمات التي تسمح بإجراء تعديلات دقيقة وقابلة للتحكم (سواء في المظهر أو الهيكل) على الملابس مع الحفاظ على تفاعل واقعي بين الإنسان والملابس.

2. المنهجية

تقدم الورقة البحثية Dress-ED، وهي مجموعة بيانات واسعة النطاق وإطار عمل متعدد الوسائط موحد (Dress-EM) لمعالجة هذه الفجوات.

أ. مجموعة بيانات Dress-ED

تعد Dress-ED أول معيار مرجعي يوحد بين VTON و VTOFF وتحرير الملابس الموجه بالنصوص. وهي تحتوي على 146,460 رباعية موثقة تغطي ثلاثة فئات من الملابس (الفساتين، الملابس العلوية، الملابس السفلية) وسبعة أنواع من التحرير.

هيكل البيانات: يتكون كل نموذج من:
1. $I_{garment}$ : صورة قطعة الملابس (داخل المتجر).
2. $I_{person}$ : الشخص الذي يرتدي القطعة.
3. $I_{garment}^{edit}$ : قطعة الملابس المعدلة.
4. $I_{person}^{edit}$ : الشخص الذي يرتدي القطعة المعدلة.
5. $T_{inst}$ : تعليمات باللغة الطبيعية تصف التعديل.
خط إنتاج التوليد الآلي:
1. استخراج السمات: استخدام Qwen3-VL لاستخراج سمات الملابس المهيكلة (اللون، النمط، المادة، الهيكل) من الزوج الأصلي.
2. توليد التعليمات: توليد تعليمات باللغة الطبيعية باستخدام قوالب قائمة على القواعد بناءً على السمات المستخرجة.
3. تحرير الملابس: استخدام FLUX.2 Klein (نموذج انتشار/Diffusion Model) لتخليق قطعة الملابس المعدلة ( $I_{garment}^{edit}$ ) بناءً على التعليمات.
4. توليد تجربة الملابس: استخدام FitDiT لتركيب الملابس المعدلة على الشخص، مما ينتج عنه $I_{person}^{edit}$ .
5. التحقق من الجودة: عملية تصفية متعددة المراحل لضمان الاتساق الدلالي والدقة البصرية:
  - يقوم GPT-5 بتقييم مدى الالتزام بالتحرير والجودة (من 0 إلى 100).
  - يتم ضبط InternVL-3.5 بدقة على مجموعة فرعية من البيانات المصنفة بواسطة GPT-5 ليعمل كمدقق قابل للتوسع.
  - يتم استبعاد العينات التي تقل درجاتها عن حد معين (80).
تصنيف التحرير: تغطي مجموعة البيانات 7 أنواع من التحرير مقسمة إلى فئتين:
- المظهر: تغيير اللون، تغيير النمط، تغيير المادة، وتعديلات دقيقة.
- الهيكل: إضافة تفاصيل، إزالة عناصر، وتعديل الهيكل.

ب. النموذج المقترح: Dress-EM

يقترح المؤلفون Dress-EM (نموذج تحرير الملابس)، وهو إطار عمل انتشار متعدد الوسائط موحد للتحرير الموجه بالتعليمات في كل من سيناريوهات VTON و VTOFF.

البنية التحتية:
- مشفر MLLM: يستخدم InternVL-3.5 لترميز السياق البصري (الملابس/الشخص) والتعليمات النصية معاً، لإنتاج تضمينات (embeddings) مدمجة.
- الموصل (Connector): محول (Transformer) خفيف الوزن يربط بين مساحة سمات MLLM ونموذج الانتشار (DiT). يقوم بتقسيم المخرجات إلى:
  - التوجيه العالمي ( $g$ ): متجه دلالي عالي المستوى (2048-بعد) يلخص نية التحرير.
  - تحسين الرموز ( $z_c$ ): تضمينات رموز دقيقة تحافظ على التفاصيل المحددة.
- محول الانتشار (DiT): يعتمد على Stable Diffusion 3. يأخذ سمات VAE من المدخلات (الشخص + الملابس لـ VTON؛ الملابس فقط لـ VTOFF) ويقوم بتكييف عملية إزالة الضجيج (denoising) بناءً على كل من $g$ و $z_c$ .
استراتيجية التدريب: يتم تجميد (freeze) الـ VAE والـ MLLM. يتم تدريب الموصل (Connector) والـ DiT بشكل متكامل (end-to-end) باستخدام استراتيجية إشراف مختلطة (الصور الأصلية والمعدلة كأهداف) لتعلم المحاذاة القوية مع الأنسجة الواقعية مع إتقان التعديلات الهيكلية.

3. المساهمات الرئيسية

مجموعة بيانات Dress-ED: أول معيار مرجعي واسع النطاق ومتسق دلالياً يوحد بين VTON و VTOFF والتحرير الموجه بالتعليمات مع أكثر من 140 ألف عينة موثقة.
خط إنتاج آلي: خط إنتاج مبتكر يدمج الفهم القائم على MLLM، والتخليق القائم على الانتشار، والتحقق الموجه بـ LLM لتوليد بيانات عالية الجودة ومتوافقة مع التعليمات دون الحاجة إلى تصنيف يدوي.
الأساس الموحد (Dress-EM): نموذج انتشار متعدد الوسائط متطور (SOTA) يستنتج بشكل مشترك بين التعليمات اللغوية والإشارات البصرية، مما يضع أساساً قوياً لتوليد الأزياء القابل للتحكم.
معايير مرجعية شاملة: تحديد بروتوكولات تقييم لكل من VTON (المزدوج وغير المزدوج) و VTOFF، باستخدام مقاييس الدقة البصرية (FID, LિPips, SSIM) وصحة التحرير (DINO-I).

4. النتائج التجريبية

تم تقييم النموذج على مجموعة اختبار Dress-ED (14,259 عينة) مقابل نماذج أساسية خاصة بالمهام (CatVTON, Any2AnyTryon) ومحررات عامة (FLUX.2, Qwen-Image-Edit).

الأداء الكمي:
- تفوق Dress-EM باستمرار على جميع النماذج الأساسية في كل من إعدادات VTON (المزدوجة وغير المزدوجة)، محققاً أدنى درجات في FID (3.79)، وKID (1.13)، وDISTS (0.0733).
- في VTOFF، حقق Dress-EM أفضل النتائج في إعادة بناء الملابس المعدلة (FID 5.06, DINO-I 0.8071).
- تحليل التحرير لكل نوع: أظهر النموذج أداءً فائقاً في تعديلات المظهر (اللون/النمط) والتعديلات الهيكلية المعقدة (طول الأكمام، إضافة/إزالة العناصر)، مع الحفاظ على درجات تشابه DINO-I عالية (>0.94 في VTON).
النتائج النوعية: أظهرت المقارنات البصرية أن Dress-EM يحافظ على هوية الشخص، والوضعية، والخلفية بشكل أفضل من المنافسين، مع اتباع التعليمات المعقدة بدقة (مثل "تغيير الأكمام لتصبح طويلة"، "إضافة حزام").

5. الأهمية

سد الفجوة: تسد Dress-ED فجوة حرجة في مجال ذكاء الأزمال (Fashion AI) من خلال توفير إطار عمل موحد لكل من تركيب الملابس على البشر (VTON) وإعادة بناء الملابس من البشر (VTOFF) تحت تأثير التعليمات.
التوليد القابل للتحكم: ينقل النموذج النموذج السائد من التخليق الثابت إلى توليد الأزياء التفاعلي والقابل للتحكم، مما يتيح تطبيقات مثل التسوق الافتراضي مع إمكانية التخصيص وتصميم الأزياء الرقمية.
القابلية للتوسع: يثبت خط الإنتاج المؤتمت بالكامل أنه يمكن توليد مجموعات بيانات عالية الجودة ومتوافقة مع التعليمات على نطاق واسع باستخدام MLLMs ونماذج الانتشار، مما يقلل الاعتماد على التصنيف اليدوي المكلف.
أساس للأبحاث المستقبلية: من خلال إصدار مجموعة البيانات والرمز البريدي، يوفر المؤلفون معياراً موحداً لتسريع الأبحاث في فهم الوسائط المتعددة، ونماذج الانتشار القابلة للتحكم، والأزياء الرقمية.