Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models

تخيل أنك تحاول تعليم روبوت كيفية ارتداء الملابس. تعرض عليه صورة لشخص وصورة لسترة جديدة رائعة، وتسأله: "هل يمكنك إلباس السترة للشخص؟". هذا هو عالم القياس الافتراضي للملابس (VITON)، وهو فرع من فروع الرؤية الحاسوبية حيث تحاول الآلات حل لغز كيف تبدو الملابس على الأجسام المختلفة. للقيام بذلك، يستخدم الروبوت نوعًا خاصًا من "الدماغ" يسمى نموذج الانتشار (diffusion model). فكر في نموذج الانتشار كفنان سحري يبدأ بلوحة مغطاة بالتشويش (مثل تشويش التلفاز) ثم يقوم ببطء، خطوة بخطوة، بإزالة الضجيج ليكشف عن صورة. إذا أعطيت هذا الفنان وصفًا نصيًا مثل "قميص أحمر"، فيمكنه رسمه. ولكن إذا أردت منه أن يرسم بالضبط ذلك القميص المحدد على ذلك الشخص المحدد، بحيث تنتهي الأكمام عند المرفق ويستقر الياقة في مكانها الصحيح، فغالبًا ما يصاب الفنان بالارتباك. قد يرسم القميص طويلاً جدًا، أو قصيرًا جدًا، أو بلون خاطئ. هذه مشكلة كبيرة للمتاجر عبر الإنترنت، لأنه إذا اشترى العميل قميصًا بناءً على صورة مزيفة لا تطابق الواقع، فسيكون غير سعيد.

هذا التقرير الذي أعده ماكس رهمن ليندرر يتناول هذا الارتباك. يسأل المؤلف: "ماذا لو استطعنا إعطاء الروبوت مسطرة ومجموعة من التعليمات، وليس مجرد وصف غامض؟". يقترح البحث طريقة جديدة تسمى ControlableClothing (الملابس القابلة للتحكم). بدلاً من مجرد عرض الصور على الروبوت، يقوم فريق المؤلف بقياس الملابس وجسم الشخص بدقة رياضية—حساب بالضبط مقدار ما يغطيه الكتف، وعمق فتحة الرقبة، وطول الأكمام. إنهم يحولون هذه القياسات إلى كود سري (تسميات/labels) ويغذون بها الروبوت جنباً إلى جنب مع الصور. والنتيجة هي نظام لا يكتفي بالتخمين أين توضع الملابس، بل يتبع خريطة. يشير البحث إلى أنه باستخدام هذه القياسات الدقيقة و"محول" خاص (أداة تساعد الروبوت على فهم الكود)، تصبح الصور المولدة أكثر قابلية للتحكم. ومع ذلك، يحرص المؤلف على ملاحظة أنه بينما يمكن للروبوت الآن اتباع هذه القواعد، إلا أنه لا يزال بحاجة إلى مزيد من الممارسة لإتقان كل تفصيل صغير، وبعض الأدوات الجديدة التي بنوها لا تزال قيد الاختبار لمعرفة ما إذا كانت تعمل بالجودة المرجوة.

سحر الفنان "مزيل الضجيج"

لفهم كيف يعمل هذا، دعونا ننظر إلى دماغ الروبوت. يستخدم البحث نوعًا من الذكاء الاصطناعي يسمى نموذج الانتشار الكامن (latent diffusion model). تخيل دلوًا من الماء الطيني. إذا استمررت في تحريكه، سيصبح أكثر فوضوية وفوضوية حتى يصبح مجرد وحل بني. يتعلم نموذج الانتشار القيام بالعكس: يتعلم كيف يأخذ ذلك الوحل البني ويفصل التراب عن الماء ببطء وعناية حتى تحصل على صورة واضحة مرة أخرى. في عالم الكمبيوتر، "الوحل" هو الضجيج العشوائي، و"الصورة الواضحة" هي صورة لشخص يرتدي ملابس.

لفترة طويلة، كانت هذه الروبوتات بارعة في صنع صور جديدة من الصفر ولكنها سيئة في اتباع قواعد صارمة. إذا طلبت قميصًا بأكمام تنتهي بالضبط عند المرفق، فقد يخمن الروبوت فقط. الأمر يشبه طلب رسم منزل من طفل بباب عرضه 3 بوصات بالضبط؛ قد يرسم بابًا، لكنه نادرًا ما يكون بالحجم الدقيق الذي أردته. تضمنت المحاولات السابقة للإصلاح استخدام شبكات الخصومة التوليدية (GANs) (نوع آخر من الذكاء الاصطناي)، لكنها كانت غالبًا جامدة ولا تستطيع إنشاء ثنيات أو إضاءة واقعية. ثم جاءت نماذج الانتشار (Diffusion Models)، وهي أفضل بكثير في جعل الأشياء تبدو حقيقية، لكنها لا تزال تعاني من مشكلة "المكان الدقيق".

الحل الجديد: إعطاء الروبوت مسطرة

فكرة المؤلف الرئيسية بسيطة: توقف عن التخمين وابدأ في القياس.

في الماضي، إذا أردت تجربة قميص، ستعرض فقط القميص والشخص على الروبوت. سيحاول الروبوت "ليّ" (warp) القميص ليناسب الجسم. لكن المؤلف أدرك أنه لكي ينجح الأمر، يجب أن يعرف الروبوت كيف يناسب القميص الجسم. هل هو ضيق؟ هل هو واسع؟ هل ينتهي الكم عند المعصم أم المرفق؟

لذا، بنى الفريق مسار معالجة مسبقة. قبل أن يرى الروبوت الصورة، يستخدمون أدوات ذكية أخرى لـ:

1. قص الملابس: يستخدمون "قناعًا" (mask) لإخفاء الجزء من الشخص حيث سيذهب القميص الجديد.
2. قياس كل شيء: يستخدمون الرؤية الحاسوبية لقياس المسافة من وركي الشخص إلى أسفل القميص، وعرض الرقبة، ومقدار ما يغطيه الكتف.
3. إنشاء "بطاقة نقاط": يحولون هذه القياسات إلى أرقام وتسميات. على سبيل المثال، بدلاً من مجرد قول "أكمام طويلة"، قد يقولون "الأكمام تنتهي عند 0.8 من طول الذراع".

أداة "المحول": المترجم

دماغ الروبوت (نموذج الانتشار) بارع بالفعل في الرسم، لكنه لا يتحدث لغة "القياسات". لإصلاح ذلك، بنى المؤلف أداة خاصة تسمى المحول (adapter). فكر في هذا المحول كمترجم.

يأخذ المترجم "بطاقة النقاط" (القياسات والتسميات) وصورة القميص، ويحولها إلى لغة يفهمها الروبوت. ثم يهمس بهذه التعليمات في أذن الروبوت أثناء قيامه بالرسم.

• IP-Adapter: يساعد هذا الجزء الروبوت على فهم مظهر القميص (النقشة، اللون).
• T2I-Adapter: يساعد هذا الجزء الروبوت على فهم التفاصيل وأين يضعها.

أنشأ المؤلف نسخة مخصصة جديدة من هذا المترجم خصيصًا لعملية "رفع العينات" (up-sampling) في عملية الرسم. هذه هي المرحلة التي يضيف فيها الروبوت التفاصيل الدقيقة، مثل ملمس القماش أو كيفية سقوط الضوء على الثنية. من خلال حقن بيانات القياس في هذه المرحلة تحديدًا، يمكن للروبوت تعديل التفاصيل بناءً على تعليمات المسطرة.

ما أظهرته التجارب

قام المؤلف بتدريب هذا النظام الجديد على آلاف الصور لأشخاص وملابس. وإليكم ما وجدوه:

• إنه يعمل، لكنه عمل مستمر: عندما قاموا بتغيير "المقابض" (تسميات القياس)، قام الروبوت بالفعل بتغيير الملابس. على سبيل المثال، إذا أخبروا الروبوت بجعل فتحة الرقبة أعمق (عن طريق تغيير رقم من 1 إلى -2)، رسم الروبوت فتحة رقبة أعمق. وإذا أخبروه بتغطية كتف واحد فقط، فعل ذلك أيضًا.
• الأرقام أفضل من الكلمات: وجد المؤلف أن إعطاء الروبوت رقمًا محددًا (مثل قيمة عشرية) كان يعمل بشكل أفضل من إعطائه فئة (مثل "أكمام طويلة"). الأمر يشبه قولك للطاهي "أضف 5 جرامات من الملح" بدلاً من "أضف القليل من الملح". استطاع الروبوت اتباع الرقم بدقة أكبر.
• خدعة "القناع": علم الفريق أيضًا الروبوت تجاهل أجزاء الصورة المخفية خلف القناع. وجدوا أنه إذا أخبروا الروبوت "القناع ينتهي هنا، لكن يمكنك الرسم فوقه"، فإن الروبوت سينتج نسيجًا جديدًا فوق خط القناع. وهذا أمر ضخم لأن هذا يعني أنه يمكنك أخذ صورة لشخص يرتدي قميصًا طويلًا وإخبار الروبوت بتحويله إلى قميص قصير (crop top)، وسيعرف الروبوت أنه يجب رسم منطقة البطن المفقودة.
• الحدود: يعترف البحث بأن الروبوت ليس مثاليًا بعد. عندما كانت الملابس ذات أنماط أو تفاصيل معقدة للغاية، كان الروبوت يفقدها أحيانًا. يشتبه المؤلف في أن هذا لأن أداة "رفع العينات" الجديدة التي بنوها لم يتم تدريبها لفترة كافية. لا يزال الروبوت يتعلم كيفية استخدام مسطرته الجديدة.

ما يقول المؤلف "لا" له

كان المؤلف واضحًا جدًا بشأن ما لا يعمل أو ليس محور التركيز:

• استخدام المطالبات النصية وحدها ليس كافيًا: حاولوا طلب "جعل الأكمام أطول" من الروبوت باستخدام الكلمات فقط، لكن الروبوت غالبًا ما تجاهلها أو أخطأ فيها. كانت القياسات ضرورية.
• ترميز "الواحد الساخن" (one-hot encoding) ليس مثاليًا: جربوا استخدام مفاتيح بسية "تشغيل/إيقاف" لأشياء مثل طول الكم (مثلاً: "هل هو طويل؟ نعم/لا")، لكنهم وجدوا أن الأرقام المستمرة (مثل منزلق من 0 إلى 1) تعطي تحكمًا أفضل بكثير.
• إنه ليس حلاً سحريًا لكل شيء: يشير المؤلف إلى أنه إذا تم تدريب الروبوت على مجموعة بيانات حيث حفظ الإجابات بالفعل، فإن إضافة تعليمات جديدة قد لا يساعد. كان عليهم البدء من جديد لجعل النظام الجديد يعمل.

الحكم النهائي

يشير هذا البحث إلى أنه من خلال الجمع بين القياسات الدقيقة وأدوات "المحول" الذكية، يمكننا منح أنظمة القياس الافتراضي تحكمًا أكبر. إنها ليست مشكلة محلولة تمامًا—فالروبوت لا يزال بحاجة إلى مزيد من التدريب لإتقان التفاصيل الصغيرة، والأدوات الجديدة تحتاج إلى مزيد من الاختبار—لكن الاتجاه واعد. يوضح المؤلف أنه إذا أعطيت الذكاء الاصطناعي مسطرة ومجموعة من التعليمات، فيمكنه التوقف عن التخمين والبدء في اتباع الأوامر، مما يخلق صورًا أقرب بكثير لما سيراه العميل الحقيقي. إنها خطوة نحو مستقبل حيث يمكنك تجربة الملابس عبر الإنترنت، وتكون الصورة التي تراها هي بالضبط ما ستصلك عند وصول الطرد.