💻 computer science

CopyCat: Improving Fine-Grained Subject Consistency in Subject-to-Image Models within Seconds

يُعد CopyCat إطار عمل خفيف الوزن للتحسين لمرة واحدة، يعمل على تحسين الاتساق الدقيق للموضوع في نماذج "الموضوع إلى صورة" بشكل كبير خلال ثوانٍ معدودة عبر تحسين نموذج LoRA للاتساق الدقيق باستخدام صورة وسيطة واحدة من خلال هدف إعادة البناء الذاتي، مما يتيح تخصيصاً عالي الجودة عبر مواضيع متنوعة غير مرئية دون الحاجة إلى مزيد من الضبط.

المؤلفون الأصليون: Peng Zheng, Ruiqi Liu, Rui Ma, Zuxuan Wu

نُشر 2026-08-04

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Peng Zheng, Ruiqi Liu, Rui Ma, Zuxuan Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ ماهر يمكنه طهي أي طبق تذوقته بمجرد سماع اسمه. يمكنك صنع "تاكو حار" أو "كعكة قوس قزح" بإتقان تام. ولكن الآن، يطلب منك شخص ما طهي "تاكو" باستخدام وصفة عائلته الخاصة، التي تتضمن رشة سرية من القرفة وطريقة فريدة لطي خبز التورتيلا. أنت تعرف كيف تصنع التاكو، لكنك لا تعرف سرهم الخاص. هذا هو التحدي الذي يواجه فرعاً من علوم الحاسوب يسمى "توليد الصور بناءً على موضوع محدد" (subject-to-image generation). هذه برامج ذكاء اصطناٍعي قوية يمكنها إنشاء صور بناءً على أوصاف نصية، ولكن عندما يُطلب منها رسم شخص أو حيوان أليف أو شيء معين لم تره من قبل، فإنها غالباً ما تنجح في التقاط الفكرة العامة بينما تخفق في التفاصيل الصغيرة والفريدة التي تجعل هذا الموضوع مميزاً. الأمر يشبه رسم كلب يبدو ككلب، ولكنه ليس كلبك أنت. يسعى الباحثون لإصلاح هذا الأمر حتى يتمكن الذكاء الاصطناعي من التقاط تلك التفاصيل الدقيقة والفريدة — مثل ندبة معينة في الوجه أو نمط فريد على فراء قطة — دون الحاجة لقضاء أيام في التعلم من آلاف الصور الجديدة.

إليك CopyCat، وهي خدعة ذكية تعمل كجلسة "ضبط سريع" لهؤلاء الفنانين من الذكاء الاصطناعي. بدلاً من إجبار الذكاء الاصطناعي على إعادة تعلم كل شيء من الصفر، تمنحه CopyCat دورة تنشيطية سريعة لمرة واحدة لا تستغرق سوى حوالي 3 ثوانٍ. ما هو المكون السري؟ يُطلب من الذكاء الاصطناعي النظر إلى صورة واحدة للموضوع ثم يحاول رسم نفس الصورة تماماً مرة أخرى، بكسل مقابل بكسل. قد يبدو هذا كأنه سؤال مخادع — لماذا تطلب من فنان أن ينسخ صورة ينظر إليها بالفعل؟ لكن لعبة "إعادة البناء الذاتي" هذه تجبر الذكاء الاصطناعي على التوقف عن التخمين والبدء في الانتباه للتفاصيل الدقيقة الصغيرة التي يتجاهلها عادةً. من خلال إرفاق إضافة صغيرة وخفيفة الوزن (تسمى "Fine-grained Consistency LoRA") بالذكاء الاصطناعي الحالي، تساعد CopyCat النموذج على إدراك: "أوه، أحتاج إلى الحفاظ على شكل هذه الشوارب تحديداً كما هو!". والنتي نتيجة ذلك هي نموذج يمكنه تطبيق هذا الانتباه الفوري للتفاصيل على أي موضوع أو أمر جديد، سواء كان كلباً يرتدي زي ساحر أو قطة تضع وشاحاً ملوناً بألوان قوس قزح، دون الحاجة لإعادة تدريبه لكل شخصية جديدة.

اكتشف الباحثون أيضاً شيئاً مفاجئاً حول كيفية بناء نماذج الذكاء الاصطناعي هذه. العديد منها يمتلك "مسارين" للتفكير: أحدهما لقراءة النص (مثل "كلب") والآخر للنظر إلى الصورة. وجد الفريق أنه عند تعليم الذكاء الاصطناعي التعرف على موضوعات محددة، فإنه لا يحتاج فعلياً لتعديل مسار قراءة النص على الإطلاق. الأمر يشبه محاولة تعليم شخص ما التعرف على سيارة معينة؛ فأنت لا تحتاج لإعادة تدريب قدرته على قراءة كلمة "سيارة"، بل تحتاج فقط لشحذ عينيه لرؤية الانبعاجات والألوان المحددة. ومن خلال إزالة تعديلات التدريب من مسار النص والتركيز فقط على مسار الصورة، يصبح الذكاء الاصطناعي في الواقع أفضل في الحفاظ على اتساق الموضوع، ويفعل ذلك بعدد أقل من الأجزاء المتحركة.

باختصار، تشير CopyCat إلى أننا لسنا بحاجة لمجموعات بيانات ضخمة جديدة أو ساعات من التدريب للحصول على اتساق مثالي. من خلال استخدام صورة واحدة كمعلم وطالب في آن واحد، وبالتركيز على الجانب البصري فقط من الدماغ، يمكننا جعل نماذج الذكاء الاصطنا هذه أفضل بكثير في التقاط الروح الفريدة للموضوع في ثوانٍ معدودة. تُظهر التجارب أن هذه الطريقة تحسن باستمرار مدى قدرة نماذج الذكاء الاصطناعي المختلفة على الحفاظ على الهوية، مما يجعلها أكثر موثوقية لإنشاء فن مخصص، رغم أن الباحثين يشيرون إلى أن هذا يعد تحسيناً للأدوات الموجودة وليس طريقة جديدة تماماً لتوليد الصور من الصفر.

ملخص تقني: CopyCat

بيان المشكلة

حققت نماذج تحويل "الموضوع إلى صورة" (S2I) مؤخرًا تقدمًا في توليد الصور المخصصة، لكنها لا تزال تعاني في الحفاظ على التفاصيل الدقيقة الخاصة بالموضوع. وبينما يمكن لهذه النماذج الحفاظ على الهوية العامة للموضوع المرجعي، إلا أنها غالبًا ما تفشل في إعادة إنتاج الميزات المميزة الدقيقة. وتتمثل العقبة الأساسية في نقص الإشراف عالي الجودة والدقيق للهوية؛ حيث يصعب جمع بيانات حقيقية مقترنة (صورة مرجعية وصورة مستهدفة لنفس الموضوع في سياقات مختلفة) نظراً لتكلفتها الباهظة. وبناءً على ذلك، تعتمد النماذج على أزواج تدريبية مُخلّقة تعمل بفعالية على تعليم المظهر العام ولكنها تفشل في التقاط التفاصيل الدقيقة الخاصة بالموضوع. أما الحلول الحالية التي تعمل على تحسين حجم البيانات، فتتطلب إعادة تدريب نماذج مكلفة، بينما تتطلب طرق التخصيص القائمة على التحسين (مثل DreamBooth) تكاليف عالية لكل موضوع جديد.

المنهجية

يقترح البحث إطار عمل CopyCat، وهو إطار عمل خفيف الوزن لتنقيح النماذج، صُمم لاستعادة الاتساق الدقيق المفقود في نماذج S2I سابقة التدريب خلال ثوانٍ معدودة. يتكون الإطار من مكونين مستقلين:

1. تنقيح FCLoRA للاتساق الدقيق

بدلاً من جمع مجموعات بيانات جديدة واسعة النطاق، يقوم CopyCat بعملية تنقيح لمرة واحدة لنموذج S2I موجود مسبقاً باستخدام صورة وكيلة واحدة.

هدف إعادة البناء الذاتي الدقيق: الابتكار الجوهري هو استخدام الصورة الوكيلة كصورة شرطية ( $I_{ref}$ ) وهدف إعادة بناء ( $I_{target}$ ) في آن واحد، بحيث تكون $I_{ref} = I_{target}$ على مستوى البكسل.
الآلية: من خلال مطابقة الصور الشرطية والمستهدفة تماماً، تلغي مهمة التحسين الحاجة إلى نمذجة تغيرات الوضعية، أو تغيرات زاوية الرؤية، أو تغيرات الإضاءة. وتصبح المهمة عبارة عن مشكلة إعادة بناء دقيقة بحتة.
الكفاءة: يتم إلحاق LoRA خفيف الوزن ( $\Delta\theta_{FC}$ ) برتبة (rank) أصغر بكثير من LoRA الأصلي لـ S2I بالنموذج المجمد. ويتم تحسينه لخطوات قليلة فقط (حوالي 3 ثوانٍ على وحدة معالجة رسومات واحدة) لتصحيح أخطاء الارتباط البصري الدقيق المتأصلة في النموذج المُدرب مسبقاً.
التعميم: لا يقوم التنقيح بتشفير الهوية المحددة للصورة الوكيلة، بل يتعلم قدرة قابلة للنقل للحفاظ على التفاصيل الدقيقة، مما يسمح بتطبيق النموذج المنقح على مواضيع متنوعة غير مرئية ومطالبات (prompts) مختلفة دون الحاجة إلى تحسين إضافي خاص بكل موضوع.

2. LoRA "بصري فقط" لتحويل الموضوع إلى صورة

قام المؤلفون بمراجعة بنية نماذج S2I القائمة على محولات الانتشار مزدوجة المسار (مثل هيكل FLUX).

الملاحظة: يتم تشفير المعرفة الخاصة بالموضوع بشكل أساسي في المظهر البصري، بينما تحدد المطالبات النصية المشهد أو السمات.
الاستراتيجية: يقترح البحث إزالة محولات LoRA من المسار النصي المخصص لكتل الانتشار مزدوجة المسار (Double-Stream Blocks) مع الاحتفاظ بها في المسار الصوري وفي الكتل أحادية المسار (Single-Stream Blocks) المشتركة اللاحقة.
النتيجة: تقلل استراتيجية "البصري فقط" هذه من عدد المعلمات القابلة للتدريب وتزيد باستمرار من اتساق الموضوع مقارنة بتكييف كلا المسارين.

المساهمات الرئيسية

إطار عمل CopyCat: طريقة تنقيح خفيفة الوزن تُجرى لمرة واحدة، تعمل على تحسين اتساق الموضوع الدقيق بشكل كبير في ثوانٍ باستخدام صورة واحدة فقط.
نموذج إعادة البناء الذاتي الدقيق: تحديد أن استخدام صورة متطابقة للشرط وإعادة البناء هو المفتاح لعملية تنقيح فعالة تستغرق ثوانٍ معدودة. هذا الهدف البسيط يسمح للنموذج بالتركيز حصرياً على تعزيز الارتباط البصري الدقيق دون الحاجة لنمذجة التباينات الدلالية.
تصميم LoRA "البصري فقط": إثبات أن تكييف المسار البصري فقط في محولات الانتشار مزدوجة المسار يتفوق على الاستراتيجية التقليدية لتكييف المسارين النصي والبصري، مما يوفر معياراً أقوى لتدريب S2I.

النتائج التجريبية

قيم المؤلفون CopyCat على DreamBench و XVerseBench عبر إعدادات الموضوع الواحد والمتعدد باستخدام نماذج تمثيلية (مثل UNO, UMO, USO, OmniGen، إلخ).

التحسينات الكمية: حسن CopyCat باستمرار مقاييس الحفاظ على الهوية ( $ID_{single}$ , $ID_{multi}$ , $ID_{INO}$ ) عبر جميع الهياكل المختبرة مع الحفاظ على توافق نصي ( $T_{CLIP}$ ) مماثل. على سبيل المثال، في XVerseBench، رفع UNO+CopyCat قيمة $ID_{single}$ من 59.24 إلى 69.31 وقيمة $IP_{single}$ من 80.75 إلى 84.95.
التحسينات النوعية: تُظهر المقارنات البصرية أن CopyCat يحافظ بشكل أفضل على التفاصيل الدقيقة (مثل ملامح الوجه، وأنماط الأنسجة) ويقلل من خلط الهوية في تركيبات المواضيع المتعددة (مثل التمييز بين الحيوانات المتشابهة مثل القطط والكلاب).
تخصيص الوجه البشري: على الرغم من التدريب بدون بيانات خاصة بالوجه، حسن CopyCat بشكل كبير اتساق هوية الوجه، محققاً نتائج تضاهي النماذج المتخصصة مثل UMO.
دراسات الاستئصال (Ablation Studies):
- استخدام صورة مختلفة لنفس الموضوع كهدف (بدلاً من الصورة المتطابقة) لم يؤدِ إلى تحسينات ملحوظة.
- أدى التحسين المفرط إلى فرط التخصيص (overfitting)؛ حيث تم تحقيق أفضل تنقيح في حوالي 3 ثوانٍ (4 خطوات).
- تفوقت استراتيجية LoRA "البصرية فقط" باستمرار على Full LoRA في مقاييس اتساق الموضوع.

الأهمية والادعاءات

يدعي البحث أن CopyCat يقدم اتجاهاً بسيطاً وعملياً لتحسين نماذج تخصيص "الموضوع إلى صورة" المستقبلية. تكمن أهميته في:

الكفاءة: يتيح استعادة الاتساق الدقيق في ثوانٍ دون الحاجة إلى بيانات تدريب إضافية واسعة النطاق أو تحسين خاص بكل موضوع جديد.
القدرة على التعميم: النموذج المنقح هو تحسين "لمرة واحدة" يتعمم على مواضيع ومطالبات غير مرئية، ويعمل بفعالية كمحسن شامل لنماذج S2I الحالية.
الرؤية الهيكلية: تشير نتيجة LoRA "البصرية فقط" إلى أن تكييف المسار النصي ليس ضرورياً لتعلم الخصائص البصرية الخاصة بالموضوع، مما يوفر نموذج تدريب أكثر كفاءة لمحولات الانتشار مزدوجة المسار.

يؤكد المؤلفون أن هذا النهج لا يحل محل الحاجة إلى بيانات تدريب عالية الجودة في مرحلة التدريب الأولي، بل يعمل كعملية تنقيح فعالة لما بعد التدريب لإطلاق قدرات الاتساق الدقيق غير المستغلة والموجودة بالفعل في نماذج S2I المُدربة مسبقاً.