🤖 AI

Training-Free Text-Guided Color Editing with Multi-Modal Diffusion Transformer

تقدم هذه الورقة ColorCtrl، وهي طريقة لا تتطلب تدريباً تستفيد من نماذج المحولات الانتشارية متعددة الوسائط لتحقيق تحرير لوني دقيق ومتسق ومستقر زمنياً بتوجيه نصي في الصور والفيديوهات من خلال فصل البنية واللون عبر التلاعب المستهدف بخرائط الانتباه والرموز.

المؤلفون الأصليون: Zixin Yin, Xili Dai, Ling-Hao Chen, Deyu Zhou, Jianan Wang, Duomin Wang, Gang Yu, Lionel M. Ni, Lei Zhang, Heung-Yeung Shum

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zixin Yin, Xili Dai, Ling-Hao Chen, Deyu Zhou, Jianan Wang, Duomin Wang, Gang Yu, Lionel M. Ni, Lei Zhang, Heung-Yeung Shum

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صورة رقمية لتفاحة حمراء موضوعة على طاولة خشبية تحت مصباح دافئ. تريد تحويل تلك التفاحة إلى اللون الأخضر. في عالم تحرير الصور التقليدي، يشبه هذا الأمر محاولة طلاء منحوتة ثلاثية الأبعاد بفرشاة مسطحة: قد تجعل التفاحة خضراء، لكنك قد تلون الطاولة باللون الأخضر أيضًا، وتغير طريقة سقوط الضوء على التفاحة، أو تجعل التفاحة تبدو كأنها لعبة بلاستيكية مسطحة بدلاً من كونها فاكهة لامعة.

تقدم هذه الورقة البحثية ColorCtrl، وهي أداة جديدة تعمل مثل "عصا سحرية للألوان" لمولدات الصور بالذكاء الاصطناعي. تتيح لك تغيير لون أشياء محددة في صورة أو فيديو بمجرد كتابة تعليمات نصية، دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي أو تعديل الإعدادات المعقدة يدويًا.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: تأثير "الفيضان" (Spill-Over Effect)

أدوات الذكاء الاصطناعي الحالية التي تغير الألوان غالبًا ما تتصرف كرسام مهمل. إذا طلبت منها تحويل كرة حمراء إلى زرقاء، فقد تقوم بـ:

تحويل الغرفة بأكملة إلى اللون الأزرق.
جعل الكرة تبدو كدائرة زرقاء مسطحة بدلاً من كرة ثلاثية الأبعاد.
تغيير الانعكاس للكرة في بركة ما لشيء لا يتناسب مع اللون الجديد.
إفساد الظلال والإضاءة، مما يجعل المشهد يبدو مزيفًا.

يحدث هذا لأن الذكاء الاصطناعي يواجه صعوبة في فهم أن "اللون" هو مجرد طبقة واحدة من مشهد معقد يتضمن أيضًا الشكل، والمادة (هل هي لامعة أم مطفأة؟)، والإضاءة.

2. الحل: "منظم حركة المرور الذكي"

بنى المؤلفون ColorCtrl ليعمل مع نماذج الذكاء الاصطناعي الحديثة (المسماة MM-DiT). فكر في هذه النماذج كأوركسترا ضخمة حيث يعزف موسيقيون مختلفون (بيانات النص والصورة) معًا.

يعمل ColorCtrl كـ منظم حركة مرور ذكي داخل عقل الذكاء الاصطناعي. فهو يستخدم آلية تسمى "الانتباه" (Attention) ليقرر بالضبط الأجزاء التي يجب تغييرها في الصورة والأجزاء التي يجب تركها كما هي.

حارس "الهيكل": تخيل أن الذكاء الاصطناعي يبني منزلًا. يخبر ColorCtrl الذكاء الاصطناعي: "حافظ على الجدران، والسقف، والنوافذ في أماكنها تمامًا". إنه يقفل الهندسة والمواد (مثل عروق الخشب أو لمعان المعدن) حتى لا تذوب أو تتشوه عند تغيير اللون.
فلتر "اللون": بعد ذلك، يحدد الكائن المحدد الذي تريد تغييره (مثل "التفاحة"). إنه يعمل مثل "الاستنسل" (القالب)، حيث يطبق اللون الجديد فقط على التفاحة.
مرآة "الانعكاس": والأهم من ذلك، أنه يفهم الفيزياء. إذا حولت التفاحة إلى اللون الأخضر، فإن ColorCtrl يقوم تلقائيًا بتحديث انعكاس التفاحة الخضراء في البركة والطريقة التي يتلألأ بها الضوء على قشرتها. إنه لا يكتفي بطلاء لون مسطح؛ بل يعيد رسم الضوء المتفاعل مع الكائن.

3. كيف يحقق ذلك (خدع "السحر")

تشرح الورقة البحثية خدعتين رئيسيتين تستخدمهما الأداة لتبقى "بدون تدريب" (بمعنى أنها لا تحتاج لتعلم شيء جديد؛ بل تستخدم الذكاء الاصطناعي الموجود بالفعل):

شبكة أمان "النسخ واللصق": عندما يولد الذكاء الاصطناي الصورة الجديدة، ينظر ColorCtrl إلى "المخطط" الأصلي للصورة (يسمى خرائط الانتباه). يقوم بنسخ الأجزاء من المخطط التي تمثل الخلفية والشكل، مما يضمن أن الصورة الجديدة تبدو تمامًا مثل القديمة، باستثناء اللون.
مفتاح التحكم "على مستوى الكلمة": يمكنك أن تكون محددًا للغاية. إذا قلت "أخضر داكن"، يمكن لـ ColorCtrl ضبط كثافة ذلك اللون الأخضر فقط لكلمة "داكن"، دون العبث ببقية الجملة. إنه يشبه امتلاك مفتاح تعتيم لكلمات محددة في تعليماتك.

4. لماذا هو أفضل من المنافسين

اختبر المؤلفون ColorCtrl مقابل أدوات مجانية أخرى وحتى نماذج تجارية باهظة الثمن (مثل GPT-4o و FLUX.1).

مقابل الأدوات المجانية الأخرى: غالبًا ما تترك الأدوات الأخرى "أشباحًا" من اللون القديم أو تغير الخلفية. ColorCtrl يشبه الجراح؛ فهو يستأصل اللون القديم ويخيط الجديد مكانه دون ترك ندبة.
مقابل النماذج التجارية: حتى النماذج التجارية الكبيرة والمكلفة قد تبالغ في التعديل أحيانًا. على سبيل المثال، إذا طلبت "قطة صفراء"، فقد تجعل النماذج التجارية القطة ذات لون أصفر نيون غير طبيعي. ومع ذلك، فإن ColorCtrl يفهم أن القطط الحقيقية لها ملمس فرو وإضاءة، لذا فإنه ينشئ قطة صفراء تبدو طبيعية وتتناسب مع العالم الحقيقي.

5. ما وراء الصور: الفيديوهات المتحركة

الأداة ليست مقتصرة على الصور الثابتة فقط. أظهر المؤلفون أنها تعمل على الفيديوهات أيضًا. تخيل فيديو لشخص يمشي ومعه مظلة حمراء. إذا طلبت تغييرها إلى اللون الأزرق، يضمن ColorCltr بقاء المظلة زرقاء إطارًا بإطار دون وميض، كما يضمن تحرك انعكاس المظلة الزرقاء على الرصيف المبلل بشكل صحيح مع حركة الشخص.

الملخص

ColorCtrl هو ترقية "جاهزة للتشغيل" لمحرري الصور بالذكاء الاصطناعي. إنه يحل مشكلة تغيير الألوان المعقدة من خلال العمل كدليل دقيق يخبر الذكاء الاصطناعي: "غير لون هذا الكائن المحدد، ولكن حافظ على الشكل، والإضاءة، والانعكاسات، والخلفية تمامًا كما هي". وهو يفعل ذلك دون الحاجة إلى إعادة تدريبه، مما يجعله أداة قوية ومجانية لأي شخص يريد تحرير الصور أو الفيديوهات بدقة الفنان المحترف.

ملخص تقني: ColorCtrl - تحرير الألوان الموجه بالنص بدون تدريب باستخدام محولات الانتشار متعددة الوسائط (Multi-Modal Diffusion Transformers)

تعريف المشكلة

لا يزال تحرير الألوان الموجه بالنص في الصور ومقاطع الفيديو تحديًا أساسيًا لم يتم حله بالكامل في التعلم العميق. تتطلب هذه المهمة تلاعبًا دقيقًا بخصائص الألوان — بما في ذلك لون الجسم الأصلي (albedo)، ولون مصدر الضوء، والإضاءة المحيطة — مع الحفاظ بصرامة على الاتساق الفيزيائي. وتحديدًا، يجب أن تتبع طريقة التحرير المثالية هندسة المشهد، وخصائص المواد (مثل الخشونة واللمعان)، والتفاعلات بين الضوء والمادة (مثل الانعكاسات، والانكسارات، والظلال).

تواجه الأساليب الحالية قيودًا كبيرة:

أساليب الضبط الدقيق (Fine-tuning): رغم فعاليتها، إلا أنها تتطلب مجموعات بيانات ضخمة ومسارات تدريب معقدة، مما يقيد استخدامها في نطاقات ضيقة.
الأساليب التي لا تعتمد على التدريب (Training-free): رغم أنها عامة وسهلة الاستخدام، إلا أن الأساليب الحالية الرائدة في هذا المجال تعاني من صعوبة في التحكم الدقيق في الألوان. فهي غالبًا ما تتسبب في عدم اتساق بصري، حيث تغير المناطق غير المعدلة أو تفشل في الحفاظ على الأمانة الهيكلية وخصائص المواد أثناء عملية التحرير.

يكمن الصعوبة الجوهرية في الطبيعة غير محددة المعالم للمشكلة، والتي تتطلب ضمنيًا إعادة بناء مشهد ثلاثي الأبعاد لضمان التزام تغييرات الألوان بقوانين الإضاءة وتفاعل المواد.

المنهجية: ColorCtrl

يقترح المؤلفون ColorCtrl، وهو أسلوب لتحرير الألوان مفتوح النطاق ولا يتطلب تدريبًا، يستفيد من آليات الانتباه (attention mechanisms) في محولات الانتشار متعددة الوسائط (MM-DiT) الحديثة، مثل SD3 و FLUX.1-dev. وعلى عكس الطرق السابقة التي تعتمد على بنيات U-Net، يستغل ColorCtrl آلية الانتباه الذاتي الموحدة في MM-DiT، حيث يتم دمج رموز النص والرؤية ومعالجتها معًا.

تعمل الطريقة عن طريق فصل الهيكل عن اللون من خلال التلاعب المستهدف بخرائط الانتباه ( $M$ ) ورموز القيم ( $V$ ) عبر جميع طبقات الانتباه وخطوات الاستدلال. تتكون الخطوة من ثلاثة مكونات أساسية:

1. الحفاظ على الهيكل

للحفاظ على الهندسة، وخصائص المواد، والتفاعلات بين الضوء والمادة (القيود C1-C3)، يستخدم ColorCtrl بنية فرع المصدر والهدف.

الآلية: يقوم فرع المصدر بتوليد الصورة الأصلية ويقوم بتخزين مخرجات الانتباه الوسيطة. ثم يعيد فرع الهدف استخدام هذه المخرجات لتوليد الصورة المعدلة.
التنفيذ: يتم نقل الربع (vision-to-vision) من خريطة الانتباه (الذي يمثل التفاعلات بين رموز الرؤية) من فرع المصدر إلى فرع الهدف. يضمن ذلك بقاء التخطيط المكاني، وأشكال الأجسام، وظروف الإضاءة ثابتة، حيث أن هذا الجزء من خريطة الانتباه يرمز بطبيعته إلى المعرفة الهيكلية للمشهد.

2. الحفاظ على اللون

لمنع التحولات اللونية غير المرغوب فيها في المناطق غير المتعلقة بالتحرير، تقوم الطريقة بتحديد منطقة التحرير والحفاظ على اللون الأصلي في بقية الصورة.

استخراج القناع (Mask Extraction): يتم استخراج قناع ثنائي $m$ تحديدًا من جزء (vision-to-text) في خريطة الانتباه. لاحظ المؤلفون أن انتباه (الرؤية-إلى-النص) يوفر تحديدًا مكانيًا فائقًا للجسم المستهدف مقارنة بخرائط الانتباه (النص-إلى-الرؤية) أو خرائط الانتباه المتوسطة.
استبدال الرموز (Token Replacement): بالنسبة للمناطق خارج القناع (المناطق غير المعدلة)، يتم نسخ الجزء البصري من رموز القيم ( $V^{vision}$ ) من فرع المصدر مباشرة إلى فرع الهدف. هذا يحافظ على معلومات اللون الأصلية في المناطق غير المتأثرة. ومن الضروري ملاحظة أن الجزء النصي من رموز القيم ( $V^{text}$ ) لا يتم استبداله، لأن القيام بذلك من شأنه إضعاف التوجيه النصي وإدخال عيوب بصرية.

3. إعادة وزن السمات (اختياري)

لدعم التحكم الدقيق على مستوى الكلمات في شدة سمات الألوان (على سبيل المثال، "أصفر داكن" مقابل "أصفر فاتح")، يقدم ColorCtrl آلية لإعادة الوزن.

التنفيذ: يتم تغيير مقياس درجات الانتباه في الربع (text-to-vision)، المرتبط برموز كلمات محددة (مثل "dark")، قبل عملية الـ softmax. يسم old ذلك للمستخدمين تعديل قوة سمات معينة دون الإخلال بالاتساق الهيكلي الذي تم وضعه في الخطوات السابقة.

المساهمات الرئيسية

تحرير الألوان بدون تدريب: تقديم ColorCtrl، وهو أسلوب يحقق تحريرًا دقيقًا للألوان (اللون الأصلي، مصدر الضوء، الإضاءة المحيطة) دون الحاجة لأي ضبط دقيق للنماذج، وذلك بالاستفادة من نماذج MM-DiT المدربة مسبقًا.
الاتساق الفيزيائي: تنجح الطريقة في الحفاظ على الهندسة، وخصائص المواد، والتفاعلات بين الضوء والمادة (الانعكاسات، الانكسارات، الظلال)، مما يعالج فجوة حرجة في الأساليب الحالية التي لا تتطلب تدريبًا.
التحكم الدقيق: القدرة على التحكم في شدة السمات على مستوى الكلمة عبر إعادة وزن الانتباه، مما يسمح بتحريرات دقيقة مثل تعديل "درجة قتامة" اللون.
استقلالية النموذج وقابلية التوسع: تم إثبات توافق النهج مع مختلف نماذج MM-DT، بما في ذلك مولدات الصور (SD3, FLUX.1-dev)، ومولدات الفيديو (CogVideoX)، ونماذج التحرير القائمة على التعليمات (Step1X-Edit, FLUX.1 Kontext dev).

النتائج التجريبية

أجرى المؤلفون تجارب واسعة النطاق على PIE-Bench وعلى معيار جديد هو ColorCtrl-Bench (300 زوج من المطالبات)، وقارنوا ColorCtrl مع:

النماذج المرجعية التي لا تتطلب تدريبًا: FireFlow, RF-Solver, SDEdit, DiTCtrl, FlowEdit, Uni-Edit-Flow.
النماذج التجارية: FLUX.1 Kontext Max و GPT-4o Image Generation.

النتائج الكمية:

الأداء: يحقق ColorCtrl أداءً رائدًا (state-of-the-art) بين الطرق التي لا تتطلب تدريبًا على كل من SD3 و FLUX.1-dev، متفوقًا على النماذج المرجعية في مقاييس Canny-SSIM (الهيكل)، و PSNR/SSIM (الحفاظ على الخلفية)، و CLIP similarity (المحاذاة الدلالية).
المقارنة مع النماذج التجارية: يتفوق ColorCtrl على النماذج التجارية القوية (FLUX.1 Kontext Max, GPT-4o) في مقاييس الاتساق. وبينما تحقق النماذج التجارية أحيانًا درجات CLIP أعلى، يشير المؤلفون إلى أن هذا غالبًا ما يكون بسبب التعديلات شديدة التشبع وغير الواقعية التي تخل بالاتساق الفيزيائي وخصائص المواد (مثل تحويل قميص شبه شفاف إلى قميص معتم). ينتج ColorCtrl تعديلات أكثر طبيعية ووفاءً للواقع تحترم الفيزياء الحقيقية.
تحرير الفيديو: عند توسيع النطاق إلى CogVideoX، أظهر ColorCtrl مزايا كبيرة في الحفاظ على التماسك الزمني واستقرار التحرير، متفوقًا على جميع النماذج المرجعية للفيديو التي لا تتطلب تدريبًا.

النتائج النوعية:

نجحت الطريقة في التعامل مع سيناريوهات معقدة، مثل تغيير لون كرة مع تحديث انعكاس الماء عليها بدقة، واللمعان اللحظي (specular highlights)، وحتى القطرات الصغيرة على سطح زجاجي.
تتعامل الطريقة بفعالية مع تحرير كائنات متعددة والتحرير القائم على التعليمات دون الحاجة لضبط يدوي للمعاملات.

الأهمية والادعاءات

يزعم البحث أن ColorCtrl يمثل خطوة كبيرة للأمام في مجال التحرير التوليدي القابل للتحكم. فمن خلال الفصل الفعال بين الهيكل واللون داخل آليات الانتباه في MM-DiT، تحل الطريقة التحدي طويل الأمد المتمثل في تحرير الألوان الدقيق والمتسق فيزيائيًا دون الحاجة لتدريب.

يؤكد المؤلفون أن طريقتهم:

تتعمم بشكل جيد عبر بنيات نماذج مختلفة (صور، فيديو، تعليمات).
لا تتطلب ضبطًا يدويًا للمعاملات للطبقات أو خطوات الاستدلال المختلفة، مما يجعلها قوية وسهلة الاستخدام.
تتفوق على النماذج التجارية في الحفاظ على الاتساق البصري والواقعية، مما يشير إلى أن النماذج مفتوحة المصدر مع التحكم الدقيق في الانتباه يمكن أن تضاهي أو تتجاوز الحلول المملوكة لشركات كبرى في مهام تحرير محددة.

يُقدم هذا العمل كحجر أساس للتحرير اللوني عالي الدقة والقابل للتحكم، مما يمهد الطريق لأبحاث مستقبلية في التلاعب البصري المتسق فيزيائيًا.