💻 computer science

NumColor: Precise Numeric Color Control in Text-to-Image Generation

يُعد NumColor إطار عمل مبتكر يتيح تحكماً عددياً دقيقاً في الألوان في عملية توليد الصور من النصوص عبر تقديم "كتاب ألوان" (ColorBook) قابل للتعلم وخسائر تدريب متخصصة للتغلب على قيود التجزئة (tokenization)، محققاً تحسينات كبيرة في الدقة والانسجام عبر نماذج انتشار متعددة دون الحاجة إلى تكييف خاص بكل نموذج.

المؤلفون الأصليون: Muhammad Atif Butt, Diego Hernandez, Alexandra Gomez-Villa, Kai Wang, Javier Vazquez-Corral, Joost Van De Weijer

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Muhammad Atif Butt, Diego Hernandez, Alexandra Gomez-Villa, Kai Wang, Javier Vazquez-Corral, Joost Van De Weijer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتحدث إلى فنان موهوب جداً يمكنه رسم أي شيء تصفه له. إذا قلت له: "ارسم سيارة حمراء"، سيفهمك فوراً. ولكن إذا حاولت أن تكون دقيقاً وقلت له: "ارسم سيارة بدرجة اللون الأحمر تماماً ذات الرمز #FF5733"، فسيصاب الفنان بالارتباك. قد يحدق في الرمز، ويقسمه إلى قطع عشوائية مثل "#" و "FF" و "57" و "33"، ثم يرسم سيارة بألوان قوس قزح، أو سيارة زرقاء، أو يتجاهل اللون تماماً.

هذه هي المشكلة التي يحلها بحث NumColor. إنه يشبه إعطاء الفنان قاموساً جديداً فائق الدقة ومترجماً ليفهم أخيراً أكواد الألوان بدقة.

إليك شرح كيفية عمل ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: "اللغز المكسور"

تقرأ مولدات الصور الحالية (مثل FLUX أو Stable Diffusion) النصوص باستخدام نظام يسمى الترميز (tokenization). فكر في هذا الأمر كأنه لغز (بازل) حيث يتم تقسيم الكلمات إلى قطع صغيرة.

المشكلة: عندما تكتب كود لون مثل #FF5733، فإن الذكاء الاصطنا artificial لا يراه كـ "لون واحد". بل يراه كأربع قطع منفصلة وغير ذات معنى: # و FF و 57 و 33.
النتيجة: عقل الذكاء الاصطنا artificial (المشفر النصي) لا يعرف ماذا تعني هذه القطع معاً. الأمر يشبه محاولة فهم جملة حيث كل كلمة فيها بلغة مختلفة. يضيع الذكاء الاصطنا artificial، وتخرج الألوان خاطئة.

2. الحل: "مترجم الألوان" (NumColor)

بنى المؤلفون أداة تسمى NumColor تعمل كجسر بين الكود المربك وعقل الفنان. وهي تتكون من جزأين رئيسيين:

الجزء أ: "مجمع رموز الألوان" (المحقق)

تخيل محققاً يدخل غرفة مليئة بقطع اللغز المتناثرة.

ماذا يفعل: يقوم هذا النموذج بمسح النص ويقول: "مهلاً! هذه القطع الأربع (# و FF و 57 و 33) تنتمي في الواقع لبعضها البعض. إنها تشكل مفهوماً واحداً: لوناً محدداً".
السحر: يقوم بلصق تلك القطع المتناثرة معاً ليعيدها إلى "رمز لون" واحد متماسك قبل أن يحاول الذكاء الاصطنا artificial فهمه. لا يهم إذا كان الذكاء الاصطنا artificial يقسم الكلمات بشكل مختلف؛ فهذا المحقق يجد اللون مهما تم تقطيعه.

الجزء ب: "كتاب الألوان" (لوحة الألوان الرئيسية)

الآن بعد أن أصبح لدى الذكاء الاصطنا artificial "رمز لون" نظيف، فإنه لا يزال بحاجة لمعرفة ما يمثله هذا الرمز.

المشكلة: عقل الذكاء الاصطنا artificial ليس لديه "خانة" محددة لـ #FF5733. هو يعرف فقط كلمات عامة مثل "أحمر" أو "أزرق".
الحل: أنشأ المؤلفون ColorBook (كتاب الألوان). فكر في هذا كأنه مكتبة ضخمة وسحرية تحتوي على 6,707 بطاقة لون محددة.
- بدلاً من محاولة تعليم الذكاء الاصطنا artificial 16 مليون لون محتمل (وهو أمر مستحيل)، اختاروا أهم 6,707 لوناً "مرجعياً" تغطي الطيف اللوني بالكامل.
- عندما يرى الذكاء الاصطنا artificial كوداً جديداً، فإنه يبحث عن أقرب "مرجع" في كتاب الألوان.
- الانسيابية: إذا طلبت لوناً ليس موجوداً بالضبط في الكتاب (مثل لون يقع بين لونين)، يستخدم النظام التداخل الناعم (soft interpolation). تخيل مزج لونين على لوحة الألوان؛ يقوم الذكاء الاصطنا artificial بمزج أقرب لونين "مرجعيين" بسلاسة لإنشاء الدرجة الدقيقة التي طلبتها.

3. التدريب: "الاستوديو المثالي"

لتعليم هذا النظام، لم يكن بإمكانهم مجرد استخدام صور من الإنترنت. لماذا؟ لأن الصور الحقيقية، بسبب الإضاءة والظلال والمواد، تجعل التفاحة "الحمراء" تبدو مختلفة عن السيارة "الحمراء". سيصاب الذكاء الاصطنا artificial بالارتباك.

الإصلاح: بنوا استوديو اصطناعياً (يسمى NumColor-Data).
أخذوا نماذج ثلاثية الأبعاد لأشياء (سيارات، مزهريات، دببة) وطلاءها بألوان رياضية دقيقة في الكمبيوتر.
أنتجوا 500,000 صورة حيث يتطابق اللون الموجود على الشاشة مع الكود الموجود في النص تماماً، دون ظلال أو إضاءة غريبة لتضليل الذكاء الاصطنا artificial. هذا أعطى الذكاء الاصطنا artificial "كتاباً مدرسياً" لما يبدو عليه كل كود لون بالفعل.

4. النتائج: من "قوس قزح" إلى "الدقة"

قبل هذه الأداة، إذا طلبت من الذكاء الاصطنا artificial كوداً سداسياً (hex code) معيناً، كانت نسبة نجاحه أقل من 15%.

بعد استخدام NumColor: ارتفعت الدقة بمقدار 4 إلى 9 مرات.
الجزء الأفضل: لقد دربوا هذه الأداة على نموذج ذكاء اصطنا artificial محدد (FLUX)، ولكن لأن "المترجم" و"كتاب الألوان" هما إضافتان منفصلتان، يمكنهم توصيلهما بنماذج ذكاء اصطنا artificial أخرى (مثل SD3 أو PixArt) دون الحاجة لإعادة تدريبها. الأمر يشبه إعطاء جهاز تحكم عن بعد عالمي لماركات مختلفة من أجهزة التلفاز.

ملخص التشبيه

فكر في الذكاء الاصطنا artificial كـ طاهٍ (شيف) بارع في طبخ "الأطعمة الحريفة" أو "الأطعمة الحلوة" ولكنه سيئ جداً في قراءة وصفة تقول "أضف 3.42 جراماً من الملح".

الطريقة القديمة: يقرأ الشيف "3.42" كـ "ثلاثة"، "فاصلة"، "أربعة"، "اثنان" ويضيف كمية عشوائية من السكر بدلاً من ذلك.
طريقة NumColor:
1. المحقق (المجمع) يدرك أن "3.42" هي وحدة قياس واحدة.
2. الميزان الرئيسي (كتاب الألوان) يترجم "3.42 جراماً" إلى نفس مقدار الملح الدقيق الذي يحتاجه الشيف.
3. المطبخ المثالي (البيانات الاصطناعية) علّم الشيف بالضبط كيف يبدو هذا المقدار من الملح.

الآن، يمكن للشيف الطبخ بـ دقة متناهية، محولاً أي كود لون محدد إلى صورة مثالية، تماماً كما يتوقع منه المصمم المحترف.

إليك ملخص تقني مفصل لورقة البحث بعنوان "NumColor: التحكم الدقيق في الألوان الرقمية في توليد الصور من النصوص".

1. بيان المشكلة

تتفوق نماذج الانتشار (Diffusion Models) الحالية لتحويل النص إلى صورة (T2I) في توليد الصور من اللغة الطبيعية، لكنها تفشل بشكل كبير عندما يتم توجيهها باستخدام مواصفات ألوان رقمية دقيقة (مثل أكواد Hex مثل #FF5733 أو قيم RGB مثل rgb(255,87,51)).

تحدد الورقة سببين جذريين لهذا الفشل:

تجزئة التوكين (Tokenization) للكلمات الفرعية: تقوم المشفرات النصية القياسية (مثل CLIP وT5) بتجزئة أكواد الألوان الرقمية إلى "توكينات" فرعية عشوائية وغير ذات معنى دلالي (مثل # وFF و57 و33). تفتقر هذه الأجزاء إلى دلالات لونية متماسكة في فضاء التضمين (Embedding Space)، مما يؤدي إلى تعطيل آليات الانتباه المتقاطع (Cross-attention)، ويجعل النموذج يركز على مناطق غير ذات صلة في الصورة بدلاً من الكائن المستهدف.
فجوة المحاذاة (Alignment Gap): حتى لو تم توحيد هذه التوكينات، لا يوجد رسم خرائط مسبق التدريب بين تمثيلات الألوان الرقمية وفضاء تضمين المشفر النصي. تعتمد بيانات التدريب الحالية (مثل LAION) على أسماء الألوان (مثل "أحمر") بدلاً من الأكواد الدقيقة، مما يترك النماذج غير قادرة على تعلم العلاقة الهندسية بين القيم الرقمية المحددة والمخرجات المرئية.

بناءً على ذلك، تحقق النماذج المتطورة حالياً دقة أقل من 15% في مهام الألوان الرقمية، مما يجعلها غير مناسبة للتطبيقات المهنية التي تتطلب دقة عالية في هوية العلامة التجارية (مثل الإعلانات وتصور المنتجات).

2. المنهجية: إطار عمل NumColor

يقترح المؤلفون إطار عمل NumColor، وهو إطار عمل "جاهز للاستخدام" (Plug-and-play) يتكون من مكونين رئيسيين ومجموعة بيانات اصطناعية، مصمم للعمل عبر مختلف بنيات نماذج الانتشار دون الحاجة لإعادة تدريب النماذج الأساسية.

أ. مجمع توكينات الألوان (Color Token Agggerator - CTA)

لحل مشكلة تجزئة التوكينات، قدم المؤلفون وحدة غير معتمدة على نوع التوكين (Tokenizer-agnostic).

البنية: مُصنف تسلسلي على مستوى الحرف مستوحى من التعرف على الكيانات المسماة (NER). يقوم بمعالجة التوكينات كمتسلسلات حرفية (حتى 32 حرفاً) باستخدام عمليات التلافيف أحادية الأبعاد المتوازية (بأحجام نواة 2، 3، 4) ومشفر Transformer.
الوظيفة: يكتشف نطاقات الألوان الرقمية (Hex أو RGB) بغض النظر عن كيفية تقسيم التوكين الأساسي لها. يستخدم طبقة CRF (الحقل العشوائي الشرطي) لإخراج وسوم B (بداية)، I (داخل)، O (خارج) صحيحة، مما يوحد التوكينات المجزأة في نطاق دلالي واحد.
المخرجات: يتم تحويل النطاق المكتشف إلى إحداثيات CIE Lab للبحث.

ب. كتاب الألوان (ColorBook)

لسد فجوة المحاذاة، أنشأ المؤلفون "كتاب رموز" قابل للتعلم يقوم برسم خرائط للألوان إلى فضاء تضمين المشفر النصي.

التصميم: بدلاً من تعلم تضمينات لـ 16.7 مليون لون RGB، قاموا بأخذ عينات من 6,707 لون مرجعي بشكل موحد من فضاء CIE Lab المتجانس إدراكياً ضمن نطاق sRGB (بفواصل قدرها 5 وحدات).
حقن التضمين: يرتبط كل لون مرجعي بمتجه تضمين قابل للتعلم ( $d=4096$ ). ومن الأهمية بمكان أن هذه التضمينات تُحقن قبل السياق (Pre-contextualization) (أي قبل طبقات التنبيه الذاتي لـ T5). هذا يسمح لتضمين اللون بالمشاركة في الانتباه ثنائي الاتجاه مع توكينات الكائن (مثلاً: #FF5733 $\leftrightarrow$ سيارة)، مما يضمن الربط الصحيح بين اللون والكائن.
الاستكمال الناعم (Soft Interpolation): بالنسبة للألوان غير الموجودة كألوان مرجعية، يستخدم النظام الاستكمال الناعم لأقرب جار عبر أقرب $k=8$ ألوان مرجعية في فضاء Lab، مع وزن يعتمد على معامل درجة الحرارة ( $\tau$ ). هذا يضمن انتقالات سلسة عبر طيف الألوان.
التهيئة: تم تهيئة التضمينات باستخدام مراكز فئات ألوان ISCC-NBS وأسماء CSS3/X11 لتجنب التلوث الدلالي (على سبيل المثال: تجنب كلمة "سلمون" التي قد توحي بالسمك وليس مجرد لون).

ج. استراتيجية التدريب والخسائر

يتم تدريب إطار العمل في مرحلتين:

تدريب CTA: تم تدريبه على 200 ألف مطالبة اصطناعية (حيث استُبدلت أسماء الألوان بالأكواد) لتعلم اكتشاف التوكينات.
تدريب ColorBook: يتم تجميد نموذج الانتشار الأساسي (FLUX) والمشفرات النصية. يتم تحديث تضمينات ColorBook فقط باستخدام بيانات NumColor-Data (انظر أدناه).
- خسارة التدريب الأساسية: خسارة مطابقة التدفق (Flow Matching Loss) (إعادة بناء الصورة).
- الخسائر المساعدة:
  - المحاذاة الاتجاهية: تضمن أن الفرق المتجهي بين اثنين من تضمينات الألوان في فضاء النص يتوافق مع الفرق بينهما في فضاء Lab.
  - اتساق الاستكمال: يفرض أن يكون تضمين اللون المتوسط في فضاء Lab مساوياً لمتوسط تضمينات لوني الطرفين.

3. المساهمات الرئيسية

إطار عمل NumColor: بنية مبتكرة تتيح التحكم الدقيق في الألوان الرقمية في نماذج T2I من خلال حل مشكلة تجزئة التوكينات وعدم محاذاة التضمين. وهي أول طريقة تتعامل مع أكواد Hex/RGB التعسفية دون إعادة تدريب النماذج الخاصة.
بيانات NumColor-Data: مجموعة بيانات اصطناعية ضخمة مكونة من 500,000 صورة. تقوم بتوليد أجسام ثلاثية الأبعاد بمواد لامبرتية (Lambertian) وإضاءة متحكم بها، مما يوفر ارتباطاً واضحاً بين البكسل واللون، ويقضي على الضجيج المتأصل في مجموعات البيانات الفوتوغرافية.
قابلية النقل الصفري (Zero-Shot Transferability): ينتقل ColorBook، الذي تم تدريبه حصرياً على بنية FLUX، بشكل صفري (Zero-shot) إلى نماذج SD3، وSD3.5، وPixArt-α، وPixArt-Σ دون أي ضبط دقيق لنماذج الأساس، مما يثبت شمولية العمل عبر مختلف المشفرات النصية (مزيج CLIP/T5).

4. النتائج

تم التقييم باستخدام معيار GenColorBench (9.8 ألف مطالبة، 400+ لون):

دقة الألوان: يحسن NumColor دقة الألوان الرقمية بمقدار 4 إلى 9 أضعاف عبر خمسة نماذج.
- مثال: في نموذج FLUX، قفزت الدقة في مهمة ISCC-L1 (الخشنة) من 13.82% إلى 55.71%. وفي مهام CSS3/X11 الأكثر دقة، تحسنت من ~5.8% إلى 51.96%.
تناغم الألوان: يحسن التناغم الجمالي بمقدار 10-30 ضعفاً، حيث خفض درجات تناغم الألوان (حيث الأقل أفضل) من مئات إلى نطاق 16-26.
الأداء النوعي:
- نجح في توليد تدرجات دقيقة (مثل التدرج الرمادي، أو من الأزرق إلى السماوي) مع $\Delta E < 15$ .
- تعامل بشكل صحيح مع الألوان المستكملة (Interpolated) غير الموجودة في الألوان المرجعية للتدريب.
- عالج مشكلات "آثار قوس قزح" (Rainbow artifacts) وخرائط الانتباه المشتتة التي تظهر في النماذج الأساسية.
هندسة التضمين: يظهر التحليل أن NumColor يعيد تنظيم فضاء التضمين للحفاظ على البنية الإدراكية (هندسة Lab) مع الحفاظ على التوافق مع مشفر T5 المجمد.

5. الأهمية والقيود

الأهمية:

القابلية للتطبيق المهني: يزيل هذا العمل عائقاً حرجاً أمام استخدام الذكاء الاصماعي التوليدي في التصميم، والعلامات التجارية، والتجارة الإلكترونية، حيث يكون التطابق اللوني الدقيق (Hex/RGB) إلزامياً.
الكفاءة: يحقق هذه النتائج دون إعادة تدريب النماذج الضخمة، معتمداً بدلاً من ذلك على كتاب رموز صغير وفعال ومجمع (Aggregator).
التعميم: يثبت أن التحكم في الألوان يمكن فصله عن بنيات النماذج المحددة، والعمل عبر طيف نماذج Diffusion Transformers الحديثة.

القيود:

تسرب اللون (Color Leakage): في المشاهد المعقدة، قد يتسرب اللون المحدد إلى العناصر المحيطة بسبب نقص التأسيس المكاني الصريح في آلية الانتباه.
تحيز لون الذاكرة (Memory Color Bias): قد تقاوم الأجسام ذات الارتباطات النمطية القوية (مثل عباد الشمس أو الموز) إعادة التلوين، حيث يمكن للمعلومات المسبقة للنموذج (Priors) أن تطغى على تضمين اللون المحقون.

في الختام، يمثل NumColor قفزة نوعية في التوليد القابل للتحكم، حيث يحول نماذج T2I من أدوات تفهم "اللون الأحمر" إلى أدوات يمكنها بدقة تقديم اللون #FF5733.