SketchDeco: Training-Free Latent Composition for Precise Sketch Colourisation

إليك ملخص تقني مفصل لورقة البحث بعنوان "SketchDeco: التكوين الكامن للتحكم الدقيق في تلوين الرسومات الخطية".

1. بيان المشكلة

يعد تحويل الرسومات الخطية (Line-art) إلى صور ملونة بالكامل مهمة أساسية في سير العمل الإبداعي (الرسوم المتحركة، تصميم المنتجات، الفن المفاهيمي). وبينما أحدثت نماذج الانتشار (Diffusion Models) واسعة النط scale ثورة في تخليق الصور، إلا أن تحقيق تحكم دقيق ومحدد لكل منطقة يظل تحديًا كبيرًا.

• قصور الأساليب الحالية:
  • المطالبات النصية (Text Prompts): قوية دلاليًا، لكنها غامضة مكانيًا، مما يؤدي غالبًا إلى "نزيف الألوان" (Color Bleeding) والأخطاء الدلالية.
  • الأساليب اليدوية أو القائمة على المراجع: توفر الدقة ولكنها تتطلب مجهودًا يدويًا كثيفًا وتعيينًا يدويًا مملًا أو صور مرجعية محددة.
  • أساليب الضبط الدقيق (Fine-tuning): تتطلب العديد من الحلول الحالية تدريبًا أو ضبطًا دقيقًا للنماذج، وهو أمر مكلف حوسبيًا ويفتقر إلى المرونة لتلبية احتياجات المستخدمين المتنوعة.
• التحدي الجوهري: الموازنة بين التحكم (التحديد المكاني والكروماتي الدقيق من قبل المستخدم) والجودة (الحفاظ على التناغم العالمي وهيكل الرسم) دون الحاجة إلى إعادة تدريب النموذج.

2. المنهجية: SketchDeco

إن SketchDeco هو إطار عمل خالٍ من التدريب (Training-free) يعيد صياغة تلوين الرسومات كمسألة تكوين في الفضاء الكامن (Latent-space composition). وهو يعمل عبر مرحلتين متتاليتين: التلوين العالمي للرسم والتلوين المحلي للرسم.

أ. المدخلات

• الرسم الخطي المدخل ($\mathcal{S}$): صورة رسم خطي.
• لوحات الألوان ($\mathcal{P}_H$): مجموعة من أكواد الألوان بنظام الست عشري (Hexadecimal).
• أقنعة المناطق ($\mathcal{M}$): أقنعة ثنائية محددة من قبل المستخدم (مثل التي يتم إنشاؤها في Photoshop) تحدد المناطق التي يجب أن تتلقى ألوانًا معينة.

ب. المرحلة 1: التلوين العالمي للرسم

الهدف هو إنشاء صورة أساس ملونة متسقة عالميًا ومنطقية ($\mathcal{I}^G$) تحافظ على هيكل الرسم وتتوافق مع لوحة الألوان المقدمة.

1. التنبؤ الدلالي: يستخدم BLIP-2 (الإجابة على الأسئلة البصرية) لاستنتاج فئة الكائن من الرسم (مثل "قطة"، "سيارة") لتوفير الدلالات الفئوية اللازمة لنموذج الانتشار.
2. رسم خرائط أسماء الألوان: يحول أكواد الـ Hex المقدمة من المستخدم إلى أسماء ألوان CSS3 قياسية (مثل "olive"، "teal") باستخدام بحث شجرة K-الأبعاد (K-Dimensional Tree). هذا يسد الفجوة بين مدخلات المستخدم والاشتراط النصي لنماذج الانتشار.
3. التوليد: يستخدم Scribble ControlNet مدربًا مسبقًا مع Stable Diffusion (SD). يقوم بتوليد $n+1$ من الصور:
   • $n$ من الصور ملونة بمجموعات فرعية محددة من اللوحة.
   • صورة خلفية مساعدة واحدة ($\mathcal{I}^G_{\mathcal{P}\phi}$) بدون قيود ألوان محددة، تعمل كقاعدة للتكوين.
4. تفاعل المستخدم: يمكن للمستخدمين فحص هذه المعاينات العالمية في مساحة البكسل لاختيار أفضل متغير هيكلي قبل الانتقال إلى المرحلة المحلية.

ج. المرحلة 2: التلوين المحلي للرسم

تعمل هذه المرحلة على تحسين النتيجة العالمية من خلال دمج ألوان مستخدم محددة في المناطق المقنعة مع ضمان الانتقالات السلسة والأمانة الهيكلية.

1. التكوين المتوازي: يقوم النظام بقناع الصور الملونة عالميًا المقابلة ($\mathcal{I}^G_{\mathcal{P}_H}$) ودمجها مع صورة الخلفية ($\mathcal{I}^G_{\mathcal{P}\phi}$) لإنشاء صورة مركبة $\mathcal{I}^*$.
2. الانعكاس الكامن (Inversion ODE): يتم عكس الصورة المركبة $\mathcal{I}^*$ مرة أخرى إلى الفضاء الكامن المشوش ($z^*$) باستخدام DPM-Solver++.
   • الابتكار: يستخدم "مطالبة استثنائية" (Exceptional Prompt) (بإزالة الرموز الخاصة مثل [startoftext]) بدلاً من المطالبة الفارغة لتقليل أخطاء إعادة البناء وضمان مسارات انعكاس مستقرة.
3. دمج الضجيج: يضيف ضجيجًا غاوسيًا (Gaussian noise) تحديدًا في المناطق الانتقالية (الحدود بين الأقنعة) للسماح لنموذج الانتشار بعملية "الترميم الداخلي" (In-painting) لضمان انتقالات سلسة.
4. أخذ العينات الموجه وحقن الانتباه الذاتي:
   • يحل النظام معادلة الانتشار التفاضلية (ODE) من $T$ إلى $0$ لتوليد الصورة النهائية.
   • حقن الانتباه الذاتي: يقوم بحقن خريطة الانتباه الذاتي للصورة المركبة $\mathcal{I}^*$ في عملية إزالة الضجيج للحفاظ على هيكل الرسم واتساق اللون المحلي.
   • عامل القياس ($\tau$): هو معامل قابل للضبط يوازن بين التناغم العالمي (الموجه بالمطالبات النصية) والأمانة المحلية (الموجهة بخريطة الانتباه المحقونة).
     • الخطوات المبكرة ($t \in [T, T(1-\tau)]$): تعتمد على الانتباه الذاتي للهيكل.
     • الخطوات اللاحقة ($t \in [T(1-\tau), 0]$): تعتمد على المطالبات النصية لدمج سلس.

3. المساهمات الرئيسية

1. إطار عمل خالٍ من التدريب: أول طريقة تحقق تلوين رسومات خطية دقيق ومتحكم به في المناطق دون أي ضبط دقيق للنموذج، وذلك عبر الاستفةدة من النماذج المدربة مسبقًا (SD, ControlNet, BLIP-2).
2. التكوين في الفضاء الكامن: تقنية مبتكرة تجمع بين انعكاس الانتشار وأخذ العينات الموجه لدمج ألوان المستخدم مباشرة في الـ latents المشوشة، مما يضمن الأمانة اللونية المحلية والتناغم العالمي.
3. آلية الانتباه المخصصة: تقدم استراتيجية حقن الانتباه الذاتي مع عامل القياس $\tau$ لموازنة الحفاظ على هيكل الرسم مع انتشار اللون المتحكم به بشكل تكيفي.
4. الكفاءة: تنتج نتائج عالية الجودة في 15-20 خطوة استدلال على وحدات معالجة الرسوميات الاستهلاكية (مثل NVIDIA RTX 4090)، مما يجعل الأدوات الاحترافية متاحة.
5. رسم خرائط الألوان القوي: يستخدم شجرة K-D Tree لربط أكواد Hex التعسفية بمعيار CSS3 بكفاءة، مما يضمن التوافق مع مشفرات نص CLIP/Stable Diffusion دون الحاجة لتدريب مشفر مخصص.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات متنوعة: AFHQ (حيوانات)، Place365 (مشاهد)، Danbooru2023 (أنمي)، و PascalVOC (كائنات متعددة).

• الأداء النوعي:
  • يتفوق على الأساليب الرائدة (SOTA) مثل DiffBlender، T2I-Adapter، ColorizeDiffusion، و MangaNinja.
  • يظهر أمانة في الرسم (الحفاظ على الهيكل) وحيوية في الألوان متفوقة.
  • يتجنب العيوب الشائعة مثل نزيف الألوان وعدم الاتساق الدلالي التي تظهر في الطرق المعتمدة على النص فقط أو المراجع.
• المقاييس الكمية:
  • حقق أفضل درجات FID (مسافة فريدشيه للإنتروبيا) و DCCW (تحريف الألوان الديناميكي الأقرب) عبر معظم مجموعات البيانات، مما يشير إلى تشابه توزيعي ودقة لونية أفضل.
  • أظهر أداءً قويًا في PSNR و SSIM، مما يؤكد جودة إعادة البناء العالية.
• دراسات الاستئصال (Ablation Studies):
  • أكدت أن "المطالبة الاستثنائية" ضرورية للانعكاس المستقر.
  • أثبتت أن عامل القياس $\tau$ حيوي للموازنة بين التناغم والأمانة (النطاق الأمثل: 0.3–0.6).
  • أظهرت أن رسم خرائط الألوان باستخدام شجرة K-D أكثر كفاءة ودقة من استخدام نماذج اللغات الكبيرة (LLMs) لتسمية الألوان.

5. الأهمية

يعالج SketchDeco فجوة حرجة في الذكاء الاصماعي التوليدي للصناعات الإبداعية. ومن خلال فصل الاتساق العالمي عن التحكم المحلي، فإنه يسمح للمصممين باستخدام أدوات بديهية (الأقنعة ولوحات الألوان) لتحقيق نتائج دقيقة دون العبء الحوسبي للتدريب.

• سهولة الوصول: يجعل التلوين عالي الجودة متاحًا للجميع، حيث يعمل بكفاءة على الأجهزة الاستهلاكية.
• التكامل مع سير العمل: نهج "فرق تسد" (معاينة عالمية $\leftarrow$ تحسين محلي) يتوافق جيدًا مع سير العمل التصميمي الاحترافي (مثل التصميم الداخلي، الفن المفاهي)، مما يسمح باستكشاف سريع لتوليفات اللون والملمس.
• التأثير المستقبلي: يوحي نموذج "الخلو من التدريب" بأن المهام التوليدية المعقدة والقابلة للتحكم يمكن حلها عبر التكوين الذكي للنماذج الموجودة بدلاً من مجرد زيادة حجم تدريب النماذج، مما قد يؤثر على الأبحاث المستقبلية في مجال الانتشار القابل للتحكم.