🤖 machine learning

Draw This First

تقدم هذه الورقة نهجاً مبتكراً لتوليد الرسومات التخطيطية يعكس عملية ترتيب الضربات التقليدية من خلال التنبؤ بمجال ثنائي الأبعاد لتحديد تسلسلات الرسم، مما يتيح إنشاء رسومات متجهية مرتبة من النصوص أو الصور تلتزم بتعليمات رسم محددة.

المؤلفون الأصليون: Dazhi Zhong, Rowan Bradbury, Grant Davis

نُشر 2026-08-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Dazhi Zhong, Rowan Bradbury, Grant Davis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد ساحرًا يرسم لوحة على قماش. عادةً، عندما نتحدث عن رسم الكمبيوتر، نفكر في أنها فنانة تخرج الصورة النهائية دفعة واحدة، أو ربما تبنيها بكسل تلو الآخر مثل فيديو "تايم لابس" بطيء الحركة. لكن هناك طريقة مختلفة للتفكير في الرسم: وهي "قصة" كيفية صنع الخطوط. هل رسم الفنان المخطط الخارجي أولاً، ثم العينين، ثم القبعة؟ أم بدأ بالقبعة، ثم العينين، وانتهى بالمخطط الخارجي؟ هذه "القصة" تسمى ترتيب الرسم (drawing order).

لفترة طويلة، كانت أجهزة الكمبيوتر بارعة في جعل الصورة النهائية تبدو صحية، لكنها كانت سيئة للغاية في فهم "قصة" كيفية صنعها. لم تكن تعرف أي خط يأتي أولاً. وهذا أمر مهم؛ لأنه إذا كنت تريد من الكمبيوتر أن يساعدك في الرسم، أو إذا كنت تريد تحويل صورة إلى رسم تخطيطي بسيط يمكن لروبوت أن "يتتبعه" فعلياً بقلم، فأنت بحاجة لمعرفة الترتيب. إنه الفرق بين تسليم شخص ما أحجية مكتملة وبين تسليمه التعليمات حول كيفية تركيب قطعها معاً. تعيش هذه الورقة البحثية في عالم الرؤية الحاسوبية (computer vision) والذكاء الاصطناعي التوليدي (generative AI)، حيث تحاول الآلات فهم الصور وإنشائها. والسؤال الكبير هنا هو: هل يمكننا تعليم الكمبيوتر ليس فقط "ماذا" يرسم، بل "كيف" يرسم خطوة بخاف خطوة، تماماً مثل البشر؟

الفكرة الكبرى للورقة: الرسم باستخدام الوقت

قرر مؤلفو هذه الورقة، بالتعاون مع أدوات من Krea.ai وWand Technologies، قلب السيناريو المعتاد لكيفية توليد الكمبيوتر للرسومات التخطيطية. فبدلاً من محاولة التنبؤ بالخط التالي في تسلسل معين (وهو ما يشبه محاولة تخمين الكلمة التالية في جملة واحدة تلو الأخرى)، طرحوا سؤالاً مختلفاً: ماذا لو استطعنا رسم خريطة تخبر الكمبيوتر بالضبط متى يرسم كل خط منفرد؟

فكر في الأمر كأنه "خريطة حرارية" أو "نظام إشارات مرور" للرسم. تخيل أن لديك ورقة بيضاء. الكمبيوتر لا يرسم قطة فحسب؛ بل يقوم أولاً بطلاء طبقة ملونة غير مرئية فوق الورقة. على هذه الطبقة، تخبر الألوان الموجودة في كل بكسل الكمبيوتر مدى "قِدَم" هذا الجزء من الرسم.

البكسلات الحمراء قد تعني: "ارسم هذا الجزء أولاً".
البكسلات الصفراء تعني: "ارسم هذا الجزء بعد ذلك".
البكسلات الزرقاء تعني: "ارسم هذا الجزء أخيراً".

هذه هي الحيلة الجوهرية: لقد حولوا الوقت (ترتيب الرسم) إلى لون.

كيف علموا الكمبيوتر

لإنجاح هذا الأمر، احتاج الفريق إلى معلم. لم يستخدموا مجموعات البيانات العشوائية المعتادة للرسومات "الخربشات" الموجودة على الإنترنت. بدلاً من ذلك، استعانوا بـ 50 فناناً محترفاً لرسم 47,318 رسماً تخطيطياً عالي الجودة. رسم هؤلاء الفنانون كل شيء، من الطيور إلى أباريق الشاي، وسجل الكمبيوتر كل ضربة قلم قاموا بها، تماماً كما قاموا بها.

بعد ذلك، نظر الكمبيوتر إلى هذه الرسومات وأنشأ خريطته الخاصة التي تعتمد على "الزمن كألوان". لقد أخذ الرسم الحقيقي وحوله إلى صورة ملونة غريبة، حيث يخبر لون وسطوع الحبر قصة عملية الرسم.

ثم استخدموا نموذج ذكاء اصطناعي قوياً (محول انتشار "diffusion transformer"، وهو نوع من الذكاء الاصطناعي الذي يتعلم من خلال التخمين والتصحيح الذاتي) لتعلم كيفية إنشاء هذه الخرائط الملونة من الصوامع. لقد علموا الذكاء الاصطناعي شيئين:

من النص إلى الرسم التخطيطي (Text-to-Sketch): إذا كتبت "قطة"، يجب على الذكاء الاصطناعي توليد الخريطة الملونة التي تخبرك بكيفية رسم قطة.
من الصورة إلى الرسم التخطيطي (Image-to-Sketch): إذا أظهرت للذكاء الاصطناعي صورة لقطة، فيجب عليه معرفة ترتيب الرسم وتوليد الخريطة.

الخدعة السحرية: قراءة الخريطة

بمجرد أن يولد الذكاء الاصطناعي هذه "خريطة الوقت" الملونة، يتعين على الكمبيوتر تحويلها مرة أخرى إلى رسم حقيقي. وهنا يأتي دور "المفكك" (decoder) الخاص بهم. ينظر هذا المفكك إلى الألوان، ويعرف أي البكسلات حمراء (أولاً)، وأيها صفراء (ثانياً)، وهكذا. ثم يقوم بتوصيل النقاط لإنشاء رسم خطي سلس ومرتب.

الجزء الأكثر روعة؟ يمكنك أن تطلب من الذكاء الاصطناعي تغيير القصة. إذا كتبت: "ارسم الذيل أولاً، ثم الجسم"، فإن الذكاء الاصطناعي يستمع إليك. إنه لا يغير الصورة فحسب، بل يغير الترتيب الذي تظهر به الخطوط، حتى لو بدا الرسم النهائي نفسه. إنه يشبه إخبار مستهدي القصص أن يبدأ قصته من النهاية ويعمل نحو الخلف، ومع ذلك تظل القصة منطقية.

ما وجدوه (وما لم يجدوه)

النتائج مثيرة للإعجاب حقاً، لكن المؤلفين حذرون في تحديد ما يعمل وما لا يعمل.

إنه يعمل بشكل جيد جداً مع التعليمات: عندما أخبروا الذكاء الاصطناعي أن يرسم بترتيب معين (مثل "الرأس، ثم الجسم، ثم الذيل")، اتبع الذكاء الاصطناح تلك التعليمات بدقة شبه تامة. كان ترتيب الخطوط يتوافق مع أوامرهم بشكل أفضل بكثير من التخمين العشوائي.
إنه يحافظ على "روح" العمل الفني الأصلي: على الرغم من تغيير طريقة رسم الذكاء الاصطناعي، إلا أنه حافظ على الأسلوب الفني والمعرفة الخاصة بالنموذج الأصلي. كان بإمكانه رسم أشياء لم يراها من قبل، بمجرد اتباع تعليمات الترتيب.
إنه ليس مثالياً بعد: يعترف المؤلفون بأنه بينما يبرع الكمبيوتر في اتباع التعليمات الكبيرة (مثل "ارسم الرأس أولاً")، فإنه قد يرتبك أحياناً بشأن التفاصيل الصغيرة داخل جزء واحد (مثل الترتيب الدقيق للخطوط داخل الرأس). كما أن الكمبيوتر يقوم أحياناً بتجزئة خط واحد سلس إلى عدة قطع أصغر، لذا فإن الرسم النهائي يحتوي على عدد خطوط أكثر مما أراده الفنان الأصلي.

لماذا هذا مهم

توضح هذه الورقة البحثية أننا نستطيع تعليم أجهزة الكمبيوتر فهم عملية الرسم، وليس فقط النتيجة. ومن خلال تحويل الوقت إلى لون، وجدوا طريقة ذكية لجعل الذكاء الاصطناعي يتبع التعليمات حول كيفية إنشاء الفن. إنها خطوة نحو أجهزة كمبيوتر لا تكتفي بمحاكاة الفن البشري، بل تفهم الطريقة البشرية في التفكير فيه - ضربة قلم تلو الأخرى.

يشير المؤلفون إلى أن هذه الطريقة يمكن أن تساعد في تحويل الصور إلى رسومات "فيكتور" قابلة للتعديل أو مساعدة الروبوتات على تعلم الرسم، لكنهم يتوقفون عند حد عدم الادعاء بأن المشكلة قد حُلت تماماً. إنهم يظهرون أنه مع التدريب الصحيح والقليل من "الألوان المشفرة زمنياً"، يمكن للآلات أن تبدأ في الرسم مثل البشر، خطوة بخطوة.

ملخص تقني: ارسم هذا أولاً (Draw This First)

بيان المشكلة

يعد مجال توليد الرسومات التخطيطية (Sketch Generation) مجالاً متنوعاً، حيث تتعامل الطرق الحالية عادةً مع ترتيب الرسم إما كناتج جوهري للنموذج (عبر التوليد الذاتي أو الانتشار) أو كعامل غير ممثل. غالباً ما تفشل النهج الحالية في إظهار ترتيب الرسم كمتغير حر مشروط باللغة. علاوة على ذلك، تعتمد العديد من الأنظمة على مجموعات بيانات "خربشات" (doodle) منخفضة الجودة، وقلما تستطيع توليد رسومات متجهة (vector sketches) تلتزم بدقة بتعليمات المستخدم المتعلقة بتسلسل الضربات (strokes). يكمن التحدي في إنشاء نظام يمكنه توليد ضربات متجهة مرتبة من النصوص أو الصور، مما يسمح للمستخدم بتحديد تسلسل الرسم صراحةً (على سبيل المثال: "ارسم الرأس أولاً، ثم الجسم") دون المساس بالدقة الهندسية للرسم.

المنهجية

يقترح المؤلفون صياغة مبتكرة تعكس عملية توليد الرسم التقليدية: فبدلاً من التنبؤ بالضربات بالتتابع، يتنبأ النموذج بمجال ثنائي الأبعاد يحدد الترتيب الذي تُرسَم به الضربات. يتكون خط الإنتاج من ثلاثة مكونات رئيسية:

1. مجموعة البيانات والتعليق التوضيحي

تم تدريب النموذج على مجموعة بيانات تم تكليفها تتكون من 47,318 رسماً فنياً يدوياً عالي الجودة، وهو ما يتجاوز بشكل كبير جودة مجموعات بيانات الخربشات الموجودة.

التعليق الهرمي: تم التعليق على كل رسم بتسلسل هرمي لصناديق الإحاطة (bounding-box) بمستويين (المنطقة والموضوع).
تعليقات الترتيب: قام المؤلفون بتخليق تعليقات وصفية للترتيب تحدد تسلسل زيارات المناطق المسماة (على سبيل المثال: "الصندوق 1 يسار، ثم الصندوق 2، ثم الصندوق 1 يمين، تمت إعادة الزيارة").
استراتيجية التبديل (Permutation Strategy): لتعليم النموذج اتباع ترتيبات عشوائية، يتم تبديل ترتيب الضربات المستهدف مع الحفاظ على الترتيب الطبيعي داخل المناطق (من المخطط الخارجي التقريبي إلى التفاصيل). يتم إعادة توليد التعليقات برمجياً لتتطابق مع الترتيب المبدل، مما يخلق أزواجاً خاضعة لإشراف الترتيب. هذا يؤدي عمداً إلى فك الارتباط بين الترتيب والهندسة أثناء التدريب.

2. التمثيل الوسيط "الترتيب كـ لون" (Order-as-Color)

لتمكين التدريب ضمن مساحة كامنة لصورة مدربة مسبقاً، أنشأ المؤلفون تمثيلاً وسيطاً أصيلاً للصورة باستخدام ترميز "الترتيب كـ لون" (order-as-color codec):

القوس العالمي ( $a$ ): يمثل تقدم الرسم الإجمالي من 0 إلى 1.
القوس داخل الضربة ( $u$ ): يمثل التقدم داخل ضربة محددة.
الترميز: يتم تشفير الرسم إلى صورة بنظام HSV حيث:
- درجة اللون (Hue - $H$ ): تشفر القوس العالمي ( $a \cdot 342/360$ ).
- التشبع (Saturation - $S$ ): يشفر قناع المقدمة ($1$).
- القيمة (Value - $V$ ): تشفر القوس داخل الضربة ( $1 - u/2$ ).
ينتج عن ذلك "صورة ترميز" (codec image) نقطية حيث يتم تشفير ترتيب الرسم بصرياً كمسح لوني.

3. بنية النموذج

يستخدم النظام محول تدفق كامن مدرب مسبقاً (يعتمد على Qwen-Image-Edit-2509) ومفكك شفرة (decoder) مخصص:

المولد (DiT): محول انتشار (Diffusion Transformer) تم تكييفه باستخدام LoRA (بدرجة Rank-64)، تم تدريبه لتوليد التمثيل الكامن لصورة الترميز من شروط نصية أو صورية.
مفكك الشفرة الأصيل للترتيب (Order-Native Decoder): يقوم مفكك شفرة VAE مضبوط بدقة بقراءة الكامن المولد وإخراج ثلاثة أهداف:
1. مجال القوس العالمي ( $a'$ ): مجال الترتيب المتوقع.
2. قناع المقدمة ( $m'$ ): قناع الضربات.
3. تضمينات المثيل ( $e'$ ): تضمينات ثمانية الأبعاد لتقسيم الضربات.
التحويل لمتجهات (Vectorization): تتم معالجة مخرجات مفكك الشفرة بدون متعقب متعلم (learned tracer). يقوم خوارزمية HDBSCAN بتجميع التضمينات لتقسيم الضربات. يتم ترتيب هذه المجموعات حسب متوسط مجال القوس المتوقع. داخل كل مجموعة، يقوم مسار "أقرب جار" (nearest-neighbor walk) باستخراج البكسلات، والتي يتم بعد ذلك تنعيمها وتبسيطها باستخدام خوارزمية Ramer-Douglas-Peucker (RDP) لإنتاج الخط المتعدد المتجه المرتب النهائي.

المساهمات الرئيسية

الصياغة المعكوسة: يقدم البحث طريقة يتنبأ فيها النموذج بمجال ترتيب ثنائي الأبعاد بدلاً من تسلسل الضربات، مما يسمح للترتيب بأن يكون متغيراً قابلاً للتحكم ومشروطاً باللغة.
ترميز "الترتيب كـ لون": مخطط ترميز مبتكر يربط تقدم الرسم بقنوات لون HSV، مما يسمح باستخدام نماذج انتشار الصور المدربة مسبقاً لتوليد رسومات متتابعة.
مجموعة بيانات عالية الجودة: إنشاء مجموعة بيانات مكونة من 47 ألف صورة من رسومات فنانين محترفين مع تعليقات توضيحية هرمية لصناديق الإحاطة وتعليقات ترتيب مُخلّقة.
اتباع التعليمات: القدرة على توليد رسومات تتبع تعليمات الترتيب، مع تفاوت الالتزام بناءً على دقة التعليمات (موثوقة على مستوى المنطقة، ولكنها تتراجع عند مستوى الجزء والمرحلة).

النتائج

تم تقييم النموذج على بيانات لم تُستخدم في التدريب من مجموعة التدريب ومن مجموعات خارجية (Creative Birds, Creative Creatures, FS-COCO, QuickDraw).

دقة الترتيب:
- عند تقديم تعليمات ترتيب، يحقق النموذج معامل Kendall $\tau$ قدره 0.449 على البيانات داخل النطاق و 0.373 على البيانات خارج النطاق، وهو ما يتفوق بشكل كبير على النماذج المرجعية التي تعتمد على الهندسة فقط (0.096).
- نجحت عملية عكس التعليمات في عكس ترتيب الرسم بنجاح (معامل Kendall $\tau$ بلغ $-0.267$)، مما يثبت أن النص، وليس الصورة، هو ما يقود التسلسل.
- يعتمد الالتزام بشدة على دقة التعليمات: التعليمات على مستوى المنطقة تُتبع بدقة ( $\tau \approx 0.84$ )، لكن الالتزام ينخفض إلى 0.46 على مستوى الجزء و 0.44 على مستوى المرحلة.
- يقتصر التحكم أيضاً على بنية التعليق؛ حيث يتم تجاهل القيد النهائي المنفرد غالباً (على سبيل المثال: المنطقة المسماة التي رُسمت أولاً يتم تجاهلها بنسبة 68.5% عندما تُلحق بتعليق كامل)، كما أن عكس التعليمات التي تتعارض مع ترتيب الذكر في الوصف يؤدي إلى انخفاض الالتزام بشكل كبير.
- يُظهر "سقف مفكك الشفرة" (باستخدام الكوامن الحقيقية) إمكانية الوصول إلى معامل Kendall $\tau$ قدره 0.91–0.94، مما يشير إلى أن عنق الزجاجة يكمكم في قدرة النموذج التوليدي على التنبؤ بالكامن، وليس في عملية التحويل لمتجهات.
الحفاظ على الهندسة:
- لا تغير تدخلات الترتيب الهندسة. تظل معدلات مطابقة الضربات عالية (0.89–0.95) ويظل تقاطع IoU للقناع مستقراً بغض النظر عن تعليمات الترتب.
- يحتفظ النموذج بقدرات التوليد مفتوحة المفردات (open-vocabulary) للنموذج المرجعي، محققاً درجات CLIP Top-1 قدرها 0.70 على فئات QuickDraw غير المرئية.
القيود الملاحظة:
- الدقة (Granularity): يتدهور التحكم بشكل كبير مع زيادة دقة التعليمات. بينما يتم اتباع ترتيب المستوى الإقليمي بدقة، ينخفض الالتزام على مستوى الجزء والمرحلة إلى $\approx 0.45$ ، ويقترب الاتفاق على ترتيب داخل الوحدة من الصفر.
- التجزئة (Fragmentation): عملية التحويل لمتجهات تستعيد مسارات بعدد ضربات يفوق العدد الحقيقي بـ 1.7 إلى 2.5 ضعفاً، مما يؤدي إلى ضربات مجزأة.
- فقدان المعلومات: يتجاهل الهدف الوقت، والضغط، والميل، وعرض الفرشاة، ويخرج خطوط مركزية بعرض 1 بكسل غير موزونة.
- لا يوجد سلف جوهري: بسبب استراتيجية التدريب، لا يمتلك النموذج سابقاً عالمياً يشبه السلوك البشري في الترتيب عند عدم وجود تعليمات؛ بل يعتمد على الاستدلالات أو ترتيب الذكر في التعليق.

الأهمية والادعاءات

يدعي البحث تقديم نظام ينجح في إعادة رسم (derendering) الرسومات بأمانة ويحتفظ بقدرات توليد الرسم من النص القوية للنموذج المرجري الأساسي، مع إضافة القدرة الجديدة على اتباع تعليمات نصية لترتيب الرسم.

يؤكد المؤلفون أن هذا النهج يسد الفجوة بين التوليد القائم على الصور النقطية (raster) والمخرجات المتجهة، مما يسم يسمح بإنتاج "مسارات خطية قابلة لإعادة التشغيل" حيث يكون التسلسل متغيراً لغوياً حراً. ويزعمون أن النموذج يمكنه اتباع تعليمات تحدد ترتيبات عشوائية، حتى عندما تتعارض تلك الترتيبات مع تسلسل الفنان المسجل، مما يثبت إمكانية فصل الترتيب عن الهندسة والتحكم فيه عبر اللغة الطبيعية. ومع ذلك، يظل المؤلفون متواضعين بشأن القيود، حيث يقرون بأن التحكم مقيد بحجم الوحدة المستخدم في تدريب التبديل، وأن الالتزام يتدهور بشكل كبير عند الدقات الأدق (مستوى الجزء/المرحلة)، وأن القيود النهائية في التعليقات غالباً ما تُفقد. كما يشيرون إلى أن المخرجات الحالية تفتقر إلى ديناميكيات الضربات الغنية (الضغط، العرض) للمدخلات الأصلية.