💻 computer science

Uni-Animator: Towards Unified Visual Colorization

يُعد Uni-Animator إطار عمل مبتكرًا قائمًا على نماذج "Diffusion Transformer" يوحد بين تلوين الصور والفيديو من خلال تقديم تضمين رقعة المثيل (instance patch embedding) لنقل الألوان بدقة، وتعزيز الميزات الفيزيائية للحفاظ على التفاصيل عالية التردد، وتشفير RoPE الديناميكي القائم على الرسم التخطيطي لضمان التماسك الزمني في المشاهد ذات الحركة الكبيرة.

المؤلفون الأصليون: Xinyuan Chen, Yao Xu, Shaowen Wang, Pengjie Song, Bowen Deng

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinyuan Chen, Yao Xu, Shaowen Wang, Pengjie Song, Bowen Deng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك دفتر رسومات باللونين الأبيض والأسود. ربما يكون رسمًا لتنين، أو سلسلة من الإطارات التي تُظهر شخصية تركض. الآن، تخيل أنك تريد بث الحياة في هذه الرسومات عبر تلوينها، تمامًا كما يفعل رسام الرسوم المتحركة المحترف.

القيام بذلك يدويًا هو كابوس. سيتعين عليك الجلوس لساعات، تملأ كل خط بعناية، مع التأكد من أن حراشف التنين تبدو لامعة وأن قميص الشخصية يظل بنفس درجة اللون الأحمر في كل إطار من إطارات الفيديو. إذا ارتكبت خطأً في الإطار العاشر، فقد تضطر إلى إصلاح الإطارات من الحادي عشر حتى المائة للحفاظ على الاتساق.

Uni-Animator هو بمثابة مساعد ذكي وسحري يقوم بكل هذا العمل نيابة عنك في ثوانٍ معدودة. لكنه ليس مجرد أداة بسيطة لـ "تعبئة الألوان"؛ بل هو عقل موحد يفهم كلاً من الرسومات الفردية والفيديوهات المتحركة، ويحل ثلاث مشكلات محددة تعاني منها أدوات الذكاء الاصطناعي الأخرى.

إليك كيف يعمل، مشروحًا ببعض التشبيهات من الحياة اليومية:

1. المشكلة: تأثير "آلة التصوير الضبابية"

معظم أدوات الذكاء الاصطناعي الحالية لتلوين الرسومات تشبه آلة تصوير تلطخ الحبر.

المشكلة: عندما تحاول تلوين فيديو، قد "تومض" الألوان (مثل إشارة تلفزيون سيئة) أو قد يبدو أن الشخصية تنزلق على الجليد لأن الذكاء الاصطناعي لا يفهم كيفية حركة الرسم. كما أنها غالبًا ما تفقد التفاصيل الدقيقة، مثل ملمس سترة جلدية أو لمعة في العين، وتحولها إلى كتلة ناعمة تشبه البلاستيك.
حل Uni-Animator: يعمل كـ فنان ترميم عالي الدقة. فبدلاً من مجرد التخمين للون، فإنه ينظر إلى الخصائص "الفيزيائية" للرسم (مثل كيفية سقوط الضوء على سطح ما) للحفاظ على تلك الحواف الحادة والملمس سليمًا.

2. المشكلة: تأثير "السائح المرتبك"

إذا عرضت على الذكاء الاصطناعي صورة لسيارة حمراء وطلبت منه تلوين رسم تخطيطي لسيارة، فقد يحول الرسم إلى اللون الأزرق لأنه ارتبك بسبب الإضاءة أو الزاوية.

المشكلة: الطرق القديمة تنظر إلى الصورة المرجعية ككتلة لونية واحدة. إنها تغفل عن التفاصيل المحددة، مثل "العجلات سوداء" أو "السقف أبيض".
حل Uni-Animator: تستخدم هذه الأداة ما يسمى بـ Instance Patch Embedding. فكر في هذا الأمر كأنك تعطي الذككاء الاصطناعي عدسة مكبرة وملصق ملاحظات. بدلاً من النظر إلى الصورة المرجعية ككل، تقوم الأداة بتجزئة الصورة إلى قطع صغيرة (patches)، وتضع عليها ملصقات ("هذا معطف أحمر"، "هذا شعر أزرق")، وتلصق تلك الملصقات مباشرة على الرسم التخطيطي. هذا يضمن أنه إذا استندت إلى معطف أحمر، فسيحصل الرسم على معطف أحمر، وليس قبعة حمراء.

3. المشكلة: تأثير "الراقص المتعثر"

عندما تتحرك شخصية في فيديو بسرعة، غالبًا ما يفقد الذكاء الاصطناعي مساره. قد يلون ذراع الشخصية في مكان ما في الإطار 1، ثم فجأة ينتقل إلى مكان مختلف في الإطار 2، مما يسبب اهتزازًا أو "وميضًا" في الفيديو.

المشكلة: تستخدم أدوات الذكاء الاصطناعي القياسية كتاب قواعد ثابتًا لكيفية الحركة عبر الزمن. لكن الحياة الواقعية (والرسومات) فوضوية. أحيانًا تركض الشخصية بسرعة أفقيًا ولكنها تتحرك بالكاد للأعلى والأسفل. كتاب القواعد الثابت لا يمكنه التعامل مع ذلك.
حل Uni-Animator: يستخدم Sketch-Based Dynamic RoPE. تخيل قائد أوركسترا يقود الفرقة الموسيقية.
- إذا كانت الموسيقى بطيئة وثابتة (مشهد ثابت)، يحافظ القائد على إيقاع بطيء وثابت.
- إذا تسارعت الموسيقى (شخصية تركض بسرعة)، فإن القائد يغير الإيقاع فورًا ليتناسب مع السرعة.
- يقوم Uni-Animator بذلك من خلال النظر في حركة الرسم التخطيطي. إذا كانت الشخصية تتحرك بسرعة نحو اليمين، فإنه يسرع "ساعة الوقت" لهذا الجزء المحدد من الصورة لإبقاء اللون مثبتًا على الشخصية. وإذا كانت واقفة بلا حراك، فإنه يبطئ الساعة للحفاظ على استقرار الصورة. هذا يمنع الوميض.

لماذا يعد كونها "موحدة" أمرًا مهمًا؟

قبل ذلك، كنت بحاجة إلى أداتين مختلفتين: واحدة لتلوين صورة واحدة وأداة أخرى معقدة تمامًا لتلوين فيديو.

Uni-Animator يشبه السكين السويسري متعدد الاستخدامات. إنه أداة واحدة تتعامل مع كليهما. سواء كان لديك رسم واحد أو رسوم متحركة مكونة من 100 إطار، فإنه يستخدم نفس العقل. هذا يوفر الوقت والمال لرسامي الرسوم المتحركة ومطوري الألعاب الذين يحتاجون إلى الانتقال باستمرار بين الفن الثابت والمشاهد المتحركة.

النتيجة

ببساًطة، يأخذ Uni-Animator رسوماتك باللونين الأبيض والأسود ويقوم بـ:

قراءة صورك المرجعية بعدسة مكبرة للحصول على الألوان بدقة متناهية.
الحفاظ على التفاصيل "الخشنة" (مثل ملمس القماش) حتى لا تبدو كالبلاستيك.
الرقص مع الحركة، حيث يضبط سرعته لتناسب سرعة حركة شخصيتك، لتبدو الحركة سلسة واحترافية، وليست مهتزة.

إنه يحول المهمة المملة التي تستغرق ساعات من رسام الرسوم المتحركة إلى عملية مؤتمتة سريعة لا تزال تبدو وكأنها من صنع فنان بشري.

إليك ملخص تقني مفصل لورقة البحث "Uni-Animator: Towards Unified Visual Colorization".

1. تعريف المشكلة

تتناول الورقة تحدي تلوين السكتشات (الرسوم التخطيطية) لكل من الصور الثابتة والفيديوهات الديناميكية. وبينما حققت الأساليب الحالية تقدماً، إلا أنها تعاني من ثلاث قيود حرجة تعيق الإنتاج الموحد عالي الدقة:

التخصص النطاقي (Domain Specialization): عادة ما تكون النماذج الحالية متخصصة إما في الصور الثابتة أو الفيديوهات الديناليكية، مما يفتقر إلى إطار عمل موحد للتعامل مع خطوط الإنتاج المختلطة.
الاستخدام غير الدقيق للمراجع البصرية: تعتمد طرق الانتشار (Diffusion) الحالية غالباً على استخراج الميزات العالمية، مما يؤدي إلى الفشل في التقاط توزيعات الألوان المحلية، والمنسوجات (Textures)، وتفاصيل الإضاءة من الصور المرجعية. يؤدي هذا إلى انحراف في الأسلوب وضعف في الاتساق على مستوى العناصر (Instances).
تدهور التفاصيل وعدم الاتساق الزمني:
- فقدان التفاصيل: تسبب المشفرات التلقائية المتغيرة (VAEs) القياسية في مسارات الانتشار آثار ضغط، مما يؤدي إلى محو التفاصيل الفيزيائية عالية التردد (مثل الانعكاسات المعدنية، وملمس القماش).
- عيوب الحركة: تفشل طرق تلوين الفيديو غالباً في نمذجة التبعيات المدركة للحركة، مما يؤدي إلى الوميض (Flickering)، وعدم المحاذاة، وعدم الاتساق الزمني أثناء مشاهد الحركة الكبيرة.

2. المنهجية: Uni-Animator

يقترح المؤلفون Uni-Animator، وهو إطار عمل موحد يعتمد على بنية محول الانتشار (Diffusion Transformer - DiT) (المستوحى من Wan2.1). يستقبل النموذج تسلسلات السكتشات، والمطالبات النصية (Text Prompts)، والمراجع البصرية لتوليد مخرجات ملونة. تدمج البنية الأساسية ثلاث وحدات تقنية مبتكرة:

أ. تعزيز المرجع البصري (تضمين رقعة العنصر - Instance Patch Embedding)

لحل مشكلة النقل غير الدقيق للألوان، قدم المؤلفون استراتيجية دمج متعددة المستويات عبر مرحلتين:

الدمج خشن الحبيبات (Coarse-Grained Fusion): يتم تشفير الصور المرجعية عبر VAE مدرب مسبقاً لاستخراج المعلومات الهيكلية والأسلوبية العالمية. يتم دمج هذه المعلومات مع فضاء الكامن للضجيج الأولي لتوجيه التوزيع اللوني العام.
الدمج دقيق الحبيبات (Fine-Grained Fusion - Instance Patch Embedding): لالتقاط التفاصيل المحلية، تقوم الطريقة بتقسيم الصور المرجعية إلى رقع (Patches) واستخدام وحدة تضمين عنصر (Instance Embedding) تلافيفية. تستخرج هذه الوحدة ميزات دقيقة على مستوى العنصر (مثل المنسوجات ودلالات الحواف) والتي تُدمج في تسلسل الرموز (Tokens). يسمح هذا للنموذ de لربط عناصر محددة في السكتش بمناطق محددة في المرجع، مما يدعم مراجع متعددة في آن واحد.

ب. تعزيز التفاصيل الفيزيائية

لمواجهة فقدان التفاصيل عالية التردد الناتج عن ضغط الـ VAE:

استخراج الميزات القائم على DINO: يستفيد الإطار من نموذج DINOv2 مدرب مسبقاً لاستخراج ميزات فيزيائية غنية وواعية بالبنية (تشفير خصائص المواد، ملمس السطح، والإضاءة) من المراجع البصرية.
حقن الميزات (Feature Injection): يتم إسقاط هذه الميزات الفيزيائية ودمجها مع الميزات الكامنة المدمجة.
المحاذاة عبر الوسائط (Cross-Modal Alignment): تعمل آلية الانتباه المتقاطع (Cross-attention) على محاذاة الميزات الفيزيائية مع المطالبات النصية والمراجع البصرية (عبر مشفرات CLIP و T5)، مما يحل الصراعات الدلالية (على سبيل المثال، عندما يذكر النص "شعر أحمر" بينما يظهر المرجع شعراً أزرق) ويضمن حفاظ النموذج على حدة الحواف والواقعية الفيزيائية.

ج. ترميز RoPE الديناميكي القائم على السكتش

لمعالحة عدم الاتساق الزمني والوميض في المشاهد الديناميكية:

الترميز المدرك للحركة: بدلاً من الترميز الموضعي الثابت، يقترح المؤلفون ترميزاً دورانياً موضعياً ديناميكياً (Dynamic Rotary Positional Embedding - Roce).
الآلية: يتم استخراج التدفق البصري (Optical Flow) من تسلسل السكتش المدخل باستخدام RAFT. يتم تفكيك الحركة إلى مكونات أفقية ( $u$ ) ورأسية ( $v$ ).
التردد التكيفي: يتم تغيير ترددات RoPE ديناميكياً بناءً على شدة الحركة ( $\hat{M}$ $\hat{M}$ ):
- الحركة العالية: المناطق ذات الحركة السريعة تتلقى معاملات تردد أعلى لالتقاط التفاصيل الديناميكية ومنع التشويه الزمني (Temporal Aliasing).
- المناطق الثابتة: يتم الحفاظ على ترددات أقل لضمان الاستقرار.
- تكييف الأبعاد: يتم تطبيق التكيف بشكل منفصل على الأبعاد الزمنية، والارتفاع، والعرض للتعامل مع أنماط الحركة غير المتماثلة الشائعة في الرسوم المتحركة (مثل التحريك الأفقي السريع مقابل التحرك الرأسي البطيء).

3. المساهمات الرئيسية

إطار عمل موحد: أول إطار عمل قائم على الانتشار قادر على التعامل مع تلوين سكتشات الصور والفيديو ضمن نموذج واحد، مما يلغي الحاجة إلى التكيف الخاص بكل مهمة.
تعزيز المرجع البصري: آلية "تضمين رقعة العنصر" مبتكرة تتيح محاذاة لونية دقيقة على مستوى العناصر وتدعم مراجع بصرية متعددة في وقت واحد.
تعزيز التفاصيل الفيزيائية: استراتيجية تستخدم ميزات DINO لاستعادة والحفاظ على التفاصيل الفيزيائية عالية التردد التي تضيع غالباً في مسارات الانتشار القياسية.
ترميز RoCT الديناميكي القائم على السكتش: استراتيجية ترميز موضعي مدركة للحركة تعمل على نمذجة التبعيات المكانية-الزمانية بشكل تكيفي، مما يقلل بشكل كبير من الوميض وعدم المحاذاة في مشاهد الفيديو ذات الحركة الكبيرة.

4. النتائج التجريبية

قام المؤلفون بتقييم Uni-Animator على مجموعة بيانات مخصصة تضم 5,000 مقطع أنمي و30,000 مقطع مصفى من Sakuga-42M.

الأداء الكمي:
- تلوين الفيديو: حقق Uni-Animator أداءً هو الأفضل في فئته (SOTA)، حيث احتل المركز الأول في مقاييس FID (119.514) و LPIPS (0.193)، متفوقاً بشكل كبير على نماذج الفيديو المتخصصة مثل ToonComposer و Anidoc.
- تلوين الصور: حقق نتائج رفيعة المستوى، متفوقاً على طرق مثل MagicColor و MangaNinja في مقاييس SSIM و CLIP Score و FID.
- المقاييس: أظهر النموذج أداءً فائقاً في درجات الاتساق الزمني والمحاذاة بين الأسلوب والمحتوى (CLIP Score).
الأداء النوعي:
- دقة التفاصيل: نجحت الطريقة في الحفاظ على المنسوجات الدقيقة (خصلات الشعر، ملمس القماش) وحدّة الحواف، والتي كانت تبدو ضبابية في النماذج المرجعية.
- الاتساق الزمني: في اختبارات الفيديو، حافظ النموذج على استقرار هوية الشخصيات وحركة سلسة دون وميض، حتى في المشاهد المعقدة ذات الحركات الكبيرة.
- التعامل مع المراجع المتعددة: على عكس النماذج المرجعية التي تعاني مع المراجع المتعددة، قام Uni-Animator بربط الألوان بشكل صحيح بعناصر محددة عبر الإطارات.

5. الأهمية

يمثل Uni-Animator قفزة نوعية في مجال إنشاء المحتوى المؤتمت للرسوم المتحركة وترميم الأفلام.

الأثر الصناعي: من خلال توحيد مهام الصور والفيديو، فإنه يقلل بشكل كبير من تكاليف العمل المرتبطة بالتلوين اليدوي إطار بإطار والتكيف عبر النطاقات.
التقدم التقني: يثبت أن بنيات DiT، عند دمجها مع الترميز المدرك للحركة وتعزيز الميزات الفيزيائية، يمكنها التغلب على القيود المتأصلة في الـ VAE والترميز الموضعي الثابت.
تعدد الاستخدامات: إن قدرة الإطار على التعامل مع مرجع واحد أو مراجع متعددة بدقة عالية تجعل منه أداة قوية لمختلف خطوط الإنتاج، بدءاً من تصميم الشخصيات وصولاً إلى التحريك الكامل (Inbetweening).

في الختام، يجسّر Uni-Animator الفجوة بين تلوين السكتشات الثابتة والديناميكية، ويقدم حلاً ليس فقط متفوقاً تقنياً من حيث التفاصيل والاتساق، بل هو أيضاً قابل للتطبيق عملياً في تدفقات العمل الصناعية عالية الكثافة.