ASemConsist: Adaptive Semantic Feature Control for Training-Free Identity-Consistent Generation
يُعد AsemConsist إطار عمل لا يتطلب تدريباً يحقق توليد صور عالية الدقة ومتسقة الهوية عبر مشاهد متنوعة، وذلك من خلال التعديل الانتقائي لتمثيلات النصوص (text embeddings) وتوظيف مشاركة الميزات التكيفية، مما يحل المقايضة بين الحفاظ على الهوية والالتزام بالوصف لكل صورة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل محاولة سرد قصة باستخدام الصور، حيث يجب أن تبدو الشخصية الرئيسية متطابقة تماماً في كل إطار، حتى مع تغير الخلفية من شارع ممطر إلى حديقة مشمسة. هذا هو جوهر تحدٍ متزايد في الذكاء الاصطناائي: تعليم الحواسيب توليد شخصيات متسقة. لسنوات، كانت أدوات صناعة الصور الأكثر تقدماً قادرة على إنشاء مرئيات مذهلة من أوصاف نصية بسيطة. ومع ذلك، عندما يُطلب منها توليد سلسلة من الصور التي تضم نفس الشخص أو الحيوان، غالباً ما تعاني هذه الأدوات. قد يتغير لون شعر الشخصية، أو تفقد ندبة مميزة، أو يتغير هيكل وجهها من صورة إلى أخرى. هذا التضارب يكسر وهم القصة المستمرة، مما يجعل من الصب صعب استخدام هذه الأدوات في الرسوم المتحركة، أو القصص المصورة، أو السرد التفاعلي.
تكمن الصعوبة الجوهرية في كيفية فهم نماذج الذكاء الاصطناعي للغة. فعندما يطلب المستخدم شخصية محددة، مثل "كلب صغير ذو فراء قصير"، يترجم الحاسوب هذه الجملة إلى تمثيل رياضي معقد. وتنشأ المشكلة عندما يحاول الحاسوب دمج وصف هذه الشخصية مع وصف مشهد جديد، مثل "يقفز فوق بركة ماء". في العديد من الأنظمة الحالية، تتداخل التعليمات الخاصة بالشخصية مع التعليمات الخاصة بالمشهد. لا يستطيع الحاسوب بسهولة فصل الجزء من التعليمات الذي يحدد هوية الكلب عن الجزء الذي يصف قفزة البركة. ونتيجة لذلك، عندما يحاول الحاسوب رسم الصورة التالية، فإنه غالباً ما يغير ملامح الكلب عن طريق الخطأ أثناء محاولته الامتثال لتعليمات المشهد الجديدة، أو يتجاهل المشهد الجديد للحفاظ على شكل الكلب كما هو.
قام فريق من الباحثين في جامعة يونسي بتطوير طريقة جديدة تسمى AsemConsist لحل هذه المشكلة تحديداً دون الحاجة إلى إعادة تدريب نماذج الذكاء الاصطناعي الأساسية. وبدلاً من إجبار الحاسوب على تعلم طريقة جديدة للرسم، يعمل نهجهم مثل محرر ماهر، يقوم بتعديل التعليمات بعناقة قبل أن يبدأ الحاسوب بالرسم. لقد اكتشفوا أن الأكواد الرياضية التي تمثل النصوص ليست كتل معلومات صلبة، بل تتكون من طبقات أو مكونات مختلفة. بعض هذه الطبقات يساعد في تحديد هوية الشخصية، بينما تصف طبقات أخرى المشهد أو حتى تتعارض مع مظهر الشخصية. حاولت الطرق السابقة تعديل كتلة التعليمات بأكملها دفعة واحدة، مما أدى غالباً إلى فقدان الحاسوب لهوية الشخصية أو الفشل في اتباع وصف المشهد.
يتضمن حل الباحثين عملية مكونة من ثلاث خطوات تحدث تلقائياً في كل مرة يتم فيها توليد صورة. أولاً، يقومون بفصل التعليمات إلى مكوناتها الفردية؛ حيث يحددون الأجز الكود التي تعتبر أساسية للحفاظ على اتساق الشخصية، والأجزاء الضرورية لوصف المشهد المحدد. ثم يقومون بتضخيم الأجزاء التي تدعم هوية الشخصية مع تعزيز الأجزاء التي تصف المشهد في الوقت نفسه، لضمان أن يكون كلاهما قوياً وواضحاً. ثانياً، وجدوا مساحة مخفية داخل ذاكرة الحاسوب، تُعرف باسم "الحشو" (padding)، وهي مساحة يتم تجاهلها عادةً. أدركوا أنه يمكن استخدام هذه المساحة كحاوة لحفظ تفاصيل إضافية عن المشهد دون التداخل مع هوية الشخصية. ومن خلال كتابة تفاصيل المشهد في هذه الحاوة، يمنعون وصف المشهد من الكتابة فوق ملامح الشخصية عن طريق الخطأ.
أخيراً، يقرر النظام متى يطبق المساعدة الإضافية. إذا قدم المستخدم وصفاً مفصلاً للغاية لشخصية ما، مثل "فتاة تبلغ من العمر 16 عاماً بشعر أشقر مموج وعينين زرقاوين"، فيمكن للحاسوب عادةً الحفاظ على مظهرها كما هو بمفرده. ومع ذلك، إذا كان الوصف غامضاً، مثل "رجل"، فإن الحاسوب يحتاج إلى مرساة أقوى لمنع الشخصية من الانحراف. تكتشف الطா الجديدة تلقائياً مدى غموض الوصف ولا تطبق قيوداً إضافية إلا عند الضرورة. وهذا يمنع النظام من أن يكون جامداً للغاية عندما لا يحتاج إلى ذلك، مما يسم يسمح بتنوع طبيعي في الوضعيات والخلفيات مع الح tetap بقاء الشخصية قابلة للتمييز.
لاختبار عملهم، ابتكر الباحثون طريقة جديدة لقياس النجاح تنظر إلى اتساق الشخصية ومدى وصف المشهد معاً، بدلاً من الحكم عليهما بشكل منفصل. ووجدوا أن طريقتهم تعمل بشكل أفضل بكثير من الأدوات الرائدة الحالية في اثنين من أقوى نماذج توليد الصور المتاحة اليوم. في اختباراتهم، حافظ النهج الجديد على هوية الشخصية عبر مشاهد متنوعة مع اتباع تعليمات محددة لكل صورة بدقة، وهو توازن عانت منه الطرق السابقة. تشير النتائج إلى أنه من خلال فهم البنية الداخلية لكيفية معالجة الحواسيب للغة، يمكننا توجيهها لسرد قصص بصرية أكثر تماسكاً دون الحاجة لبناء أنظمة جديدة بالكامل من الصفر. يقربنا هذا التقدم من مستقبل حيث يمكن للذكاء الاصطناعي توليد السرديات المرئية المطلوبة للأفلام، والألعاب، والقصص الرقمية بشكل موثوق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.