Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
تقترح الورقة البحثية إطار "التعزيز الوكيل والإصلاح الدلالي" (AESR)، وهو إطار عمل خفيف الوزن يجمع بين وحدة تعزيز الأوامر الوكيلية ووحدة إصلاح الدلالات البصرية المدفوعة بنماذج الرؤية واللغة الكبيرة (VLM) للتغلب على انحراف الهوية وفشل اتباع التعليمات في نماذج تحويل النص إلى فيديو مغلقة المصدر، محققةً المركز الأول في تحدي ACM MM 2026 لتوليد الفيديو مع الحفاظ على الهوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، برز تحدٍ محدد: تعليم الآلات كيفية إنشاء صور متحركة لا تكتفي فقط باتباع قصة مكتوبة، بل تحافظ أيضاً على مظهر شخص معين بدقة متناهية طوال مقطع الفيديو بأكمله. تخيل أن تطلب من الكمبيوتر إنشاء فيديو لصديق وهو يسير في سوق صاخب، ثم يتوقف لشراء زهرة، كل ذلك مع ضمان أن يظل الوجه في الفيديو هو وجه صديقك بلا أدنى شك. وبينما يمكن للأدوات الحديثة بالفعل إنتاج حركة وإضاءة واقعية بشكل مذهل، إلا أنها غالباً ما تعاني من صعوبة في تحقيق هذا الاتساق. قد يبدأ الشخص كصديق لك، ثم يتحول تدريجياً إلى شخص آخر، أو قد ببساطة ينسى الكمبيوتر تضمين الزهرة التي طلبتها، خاصة عندما تصبح التعليمات معقدة. يعد هذا عقبة كبيرة لأن أقوى مولدات الفيديو المتاحة اليوم هي "صناديق سوداء" — وهي أنظمة مغلقة حيث تكون آليات عملها الداخلية مخفية، مما يجعل من المستحيل على الباحثين ببساطة تعديل الكود البرمجي لإصلاح هذه الأخطاء.
لق{د طور فريق من الباحثين في جامعة بكين نهجاً جديداً لحل هذه المشكلة دون الحاجة إلى فتح الصندوق الأسود. فبدلاً من محاولة تغيير مولد الفيديو نفسه، قاموا ببناء مساعد ذكي يعمل حوله. هذا النظام، الذي أطلقوا عليه اسم AESR، يعمل كمخرج ومحرر ماهر يقوم بإعداد التعليمات قبل التصوير ويصلح الأخطاء بعد اللقطة الأولى. وجد الباحثون أنه من خلال تحسين النصوص التوجيهية (prompts) المقدمة للكمبيوتر بعناية، ثم استخدام مراجع بصرية لتصحيح أخطاء محددة في الفيديو الناتج، تمكنوا من تحسين النتائج بشكل كبير. وفي مسابقة دولية كبرى لهذه التكنولوجيا، احتل نظامهم المركز الأول، مما أثبت أن طريقة توجيه وإصلاح المخرجات هذه هي وسيلة عملية وقوية لإنشاء فيديوهات تظل فيها هوية الشخص مطابقة للواقع.
يكمن جوهر حلهم في مرحلتين متميزتين تحدثان قبل وأثناء إنشاء الفيديو. أولاً، أدرك الفريق أن الطريقة التي يكتب بها الإنسان النص التوجيهي تهم للغاية، ولكن مولدات الفيديو المختلفة تفضل أساليب كتابة مختلفة. وللتعامل مع هذا، أنشأوا "كتيب قواعد" رقمي يتعلم من الخبرة. يبدأ هذا الكتيب بالتعليمات الرسمية المقدمة من مبتكري مولد الفيديو، والتي تخبر النظام بكيفية استقبال الأوامر. ومع ذلك، ذهب الباحثون إلى أبعد من ذلك بإضافة طبقة من التعلم من الأمثلة الواقعية؛ حيث أنشأوا حلقة آلية حيث يقوم النظام بتوليد فيديو، وفحص الأخطاء فيه، ثم تحديث كتيب القواعد بما تعلمه. إذا لاحظ النظام أن مولد الفيديو غالباً ما ينسى تضمين نوع معين من الحركة أو يفشل في وصف كائن ما بوضوح، فإن كتيب القواعد يسجل هذا الفشل والإصلاح المناسب له للمرة القادنة. ومع مرور الوقت، ينمو هذا الجمع من المعرفة، مما يسمح للنظام بصياغة تعليمات أفضل للمشاهد المعقدة، مثل شخص يتفاعل مع أشياء متعددة أو يؤدي سلسلة من الأفعال.
وحتى مع التعليمات الأفضل، فإن النسخة الأولى من الفيديو غالباً ما تظل تحتوي على أخطاء صغيرة لا يمكن للنص وحده إصلاحها. قد يفهم الكمبيوتر كلمات مثل "امرأة تنظر إلى الكاميرا"، ولكن الفيديو الناتج قد يظهرها وهي تنظر بعيداً، أو قد يفتقد تفصيلاً حاسماً مثل قبعة معينة من المفترض أن ترتديها. ولمعالجة ذلك، قدم الباحثون مرحلة ثانية تسمى "الإصلاح الدلالي البصري". في هذه المرحلة، يعمل نظام ذكاء اصطناعي منفصل كـ "ناقد"، يشاهد مسودة الفيديو ويقارنها بالطلب الأصلي. وعندما يرصد مشكلة، مثل جسم مفقود أو وجه انحرف قليلاً، فإنه لا يكتفي بكتابة وصف جديد، بل يختار إطاراً (frame) معيناً من الفيديو ويقوم بتعديله ليظهر بالضبط ما يجب أن يكون هناك. تعمل هذه الصورة المعدلة كهدف بصري ملموس؛ حيث يقوم النظام بعد ذلك بتغذية هذه الصورة المصححة، جنباً إلى جنب مع الفيديو الأصلي ومجموعة جديدة من التعليمات، في أداة لتحرير الفيديو. تستخدم هذه الأداة الصورة المعدلة كدليل لإصلاح الجزء المحدد من الفيديو، مما يضمن أن النتيجة النهائية تطابق القصد البصري من النص التوجيهي.
ولضمان أفضل نتيجة ممكنة، لم يعتمد الباحثون على محاولة واحدة. فقد قاموا بتوليد نسخ متعددة من كل فيديو باستخدام تركيبات مختلفة من تعليماتهم المحسنة وتقنيات الإصلاح الخاصة بهم. ثم استخدموا استراتيجية اختيار للمقارنة بين هذه المرشحات، مع مراع weight (وزن/أهمية) عوامل مثل مدى مطابقة الفيديو للنص، ومدى اتساق الوجه، وسلاسة الحركة الإجمالية. ومن خلال اختيار النسخة الأفضل من هذه المجموعة، رفعوا جودة المنتج النهائي إلى أقصى حد. وعند اختبارهم مقابل مجموعة من 200 مثال مليئة بالتحديات تتعلق بالحفاظ على الهوية الوجهية، تفوق نظامهم على الأساليب الموجودة. وأظهرت النتائج أن نهجهم نجح في تقليل الأخطاء التي يتغير فيها وجه الشخص أو تختفي فيها العناصر البصرية الرئيسية. وقد تأكد نجاح الفريق في تحدي ACM MM 2026 لتوليد الفيديو مع الحفاظ على الهوية، حيث احتل نظامهم، الذي يحمل اسم MIPL_Video، المرتبة الأولى في مسار الهوية الوجهية.
يوضح هذا العمل أنه حتى عندما تكون أقوى الأدوات مغلقة أمام التعديل المباشر، لا تزال هناك طرق فعالة لتوجيهها نحو نتائج أفضل. فمن خلال الجمع بين نظام تعلم يحسن التعليمات ومحرر بصري يصلح الأخطاء المحددة، أنشأ الباحثون سير عمل (workflow) يتميز بخفته وفعاليته العالية. وتشير نتائجهم إلى أن مستقبل توليد الفيديو عالي الجودة مع الحفاظ على الهوية قد لا يعتمد على بناء نماذج أكبر وأكثر تعقيداً، بل على تطوير طرق أكثر ذكاءً للتفاعل مع النماذج التي نمتلكها بالفعل. إن القدرة على الحفاظ على شبه الشخص مع اتباع قصص ديناميكية معقدة تفتح آفاقاً جديدة لسرد القصص وصناعة المحتوى، مما يثبت أن التحضير الدقيق والتصحيح المستهدف يمكن أن يحققا نتائج لا يمكن للتوليد الخام وحده تحقيقها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.