Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds
يقدم البحث نظام JoyAI-Echo-1.5، وهو نظام موحد لتوليد الصوت والمرئيات يتميز بنسخة الفيديو الطويل المزودة بذاكرة عبر اللقطات لضمان اتساق الشخصية المستمر، ونسخة النموذج العالمي المزودة بتحكم هندسي في الكاميرا للملاحة التفاعلية، وكلاهما تم تحسينه عبر التدريب المدرك للتدحرج لتحقيق أداء رائد في سرد القصص طويلة المدى وتوليد العوالم التفاعلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا يستطيع فيه الكمبيوتر إنشاء مقطع فيديو واحد فحسب، بل يمكنه نسج قصة كاملة، مع الحفاظ على مظهر الشخصيات وأصواتها ثابتة من المشهد الأول حتى الأخير، أو حتى السماح للمشاهد بالتجول عبر مشهد رقمي، وتحريك رأسه والتحرك للأمام باستقرار تام. هذا هو أفق توليد الفيديو، وهو مجال يتعلم فيه الذكاء الاصطناعي كيفية تخليق الصور المتحركة والصوت. لسنوات، كانت هذه الأنظمة تشبه الرسامين المهرة الذين يمكنهم رسم لوحة بورتريه جميلة ولكنهم يجدون صعوبة في رسم معرض كامل تظل فيه كل الوجوه متسقة، أو مثل راوٍ للقصص ينسى الحبكة بعد بضع جمل. كان التحدي يكمل في الانتقال من اللحظات المنعزلة إلى إنشاء روايات طويلة ومتماسكة وعوالم تفاعلية لا تتفكك أو تفقد هويتها مع نموها.
قدم فريق من الباحثين في أكاديمية "جوي فيوتشر" (Joy Future Academy) نظاماً جديداً، يُدعى "جوي إيه آي إيكو-1.5" (JoyAI-Echo-1.5)، صُمم لحل هذه المشكلات المحددة. فبدلاً من مجرد صنع مقاطع فيديو فردية أفضل، يركز هذا النظام على هدفين متميزين ولكن مترابطين: إنشاء قصص طويلة تظل فيها الشخصيات والأصوات متسقة، وبناء عوالم تفاعلية تستجيب بدقة لحركات المستخدم. وجد الباحثون أنه من خلال منح الكمبيوتر وسيلة لـ "تذكر" المشاهد الماضية، وتعليمه فهم هندسة الحركة، استطاعوا توليد تسلسلات ممتدة من الفيديو تظل مستقرة ومخلصة للتعليمات الأصلية.
يتناول الجزء الأول من هذا النظام مشكلة القصص الطويلة. في المحاولات السابقة، إذا ظهرت شخصية في مشهد، ثم انتقل الفيديو إلى موقع جديد، فقد تعود الشخصية بمظهر مختلف قليلاً أو بصوت متغير. يحل "جوي إيه آي إيكو-1.5" هذه المشكلة عن طريق بناء بنك للذاكرة. فبينما يقوم النظام بتوليد قصة، فإنه يحفظ تفاصيل بصرية وصوتية محددة من اللقطات السابقة. وعندما تظهر الشخصية مرة أخرى، يستشير النظام هذه الذاكرة لضمان مطابقة وجهها وملابسها وصوتها لما تم تأسيسه سابقاً. ويقوم بذلك من خلال النظر إلى التسجيل الصوتي الكامل لمشهد سابق لالتقاط النبرة الفريدة للمتحدث، بدلاً من مجرد مقطع قصير، ومن خلال حفظ صور للشخصية من زوايا مختلفة. وهذا يسمح للكمبيوتر بتوليد سلسلة من اللقطات تبدو وكأنها فيلم مستمر، حيث يمكن للبطل السفر عبر بيئات مختلفة دون أن يفقد هويته.
أما الجزء الثاني من النظام، فقد صُمم للعوالم التفاعلية، حيث قد يرغب المستخدم في التحكم في الكاميرا لاستكشاف بيئة رقمية. في الماضي، كان إعطاء أمر للكمبيوتر مثل "تحرك للأمام" أو "التفت يساراً" يؤدي غالباً إلى حركة متقطعة وغير طبيعية، أو إلى مشهد يتشوه ويتغير شكله ببطء مع استمرار تشغيل الفيديو. يترجم النظام الجديد هذه الأوامر إلى وصف رياضي دقيق لكيفية تحرك الكاميرا عبر الفضاء. فهو يعامل العالم كفضاء ثلاثي الأبعاد مستقر يوجد بشكل مستقل عن الكاميرا. وعندما يتحرك المستخدم، يحسب النظام المسار الدقيق ويعدل الفيديو وفقاً لذلك، مما يضمن بقاء الجدران والأشياء والإضاءة متسقة بغض النظر عن طول مدة الاستكشاف. وهذا يسمح بتجربة سلسة ومستمرة حيث يبدو العالم الرقمي صلباً وحقيقياً، وليس مجرد وهم متحول.
ولجعل هذه الأنظمة سريعة بما يكفي لتكون مفيدة، طور الباحثون أيضاً طريقة جديدة لتدريبها. عادةً، يتطلب إنشاء فيديو عالي الجودة العديد من خطوات الحساب، مما يستغرق وقتاً طويلاً. لقد علم الفريق النظام أن يتعلم من أخطائه من خلال جعله يولد فيديو، ثم يحاول فوراً تحسين هذا الفيديو بناءً على ما أنشأه للتو. تتضمن هذه العملية تقنية تسمى "فرض التدرج الذاتي" (self-gradient forcing)، وهي تسمح للنظام بأن يصبح مستقراً حتى عندما يولد تسلسلات طويلة بمفرده. كما استخدموا طريقة لضغط عملية التوليد، مما يسمح للنظام بإنتاج فيديو عالي الجودة في خطوات قليلة فقط بدلاً من عشرات الخطوات، دون فقدان التفاصيل الدقيقة أو التزامن بين الصوت والصورة.
تم اختبار نتائج هذا العمل مقابل أنظمة رائدة أخرى. في الاختبارات المتعلقة بالقصص الطويلة، كان النظام الجديد أفضل في الحفاظ على اتساق الشخصيات ومطابقة الكلمات المنطوقة مع حركات الشفاه مقارنة بأي نموذج سابق. وفي اختبارات العوالم التفاعلية، سجل درجات أعلى من منافسيه في الحفاظ على شكل البيئة واتباع أوامر حركة المستخدم بدقة. أظهر اختبار محدد أن النظام يمكنه توليد فيديو مستمر لمدة ستين ثانية حيث تتحرك الكاميرا عبر مشهد معقد، مع الحفاظ على المنظور الصحيح والجودة البصرية طوال الوقت، وهو إنجاز عانت النماذج الأخرى لتحقيقه دون أن ينحرف المشهد أو يتشوه.
يشير هذا البحث إلى أن المفتاح لإنشاء قصص مستمرة وعوالم تفاعلية مستقرة يكمن في كيفية تذكر الكمبيوتر للماضي وفهمه لهندسة الحاضر. ومن خلال الجمع بين ذاكرة قوية للتفاصيل البصرية والصوتية وفهم دقيق للحركة، يمكن للنظام توليد محتوى يشعر المرء باتساقه عبر الزمن. وبينما تظل هناك تحديات، لا سيما في الحفاظ على ثبات الكاميرا تماماً أثناء الحركات الطويلة والمعقدة جداً، فإن هذا العمل يمثل خطوة كبيرة للأمام. فهو يوضح أن الذكاء الاصطناعي يمكنه تجاوز إنشاء مقاطع فيديو منعزلة إلى استدامة روايات كاملة وعوالم متطورة، مما يفتح الباب أمام تجارب رقمية أكثر غمرة وموثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.