Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction
يُعد Re2Pix إطار عمل هرمي للتنبؤ بالفيديو يعمل على تعزيز الاتساق الدلالي الزمني والدقة البصرية في البيئات الديناميكية المعقدة من خلال التنبؤ أولاً ببنية المشهد في فضاء الميزات الخاص بنموذج رؤية مجمد، ثم استخدام هذه التمثيلات المتنبأ بها لتوجيه نموذج انتشار كامن لتركيب إطارات واقعية للغاية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول التنبؤ بما سيبدو عليه شارع مزدحم في مدينة ما بعد خمس ثوانٍ من الآن. ترى سيارات تتحرك، ومشاة يعبرون الطريق، والشمس تغير موقعها.
تحاول معظم نماذج الذكاء الاصطناعي الحالية القيام بذلك عبر النظر إلى البكسلات الخام (النقاط الملونة الصغيرة التي تشكل الصورة) وتخمين البكسلات التالية. الأمر يشبه محاولة التنبؤ بمستقبل فيلم عبر تخمين اللون الدقيق لكل بكسل في الإطار التالي. وهذا أمر صعب للغاية، وغالبًا ما يؤدي إلى نتائج ضبابية أو غريبة أو "مليئة بالخلل"، حيث قد تتحول سيارة فجأة إلى شجرة أو يظهر شخص ويختفي فجأة.
Re2Pix هو نهج جديد يحل هذه المشكلة عن طريق تقسيم المشكلة إلى خطوتين متميزتين، مثل مخرج وفنان مؤثرات بصرية يعملان معًا.
العملية المكونة من مرحلتين
المرحلة الأولى: "المخرج" (التنبؤ الدلالي)
أولاً، يعمل الذكاء الاصطناعي كمخرج سينمائي لا يهتم بالإضاءة أو ملمس ملابس الممثلين بعد. المخرج يهتم فقط بـ القصة والتخطيط.
- ماذا يفعل: ينظر إلى المشهد الحالي ويتنبأ بـ "الهيكل العظمي" للمستقبل. أين ستكون السيارات؟ أين سيمشي المشاة؟ هل سيعيق مبنى الرؤية؟
- التشبيه: فكر في هذا كأنه رسم مخطط أولي أو رسم هندسي لمشهد المستقبل. إنه يستخدم "عقلاً" قوياً ومُدرباً مسبقاً (يسمى نموذج رؤية تأسيسي - Vision Foundation Model) يفهم العالم بعمق. إنه يتنبأ بـ معنى المشهد، وليس بالتفاصيل الجميلة.
المرحلة الثانية: "فنان المؤثرات البصرية" (التركيب البصري)
بمجرد أن ينتهي المخرج من الرسم التخطيطي، يسلمه لفنان المؤثرات البصرية.
- ماذا يفله: يأخذ الفنان ذلك المخطط الأولي ويملأه بكل التفاصيل الجميلة: الطلاء اللامع على السيارات، الظلال، الانعكاسات، والأنسجة الواقعية.
- التشبيه: هذا يشبه أخذ لوحة قصة (Storyboard) باللون الأبيض والأسود وتحويلها إلى فيلم واقعي للغاية. ولأن الفنان يعرف بالفعل أين يجب أن يكون كل شيء، فإنه لا يحتاج إلى التخمين؛ بل يركز فقط على جعله يبدو حقيقياً.
المشكلة الكبرى: عدم التطابق بين "المعلم والطالب"
كانت هناك مشكلة معقدة في هذه الفكرة المكونة من خطوتين.
- أثناء التدريب: تم تعليم "فنان المؤثرات البصرية" باستخدام مخططات مثالية رسمها معلم بشري.
- أثناء الاستخدام الفعلي (الاستدلال): يتعين على "المخرج" رسم المخطط بنفسه. وبما أن المخرج هو ذكاء اصطناعي، فقد يكون رسمه غير دقيق أو يحتوي على أخطاء صغيرة.
إذا دربت الفنان على العمل فقط مع المخططات المثالية، فسيصاب بالذعر وينتج أفلاماً ضبابية وفوضوية عندما يُعطى مخططاً غير مثالي قلي من المخرج. وهذا ما يسمى بـ عدم التطابق بين التدريب والاختبار (Train-Test Mismatch).
الحل: التدريب باستخدام مخططات "غير مثالية"
يقدم Re2Pix خدعتين ذكيتين لإصلاح ذلك، مما يضمن قدرة الفنان على التعامل مع المخططات غير الدقيقة:
الإسقاط المتداخل (خدعة "المخطط الضبابي"):
أثناء التدريب، يقوم الذكاء الاصطناعي عشوائياً بأخذ المخطط المثالي ويمحو بعض التفاصيل الدقيقة، تاركاً فقط الأشكال الكبيرة والمهمة (مثل الخطوط العريضة لسيارة، ولكن ليس العجلات). يتعين على الفنان تعلم صنع فيلم رائع حتى عندما يكون المخطط غير مكتمل. هذا يجعل الفنان قوياً (Robust) وجاهزاً لتوقعات المخرج غير الكاملة.الإشراف المختلط (الـ "ممارسة في العالم الحقيقي"):
يتم تدريب الذكاء الاصطناعي بنسبة 90% من الوقت باستخدام مخططات مثالية، ولكن بنسبة 10% من الوقت، يُجبر على استخدام توقعات المخرج الفعلية (غير المثالية). هذا يشبه إعطاء الفنان "امتحاناً تجريبياً" يشبه تماماً الاختبار الحقيقي. هذا يعلم الفنان ألا يصاب بالذعر عندما لا يكون المخطط مثالياً.
لماذا يهم هذا الأمر؟
النتائج مبهرة، خاصة بالنسبة للسيارات ذاتية القيادة:
- تدريب أسرع: لأن الذكاء الاصطناعي لا يحتاج لتخمين التخطيط والتفاصيل في آن واحد، فإنه يتعلم بشكل أسرع بكثير (حتى 7 أضعاف أسرع للمرئيات و14 ضعفاً لفهم المشهد).
- اتساق أفضل: لا تختفي الأشياء أو تتحول إلى أشياء أخرى. تظل السيارة سيارة، ويظل الشخص شخصاً.
- الواقعية: يبدو الفيديو النهائي حاداً وواقعياً للغاية لأن "فنان المؤثرات البصرية" لديه خطة صلبة يتبعها.
باختصار: يتوقف Re2Pix عن محاولة تخمين البكسلات مستقبلاً بكسل بكسل. بدلاً من ذلك، يحدد أولاً قصة المستقبل، ثم يرسم الصورة بناءً على تلك القصة. ومن خلال تدريب الرسام على التعامل مع المسودات الأولية، فإنه يخلق نظاماً أسرع، وأذكى، وأكثر موثوقية لأشياء مثل القيادة الذاتية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.