InternVideo-Next: Towards General Video Foundation Models without Video-Text Supervision
يقدم InternVideo-Next إطار عمل تدريب مسبق جديد ثنائي المراحل يفكك تصميم المشفر-المفكك إلى بنية (مشفر-متنبئ-مفكك) مع مفكك انتشار شرطي للتغلب على قيود إعادة البناء على مستوى البكسل والتعلم المختصر، مما يحقق أداءً هو الأفضل في حالته في تعلم تمثيل الفيديو العام دون الاعتماد على الإشراف النصي للفيديو المشوب بالضجيج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعليم روبوت كيف يفهم العالم بمجرد مشاهدة الفيديوهات، دون أن يخبره أحد بما يحدث بالكلمات. هذا هو التحدي الذي يعالجه بحث InternVideo-Next.
إليك قصة كيف فعلوا ذلك، باستخدام بعض التشبيهات البسيطة.
المشكلة: طريقتان سيئتان للتعلم
في السابق، حاول الباحثون استخدام طريقتين رئيسيتين لتعليم الروبوتات مشاهدة الفيديوهات، لكن كلتاهما كانت تعاني من عيوب:
"قارئ الترجمة" (الإشراف النصي):
تخيل أنك تعلم طالباً من خلال عرض فيلم له مع ترجمة نصية. سيتعلم مفردات رائعة ويمكنه إخبارك من يفعل ماذا (على سبيل المثال: "رجل يركل كرة"). ولكن، لأنه يكتفي فقط بقراءة الترجمة، فإنه يفتقد إلى الفيزياء الدقيقة. هو لا يفهم حقاً كيف تدور الكرة، أو العمق ثلاثي الأبعاد للغرفة، أو الجاذبية التي تسحبها للأسفل. هو جيد في فهم "القصة" ولكنه سيء في فهم "الواقع"."رسام البكسلات" (نمذجة الفيديو المقنع):
تخيل لعبة تقوم فيها بتغطية جزء من الفيديو وتطلب من الطالب رسم الجزء المفقود. هذا يجبره على النظر إلى البكسلات الخام. سيصبح بارعاً جداً في رسم الألوان والأشكال الدقيقة. ولكن، غالباً ما يصبح "كسولاً". فبدلاً من فهم فيزياء المشهد، يقوم فقط بالتخمين: "أوه، السماء عادة ما تكون زرقاء، لذا سأرسم لوناً أزرق". إنه يفتقد إلى المنطق الأعمق لكيفية تحرك الأشياء والتفاعل فيما بينها.
الفجوة: "قارئ الترجمة" يعرف الكلمات ولكن لا يعرف الفيزياء. و"رسام البكسلات" يعرف الألوان ولكن لا يعرف المعنى. كنا بحاجة إلى طالب يفهم كلاهما.
الحل: "المهندس، والمتنبئ، والبناء"
أدرك المؤلفون أن الطريقة القديمة لبناء هذه الأدمغة الاصطناعية كانت فوضوية للغاية. لذا قاموا بتقسيم العملية إلى ثلاثة أدوار متميزة، مثل طاقم بناء:
- المهندس (المُشفّر - Encoder): ينظر إلى الفيديو ويفهم الصورة الكبيرة.
- المتنبئ (نموذج العالم): هذا هو النجم. يحاول تخمين كيف يجب أن تبدو الأجزاء المفقودة من الفيديو بناءً على قوانين الفيزياء والمنطق.
- البناء (المفكك - Decoder): يأخذ تخمين المتنبئ ويحاول تحويله مرة أخرى إلى إطار فيديو حقيقي.
سحر InternVideo-Next يكمن في كيفية تدريب هذا الفريق في مرحلتين محددتين.
المرحلة الأولى: تعلم "مفردات" الواقع
في المرحلة الأولى، أرادوا من المتنبئ أن يفهم كلاً من الأفكار الكبيرة (الدلالات) والتفاصيل الصغيرة (البكسلات).
- الطريقة القديمة: استخدموا "بناءً" بسيطاً (مفكك خطي) أجبر المتنبئ على أن يكون بسيطاً جداً. كان الأمر يشبه طلب رسم مخطط هندسي من مهندس عبقري باستخدام رسم كرتوني بسيط فقط؛ لم يكن بإمكانه التقاط التفاصيل المعقدة.
- الطريقة الجديدة (مفكك الانتشار - Diffusion Decoder): استبدلوا البناء البسيط بـ مفكك انتشار. فكر في هذا كفنان ماهر يمكنه أخذ مسودة أولية وتكريرها ببطء لتصبح لوحة واقعية، حيث يضيف الضجيج ثم يزيله للعثور على الصورة المثالية.
- السر الخفي: منحوا المتنبئ أيضاً "ورقة غش" من نموذج صور فائق الذكاء (SigLIP). أخبرت هذه الورقة المتنبئ: "مهلاً، هذا كلب وليس قطة"، مما ضمن تعلم الذكاء الاصطنيዎቹ معنى الأشياء مع استمرار تعلم كيفية رسم الفراء والذيل.
النتيجة: أصبح لدى المتنبئ الآن "مساحة كامنة" (خريطة ذهنية) مليئة بالمعاني الغنية والتفاصيل الحادة.
المرحلة الثانية: تعلم "فيزياء" العالم
الآن بعد أن امتلك المتنبئ خريطة ذهنية رائعة، فإن المرحلة الثانية تتعلق بتعلم كيفية تحرك العالم.
- اللعبة: يقومون بإخفاء أجزاء كبيرة من الفيديو (مثل ثانية كاملة من الحركة) ويطلبون من المتنبئ تخمين ما حدث في تلك الفجوة.
- الحيلة: يقومون بتجميد "المعلم" (النموذج من المرحلة الأولى) بحيث لا يتغير. وعلى "الطالب" أن يتنبأ بإجابة المعلم.
- لماذا تنجح هذه الطريقة: لأن إجابات "المعلم" دقيقة ومعبرة جداً (بفضل المرحلة الأولى)، لا يستطيع "الطالب" الغش. لا يمكنه مجرد تخمين "سماء زرقاء" أو "خلفية ثابتة". يجب عليه حقاً فهم السببية (إذا دفعت هذا الكوب، فسوف يسقط) والهندسة ثلاثية الأبعاد (تلك السيارة تبتعد، لذا تصبح أصغر حجماً).
النتائج: "طالب خارق"
عندما اختبروا هذا النموذج الجديد، كان الأمر بمثابة تغيير لقواعد اللعبة:
- يعرف القصة: هو بارع في التعرف على الأفعال (مثل "شخص يرقص").
- يعرف الفيزياء: هو جيد بشكل مدهش في تخمين العمق (مدى بعد الأشياء) وتتبع حركة الأشياء في فضاء ثلاثي الأبعاد، رغم أنه لم يُدرس ذلك صراحة.
- إنه فعال: تعلم كل هذا باستخدام فيديوهات عامة غير مصنفة فقط. لم يكن بحاجة إلى تعليقات مكتوبة من البشر.
الصورة الكبيرة
فكر في InternVideo-Next كأول ذكاء اصطناعي لم يكتفِ فقط بحفظ نص أو مجرد نسخ ولصق البكسلات. لقد شاهد العالم بالفعل، وفهم قواعد الفيزياء والسبب والنتيجة، وبنى "نموذج عالم" داخل دماغه.
هذه خطوة ضخمة نحو إنشاء ذكاء اصطناعي يمكنه حقاً فهم عالمنا المادي، وهو أمر ضروري لأشياء مثل السيارات ذاتية القيادة، والروبوتات التي يمكنها مساعدتنا في منازلنا، وذكاء اصطناعي مستقبلي يمكنه إجراء محادثات عميقة حول ما يراه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.