Mage-VL: An Efficient Codec-Native Streaming Multimodal Foundation Model
يُعد Mage-VL نموذجاً تأسيسياً للبث المباشر، كفؤاً ومبنياً على نظام ترميز (codec-native)، يستفيد من أداة ترميز مدركة للحركة وبنية ذات نظام مزدوج لتحقيق فهم متعدد الوسائط في الوقت الفعلي مع تقليل استهلاك الرموز (tokens) بشكل كبير وتسريع الاستدلال، مع مضاهاة أو تجاوز النماذج الأكبر والأحدث في مهام الاستدلال الثابت والديناميكي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد مباراة كرة قدم مباشرة على هاتفك. الكاميرا تتحرك عبر الملعب، والجمهور يهتف، واللاعبون يركضون ذهابًا وإيابًا. الآن، تخيل روبوتًا فائق الذكاء يحاول فهم تلك اللعبة في الوقت الفعلي. معظم الروبوتات الحالية تشبه طالبًا يصر على قراءة كل كلمة في كتاب مدرسي مكون من 500 صفحة، حتى الأجزاء التي تقول فقط "العشب أخضر" للمرة المائة. إنهم يعلقون في الأجزاء المملة والثابتة من الفيديو، ويهدرون كل طاقة عقولهم ووقتهم، بينما يفوتهم تسجيل الهدف الفعلي. هذا نوع من المفارقة: فهم عباقرة في حل الألغاز المعقدة ولكنهم سيئون جدًا في مجرد مشاهدة مشهد متحرك بكفاءة.
هذه الورقة البحثية، التي كتبها فريق Microsoft Mage، تقدم نوعًا جديدًا من أدمغة الروبوتات يسمى Mage-VL. لقد صُمم لكسر هذه القاعدة من خلال التصرف مثل العين البشرية. فبدلاً من التحديق في كل إطار من إطارات الفيديو، يركز Mage-VL فقط على الأجزاء التي تتغير أو تتحرك بالفعل. فكر في الأمر كحارس أمن يراقب فقط مستشعرات الحركة؛ إذا لم يتحرك شيء، فهو لا يضيع طاقته في مراقبة الممر الفارغ. ومن خلال القيام بذلك، يمكن للروبوت فهم الفيديوهات بشكل أسرع وبقدر أقل من قوة الحوسبة، مما يسمح له بالدردشة معك حول مباراة مباشرة أثناء حدوثها، بدلاً من الانتظار حتى تنتهي المباراة لتقديم ملخص لها.
سحر المشاهدة "الأصلية للترميز" (Codec-Native)
السر وراء Mage-VL هو ما يسميه المؤلفون النهج "الأصلي للترميز" (codec-native). في عالم بث الفيديو (مثل عندما تشاهد Netflix أو YouTube)، تستخدم أجهزة الكمبيوتر خدعة تسمى "الضغط" لتوفير المساحة. فهي لا ترسل كل إطار من الفيديو؛ بل ترسل صورة كاملة ("إطار I") ثم ترسل فقط الأجزاء الصغيرة التي تتغير في الثواني القليلة التالية ("إطارات P"). هذه هي الطريقة التي تجعل هاتفك يبث فيلمًا دون استهلاك كل بياناتك.
لقد بُني Mage-VL ليتحدث هذه اللغة بشكل أصلي. فبدلاً من إجبار الفيديو على التحول إلى شبكة جامدة من الصور الثابتة، فإنه يستخدم نفس إشارات الحركة التي يستخدمها ضغط الفيديو لتحديد ما هو مهم. إذا كان اللاعب يركض، فإن الروبوت يركز بصره على اللاعب. وإذا كان الجمهور في الخلفية واقفًا بلا حراك، فإن الرؤية تتجاهله تمامًا. هذا يشبه المصور الذي يلتقط صورة فقط عندما يحدث شيء مثير للاهتمام، بدلاً من التقاط 30 صورة في الثانية لطبيعة صامتة.
النتيجة هي دفعة هائلة في الكفاءة. تُظهر الورقة البحثية أن Mage-VL يمكنه تقليل عدد "الرموز البصرية" (القطع الصغيرة من الصورة التي يتعين على الكمبيوتر معالجتها) بنسبة تزيد عن 75%. إنه يشبه قراءة كتاب حيث يتعين عليك فقط قراءة الفصول المثيرة، وتخطي الحشو الممل، ومع ذلك تفهم القصة بأكملها بشكل مثالي.
عقل بـ نظامين
للتعامل مع فيديو البث هذا، يستخدم Mage-VL دماغًا ذكيًا يتكون من جزأين مستوحى من طريقة تفكير البشر.
- النظام 1 (المنعكس): هذا هو الحارس البواب السريع والخفيف الوزن. يراقب تدفق الفيديو ويسأل: "هل يحدث شيء مثير للاهتمام الآن؟" إذا كانت الإجابة لا، فإنه يظل صامتًا. وإذا كانت الإجابة نعم (مثل تسجيل هدف)، فإنه يوقظ الجزء الثاني من الدماغ فورًا.
- النظام 2 (المستنتج): هذا هو الجزء المخصص للتفكير العميق والجهد الشاق. بمجرد أن يُفتح الباب، يغوص بعمق ليفهم بالضبط ما حدث ويقوم بتوليد استجابة.
هذا يعني أن الروبوت لا يضيع الوقت في التفكير في الأجزاء المملة من الفيديو. يظل هادئًا أثناء عرض منتصف المباراة أو عندما تتحرك الكاميرا عبر الملعب فحسب، ثم يتدخل للتعليق في اللحظة التي يركل فيها اللاعب الكرة.
ما وجدوه (وما لم يجدوه)
قام الفريق بتدريب هذا النموذج من الصفر باستخدام حوالي 560 مليون صورة غير مصنفة و 100 مليون إطار فيديو غير مصنف. قد يبدو هذا كثيرًا، ولكن مقارنة بالنماذج الضخمة الأخرى التي تحتاج إلى مليارات من أزواج الصور والنصوص، فهو في الواقع صغير جدًا. ومن المثير للدهشة، وجدوا أنك لست بحاجة إلى مجموعة بيانات ضخمة على نطاق الويب لبناء دماغ بصري رائع. لقد سمحت طريقة التدريب المخصصة لـ Mage-VL بالتفوق على النماذج الأكبر بكثير في مهام فهم الفيديو.
إليك بعض الاكتشافات الرئيسية التي توصلوا إليها:
- السرعة: يتميز Mage-VL بسرعة مذهلة. يمكنه معالجة الفيديو بسرعة تصل إلى 3.5 ضعف الوقت الفعلي مقارنة بالنماذج القياسية، مع الاستمرار في تقديم الإجابات الصحيحة.
- عدم الحاجة لتدريب "الفيديو الطويل": اكتشفوا أنهم لم يحتاجوا إلى تدريب النموذج خصيصًا على فيديوهات طويلة لجعله جيدًا في الإجابة على الأسئلة المتعلقة بها. من خلال تدريبه على أوصاف تفصيلية لمقاطع قصيرة واستخدام طريقة "الترميز" الذكية، تعلم النموذج فهم الفيديوهات الطويلة من تلقاء نفسه.
- الحركة تساعد في الاستنتاج المكاني: وجدوا أن تدريب النموذج على الفيديوهات المتحركة جعل فهمه للأشكال ثلاثية الأبعاد الثابتة والعلاقات المكانية أفضل. يبدو أن رؤية كيفية تحرك الأشياء تساعد الروبوت على فهم كيفية ملاءمتها لبعضها البعض في الفضاء.
- الذكاء الاصطناعي يساعد الذكاء الاصطناعي: استخدم الفريق نظام ذكاء اصطناعي للمساعدة في كتابة بيانات تدريب أفضل. فقد جعلوا ذكاءً اصطناعيًا يفحص التعليقات التي يولدها، ويصلح الأخطاء، ويحسن المطالبات، مما خلق حلقة جعلت البيانات ذات جودة أعلى بكثير.
الخلاصة
يمثل Mage-VL خطوة مهمة للأمام في جعل الذكاء الاصطناعي قادرًا على "مشاهدة" و"الاستماع" إلى العالم في الوقت الفعلي. إنه يثبت أنك لست بحاجة إلى استخدام القوة الغاشمة للمرور عبر كل بكسل في الفيديو لفهمه. من خلال كونك ذكيًا بشأن ما تنظر إليه — محاكيًا الطريقة التي يعمل بها ضغط الفيديو وكيفية تركيز العين البشرية على الحركة — يصبح النموذج أسرع، وأرخص في التشغيل، وأكثر استجابة.
بينما تشير الورقة البحثية إلى أن النموذج لا يزال أمامه عمل للقيام به في مهام الاستنتاج المعقدة والمسائل الرياضية، إلا أنه نجح في إثبات أن نموذجًا أصغر وأكثر كفاءة يمكنه التفوق على العمالقة الأكبر والأبطأ عندما يتعلق الأمر بفهم العالم الديناميكي المتحرك من حولنا. إنها حركة بعيدًا عن "قراءة كل شيء" نحو "مشاهدة ما يهم".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.