Molmo2: Open Weights and Data for Vision-Language Models with Video Understanding and Grounding
تُعد عائلة نماذج Molmo2 عائلة جديدة من النماذج اللغوية البصرية ذات الأوزان المفتوحة التي تحقق أداءً رائدًا في فهم الفيديو والتحديد الدقيق على مستوى البكسل، وذلك عبر الاستفادة من سبع مجموعات بيانات فيديو جُمعت حديثًا ووصفة تدريب مبتكرة، جرى تطويرها جميعًا دون الاعتماد على نماذج مملوكة لجهات أخرى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً فائق الذكاء يمكنه مشاهدة الفيديوهات، والنظر إلى الصور، والإجابة على الأسئلة حولها. لفترة طويلة، كانت أفضل نسخ هذا الروبوت تشبه "الوصفات السرية" المحفوظة في خزنة مغلقة من قبل شركات التكنولوجيا الكبرى. كان بإمكانك استخدامها، لكن لم يكن بإمكانك رؤية كيف صُنعت، أو مما تعلمت، أو كيف تجعلها أفضل.
Molmo2 هو عائلة جديدة من الروبوتات التي تكسر أبواب تلك الخزنات. إنه أكثر عقول الفيديو تطوراً "مفتوحة المصدر" المتاحة اليوم، مما يعني أن أي شخص يمكنه تحميله، ودراسته، والبناء عليه.
إليك التقسيم البسيط لما يجعل Molmo2 مميزاً، باستخدام تشبيهات من الحياة اليومية:
1. قوة "الإشارة" الخارقة
معظم روبوتات الفيديو تشبه أشخاصاً يمكنهم إخبارك بماذا يحدث في فيلم ما ("كلب يركض")، لكن لا يمكنهم إخبارك أين أو متى بالضبط.
- الطريقة القديمة: إذا سألت، "متى سقط الكوب عن الطاولة؟"، قد يقول الروبوت القياسي فقط، "لقد سقط في المنتصف تقريباً".
- طريقة Molmo2: Molmo2 يشبه محققاً يحمل مؤشر ليزر. يمكنه القول، "سقط الكوب في هذه الثانية تماماً (0:45)، وإليك البكسل الدقيق على الشاشة حيث استقر". بل يمكنه حتى تتبع الكوب وهو يتدحرج عبر الأرض، مع إبقاء إصبعه عليه طوال الوقت.
2. التعلم دون غش (لا "تقطير المعرفة")
العديد من الروبوتات مفتوحة المصدر اليوم تشبه الطلاب الذين يغشون عبر نسخ إجابات الواجبات المنزلية من "الطلاب الأذكياء" (الروبوتات السرية المملوكة للشركات، والتي تُسمى Proprietary). إنهم يتعلمون من خلال مراقبة ما تقوله الروبوتات السرية، مما يحد من مدى ذكائهم لأنهم مجرد مقلدين.
- نهج Molmo2: Molmo2 يشبه طالباً ذهب إلى مكتبة ضخمة وقرأ ملايين الكتب وشاهد ملايين الفيديوهات بنفسه. لم ينسخ الإجابات؛ بل تعلم المفاهيم من الصفر. هذا يجعل معرفتهم أكثر أصالة وقوة.
3. تدريب "الراوي البشري"
لتعليم الروبوت فهم الفيديو، تحتاج إلى وصف ما يحدث.
- المشكلة: كتابة الأوصاف عملية بطيئة وغالباً ما تفقد التفاصيل الصغيرة.
- حل Molmo2: قام المبتكرون بتعيين بشر للتحدث بوصفهم لمقاطع الفيديو. تخيل شخصاً يشاهد مشهداً فوضوياً ويتحدث بسرعة: "حسناً، الراكون يكتب على الكمبيوتر المحمول، ثم يسقط الكلب قلمه، ويبدأ المروحة بالدوران!"
- ولأن البشر يتحدثون أسرع مما يكتبون، فقد تضمن ذلك تفاصيل أكثر بكثير.
- بعد ذلك، استمع الروبوت إلى هذه القصص وتعلم مطابقة الكلمات مع الصور المتحركة. أدى هذا إلى إنتاج روبوت يفهم التفاصيل الدقيقة، مثل "الكلب يرتدي طوقاً أحمر"، وليس فقط "يوجد كلب".
4. تحدي "الفيلم الطويل"
معظم روبوتات الفيديو تشعر بالتعب والارتباك عند مشاهدة فيلم طويل (مثل مقطع مدته 30 دقيقة). فهي تميل إلى نسيان البداية بحلول الوقت الذي تصل فيه إلى النهاية.
- خدعة Molmo2: علم الباحثون Molmo2 طريقة خاصة لـ "تعبئة" المعلومات. تخيل محاولة وضع رواية كاملة في حقيبة صغيرة. بدلاً من مجرد حشرها في الداخل، يقوم Molmo2 بطي الصفحات بكفاءة بحيث يمكنه قراءة القصة بأكملة دون فقدان كلمة واحدة. هذا يسمح له بالتعامل مع الفيديوهات الأطول بشكل أفضل من غيره من الروبوتات المفتوحة.
5. صالة ألعاب "العد" و"التتبع"
يقدم البحث مجموعة جديدة من "أدوات الصالة الرياضية" (مجموعات البيانات) المصممة خصيصاً لتدريب عضلات الروبوت:
- العد: هل يمكنك عد عدد السيارات التي تمر بجانب سيارة أجرة صفراء؟ (Molmo2 بارع في هذا).
- التتبع: هل يمكنك تتبع راقص معين في مجموعة من 50 شخصاً يتحركون من اليسار إلى اليمين؟ (Molmo2 يمكنه فعل ذلك).
- الإشارة: هل يمكنك النقر على اللحظة الدقيقة التي تصطدم فيها الكرة بالشبكة؟ (Molmo2 يمكنه فعل ذلك).
الخلاصة
فكر في عالم الذكاء الاصطناعي الحالي كسباق. الشركات الكبرى (مثل Google وOpenAI) لديها سيارات أسرع، لكنها تقود في مضمار مغلق حيث لا يستطيع أحد غيرهم رؤية المحرك.
Molmo2 هو أفضل سيارة تم بناؤها في مرآب عام. قد لا تكون سريعة جداً مثل السيارات الخارقة السرية بعد، لكنها تتفوق على كل السيارات العامة الأخرى بفارق هائل. والأهم من ذلك، ولأن المخططات مفتوحة، يمكن للعالم أجمع الآن النظر تحت غطاء المحرك، وإصلاح المحرك، والمساعدة في بناء الجيل القادم من فهم الفيديو معاً.
باختة: Molmo2 هو روبوت لمشاهدة الفيديو يمكنه الإشارة إلى الأشياء، وعدّها، وتتبعها عبر الزمن، وكل ذلك بينما يتم بناؤه بالكامل في العلن ليتعلم منه الجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.