MolmoPoint: Better Pointing for VLMs with Grounding Tokens
تقدم الورقة البحثية MolmoPoint، وهو نموذج رؤية ولغة مبتكر يستبدل توليد الإحداثيات التقليدي القائم على النص بآلية أكثر كفاءة وبداهة باستخدام رموز تحديد خاصة لاختيار الرمونات المرئية والقطع الفرعية مباشرة، محققاً أداءً هو الأفضل في فئته في مهام التأشير على الصور وواجهات المستخدم الرسومية والفيديو.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيفية الإشارة إلى الأشياء في صورة ما.
الطريقة القديمة (إحداثيات نصية):
في السابق، إذا سألت الروبوت: "أشر إلى السيارة الحمراء"، كان عليه أن يفكر كعالم رياضيات. كان عليه أن يحسب: "حسنًا، السيارة الحمراء تقع عند البكسل 450 على محور x و320 على محور y". ثم يكتب تلك الأرقام كنص: "450، 320".
- المشكلة: هذه الطريقة بطيئة، معقدة، ومربكة. يتعين على الروبوت تعلم نظام إحداثيات معقد (مثل شبكة الخريطة) لا يتوافق دائمًا مع كيفية "رؤيته" للصورة. إذا تغير حجم الصورة، تصبح الأرقام فوضوية. الأمر يشبه محاولة وصف حبة رمل محددة على الشاطئ من خلال إعطاء خطوط الطول والعرض الخاصة بها بدلاً من مجرد الإشارة إليها بإصبعك.
الطريقة الجديدة (MolmoPoint):
قرر الباحثون وراء MolmoPoint التوقف عن مطالبة الروبوت بالقيام بالرياضيات والبدء في مطالبته بفعل ما يفعله البشر: مجرد الإشارة.
بدلاً من كتابة الأرقار، يستخدم النموذج "رموزًا سحرية" خاصة (فكر فيها كقصاصات ملاحظات رقمية) لتحديد الجزء الذي ينظر إليه بدقة.
إليك كيف يعمل الأمر، باستخدام تشبيه بسيط:
لعبة "التكبير" (Zoom-In)
تخيل أن الصورة عبارة عن أحجية صور مقطوعة (Jigsaw Puzzle) ضخمة.
- الخطوة 1: الصورة الكبيرة (
)
ينظر النموذج أولاً إلى الأحجية بأكملها ويختار جزءًا كبيرًا منها. يقول: "أنا مهتم بهذا المربع الكبير هنا". هو لا يحتاج لمعرفة الإحداثيات؛ هو فقط يلتقط قطعة الأحجية التي تمثل تلك المنطقة. - الخطوة 2: نظرة أقرب (
)
الآن، يقوم بعمل زووم (تكبير) على ذلك الجزء المحدد. يختار قطعة أصغر داخل ذلك الجزء. "حسنًا، ضمن هذا المربع الكبير، أنا أنظر إلى هذا المربع الأصغر". - الخطوة 3: التحديد الدقيق (
)
أخيرًا، يختار النقطة المحددة داخل ذلك المربع الصغير. "هنا تمامًا، على هذا البكسل المحدد".
من خلال القيام بهذه الخطوات الثلاث السريعة، ينتقل النموذج من "السيارة بأكملها" إلى "المصباح الأمامي الأيسر" وصولاً إلى "المركز الدقيق للمصباح" دون حساب رقم واحد.
لماذا يعد هذا أمرًا بالغ الأهمية؟
- إنه أسرع: كتابة "450، 320" تستهلك الكثير من قدرة معالجة الكمبيوتر (الرموز/Tokens). مجرد التقاط جزء من الصورة يتطلب جهدًا أقل بكثير. الأمر يشبه إرسال رسالة نصية تقول "انظر هناك!" بدلاً من إرسال خريطة مفصلة مع إحداثيات GPS.
- إنه أذكى: لأن النموذج يلتقط البيانات المرئية الفعلية التي "رآها" بالفعل، فإنه يفهم الكائن بشكل أفضل. إذا رأى "ضوء فرامل" في ذاكرته، يمكنه ببساه الإشارة إلى تلك الذاكرة مباشرة. ليس عليه ترجمة "ضوء فرامل" إلى "س=500، ص=200".
- يتعامل مع الفيديو والشاشات:
- الفيديو: يمكنه تتبع جسم متحرك (مثل كرة قدم) عبر تحديث "قطعة الأحجية" التي يمسك بها أثناء تشغيل الفيديو.
- الشاشات: يمكنه النقر على الأزرار في شاشة الكمبيوتر (مثل "انقر على زر 'حفظ'") بدقة أكبر بكثير لأنه ينظر إلى الزر الفعلي، وليس مجرد التخمين أين يجب أن يكون الزر بناءً على شبكة.
زر "التوقف"
هناك إضافة ذكية واحدة وهي رمز "لا مزيد من الإشارات". في الأيام الخوالي، إذا ارتبك الروبوت، فقد يستمر في الإشارة إلى أماكن عشوائية إلى الأبد، مثل الأسطوانة المكسورة. يحتوي هذا النموذج الجديد على إشارة واضحة لقول: "لقد انتهيت من الإشارة"، مما يمنعه من إحداث الفوضى.
النتائج
تظهر الورقة البحثية أن هذه الطريقة الجديدة هي ترقية هائلة:
- دقة أفضل: حققت أعلى الدرجات على الإطلاق في الاختبارات الخاصة بالإشارة إلى الأشياء في الصور والنقر على الأزرار في الشاشات.
- تتبع أفضل: هي أفضل بكثير في تتبع الأجسام المتحركة في الفيديوهات.
- الكفاءة: تتعلم بشكل أسرع وتحتاج إلى بيانات أقل لتصبح جيدة في الإشارة.
باختصار: توقف MolmoPoint عن محاولة تعليم الروبوتات أن تكون آلات حاسبة بشرية وبدأ في تعليمها كيف تكون "مؤشرات" بشرية. بدلاً من قول "اذهب إلى الإحداثيات X، Y"، فإنه ببساطة يمسك بالشيء الذي تتحدث عنه. إنها طريقة أبسط، وأسرع، وأكثر حدسية ليتفاعل الذكاء الاصطناعي مع العالم المرئي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.