PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle

تخيل أنك تعلم روبوتاً كيف يرى العالم. لفترة طويلة، كانت هذه الروبوتات تشبه السياح الذين يحملون عدسة واسعة الزاوية للغاية: كان بإمكانها أن تقول لك، "هناك كلب في الصورة،" أو "الجو مشمس،" لكنها لم تكن تستطيع الإشارة بإصبعها إلى الكلب المحدد أو شرح لماذا كان هذا الكلب يركض. لقد رأت المشهد بأكمله لكنها فاتتها التفاصيل. مؤخراً، بنى العلماء روبوتات أكثر ذكاءً تسمى "نماذج اللغات الكبيرة متعددة الوسائط على مستوى البكسل" (Pixel-Level Multimodal Large Language Models). فكر في هذه النماذج كأنها روبوتات لا يمكنها التحدث عن صورة فحسب، بل يمكنها أيضاً رسم تحديد دقيق حول أشياء معينة، مثل "كلب" أو "سيارة حمراء"، ومن ثم وصف ذلك الشيء المحدد بالتفصيل. الأمر يشبه منح الروبوت قلم تحديد سحري وكتاب مفردات في آن واحد. ولكن هناك عقبة: تعليم الروبوت القيام بالأمرين معاً بشكل مثالي هو أمر صعب للغاية. إنه يشبه محاولة تعليم طالب أن يكون رساماً عالمياً وناقداً فنياً عالمياً في نفس الوقت؛ فغالباً ما يؤدي التركيز المفرط على إحدى المهارات إلى جعل المهارة الأخرى أسوأ. علاوة على ذلك، لا توجد أمثلة كافية من "الكتب المدرسية" حيث تجتمع الصورة، والتحديد المثالي، والوصف المثالي معاً في حزمة واحدة مرتبة. في معظم الأحيان، لدينا صور مع تحديدات ولكن بدون أوصاف، أو أوصاف بدون تحديدات.

هنا يأتي دور طريقة جديدة تسمى PixVL لإنقاذ الموقف. أدرك الباحثون وراء PixVL أنه بدلاً من الحاجة إلى المزيد من الكتب المدرسية، يمكن للروبوت أن يتعلم من خلال لعب لعبة "التحقق الذاتي". لقد أنشأوا نظاماً يحاول فيه الروبوت وصف جسم تم حجبه (masked-out)، ثم يحاول فوراً استخدام ذلك الوصف للعثور على الجسم مرة أخرى. إذا استطاع الروبوت العث_ور على نفس الجسم الذي وصفه للتو، فإنه يعرف أنه قام بعمل جيد. ومع ذلك، اكتشف الفريق مشكلة مخادعة: مج-رد كون الروبوت يرسم شكلاً يبدو مشابهاً لا يعني أن الوصف كان ذكياً حقاً. قد يستخدم الروبوت طريقاً مختصراً بالقول: "الشيء الموجود في الزاوية العليا اليسرى،" وهو ما ينجح إذا لم تتغير الصورة، ولكنه يفشل إذا تحرك الجسم. ولإصلاح ذلك، يعمل PixVL كمعلم صارم لا يكتفي بالتحقق مما إذا كان الشكل صحيحاً فحسب، بل يسأل: "هل يمكنك اختيار هذا الكلب المحدد من بين خمسة كلاب أخرى مشابهة جداً له؟" إذا لم يستطع الروبوت تمييز الهدف عن "المُربكين" (confusers) الخاصين به، فإنه يحصل على صفر من النقاط. ومن خلال استخدام اختبار "الاختيار من بين مجموعة" الذكي هذا والتحقق من عمل الروبوت من زوايا مختلفة (مثل النظر إلى إطار فيديو بعد بضع ثوانٍ)، يعلم PixVL النموذج أن يكون رساماً أفضل وناقداً أفضل في آن واحد، وكل ذلك دون الحاجة إلى أي تسميات جديدة مكتوبة بواسطة البشر.

المشكلة: "السيف ذو الحدين" للتعلم

تخيل أنك تدرب روبوتاً على القيام بمهمتين في وقت واحد: تجزئة المنطقة (رسم تحديد مثالي حول جسم ما) وفهم المنطقة (كتابة جملة تصف ذلك الجسم). في الماضي، حاول الباحثون تعليم هاتين المهارتين معاً في نموذج واحد كبير. لكنهم اصطدموا بحائط مسدود. اتضح أن هاتين المهمتين غالباً ما تتصارعان.

فكر في الأمر كطالب يحاول تعلم التفاضل والتكامل والشعر في نفس الوقت. إذا أعطى المعلم واجباً منزلياً كبيراً في التفاضل والتكامل، فقد يصبح الطالب أفضل في الرياضيات ولكنه قد ينسى كيفية كتابة قصائد جيدة. تُظهر الورقة البحثية أنه عندما أزالوا بيانات التدريب الخاصة بـ "الشعر"، أصبح "رياضيات" الروبوت (التجزئة) أفضل. وعندما أزالوا بيانات "الرياضيات"، أصبح "شعر" الروبوت (الفهم) أفضل. لقد كانا يتنافسان على نفس القدر من طاقة الدماغ، وكان الروبوت يعلق في المنتصف، فلا يتقن أياً منهما بشكل مثالي.

وما يجعل الأمر أسوأ هو النقص في بيانات التدريب "المثالية". لدينا ملايين الصور مع التحديدات (الأقنعة/masks)، ولكن القليل جداً منها يأتي مع الجمل عالية الجودة اللازمة لوصفها. الأمر يشبه امتلاك ملايين من كتب التلوين الفارغة مع التحديدات، ولكن بدون تعليمات حول الألوان التي يجب استخدامها أو ماذا تمثل الصورة.

الحل: حلقة التحقق الذاتي

ابتكر فريق PixVL طريقة ذكية لاستخدام ملايين "كتب التلوين الفارغة" (الصور ذات التحديدات ولكن بدون نص) لتعليم الروبوت. لقد بنوا دورة اتساق القناع والنص (Mask–Text Consistency Cycle).

إليك كيفية عمل الدورة، خطوة بخوة:

1. مرحلة الوصف: ينظر الروبوت إلى صورة تم حجب جسم معين فيها (مثل كلب) ويحاول كتابة وصف له.
2. مرحلة إعادة البناء: يأخذ الروبوت ذلك الوصف ثم يحاول العثور على الجسم مرة أخرى في الصورة، ورسم تحديد جديد بناءً فقط على الكلمات التي كتبها للتو.
3. التحقق: إذا تطابق التحديد الجديد مع القناع الأصلي، يحصل الروبوت على مكافأة.

في البداية، اعتقد الباحثون أن هذه الحلقة البسيطة ستكون كافية. ظنوا: "إذا استطاع الروبوت رسم الشكل مرة أخرى، فلا بد أن يكون الوصف جيداً". لكنهم سرعان ما أدركوا أن هذا كان فخاً.

الفخ: لماذا "الشكل" ليس كافياً

تجادل الورقة البحثية بأن مجرد التحقق مما إذا كانت الأشكال تتطابق (باستخدام مقياس يسمى IoU، أو التقاطع فوق الاتحاد) هو طريقة سيئة لتقييم جودة الوصف.

تخما روبوتاً ينظر إلى صورة بها كلبان من نوع "جولدن ريتريفر" متطابقان.

• السيناريو أ: يكتب الروبوت، "الكلب على اليسار." ويرسم الكلب الأيسر. الأشكال تتطابق تماماً. النتيجة: 100%.
• السيناريو ب: يكتب الروبوت، "الكلب على اليمين." ويرسم الكلب الأيمن. الأشكال تتطابق تماماً. النتيجة: 100%.

ولكن مهلاً! إذا كان من المفترض أن يصف الروبوت الكلب الأيسر، فإن السيناريو (ب) هو فشل، رغم أن الشكل مثالي. لقد استخدم الروبوت طريقاً مختصراً بقوله "اليسار" أو "اليمين" بدلاً من تعلم كيف يبدو الكلب فعلياً. إذا تغيرت الصورة قليلاً، فسيفشل الروبوت.

تستبعد الورقة البحثية صراحةً فكرة أن درجة مطابقة الشكل العالية تعني وصفاً جيداً. فقد وجدوا أن الوصف يمكن أن يكون غامضاً (مثل "الكلاب في الصورة") ومع ذلك يحصل على درجة شكل جيدة، أو قد يكون محدداً جداً ولكنه يفشل لأنه اختار الكلب المشابه الخطأ.

الإصلاح: اختبار "المُربكين" (Confuser Test)

لإيقاف الروبوت عن استخدام الطرق المختصرة، قدم PixVL نظام التحقق الدلالي المدرك للمُربكين (Confuser-Aware Semantic Verification).

بدلاً من مجرد السؤال، "هل رسمت الشكل بشكل صحيح؟"، يسأل النظام: "هل يمكنك اختيار الكلب الصحيح من بين حشد من الشبيه به؟"

إليك الإعداد:

• يُعرض على الروبوت الجسم المستهدف (الـ "بطل").
• يقوم النظام بتوليد مجموعة من "المُربكين" (confusers)—وهي أجسام أخرى تبدو مشابهة جداً أو موجودة في نفس الصورة (مثل كلب أكبر، أو كلب أصغر، أو كلب بجانبه مباشرة).
• يجب على الروبوت اختيار "البطل" الصحيح بناءً على وصفه.

إذا اختار الروبوت الصحيح، فإنه يحصل على مكافأة بناءً على مدى ثقته. إذا اختار الخطأ، فإنه يحصل على صفر من المكافآت. هذا يجبر الروبوت على كتابة أوصاف دقيقة بما يكفي لتمييز الأشياء المتشابهة، وليس مجرد تخمينات غامضة.

خدعة "الرؤية المتعددة": كسر الطرق المختصرة

كان هناك مشكلة واحدة أخرى. حتى مع اختبار "المُربكين"، قد يظل الروبوت يستخدم طرقاً مختصرة عبر حفظ موقع الجسم (مثلاً: "إنه دائماً في الزاوية العليا اليسرى").

لإصلاح ذلك، يستخدم PixVL التحقق عبر الرؤى المختلفة (Cross-View Verification).

• إذا كانت البيانات من فيديو، يصف الروبوت الجسم في إطار واحد (الإطار أ).
• ثم، عليه العثور على نفس الجسم في إطار لاحق (الإطار ب)، حيث تحرك الجسم، أو تغير حجمه، أو تغيرت الخلفية.
• إذا قال الروبوت فقط "أعلى اليسار"، فسيفشل في الإطار (ب) لأن الجسم قد تحرك.
• يجب عليه وصف سمات الجسم الفعلية (مثل "الكلب ذو الطوق الأحمر") لكي ينجح.

هذا يضمن أن الروبوت يتعلم الهوية الحقيقية للجسم، وليس مجرد موقعه.

الغراء السحري: ربط المهمتين معاً

القطعة الأخيرة من اللغز هي كيفية دمج هذين الاتجاهين (الوصف والرسم) بحيث يساعدان بعضهما البعض بدلاً من التنافس.

يستخدمون استراتيجية التعلم ثنائي الاتجاه المقترن بالجودة (Quality-Coupled Bidirectional Learning):

1. يولد الروبوت أوصافاً مختلفة لنفس الجسم.
2. يختبر جميعها باستخدام فحوصات "المُربكين" و"الرؤى المختلفة".
3. يختار أفضل وصف واحد (الذي سجل أعلى مكافأة).
4. يتم بعد ذلك استخدام هذا الوصف الأفضل لتدريب جزء "الرسم" في الروبوت.
5. والأهم من ذلك، أن جزء "الرسم" لا يحصل إلا على مكافأة قوية إذا كان الوصف الذي استند إليه عالي الجودة. إذا كان الوصف سيئاً، فإن تدريب الرسم يكون ضعيفاً أو يتم تجاهله.

هذا يحول المهمتين إلى فريق واحد. جزء "الفهم" يولد أفضل التعليمات الممكنة، وجزء "التجزئة" يتبع تلك التعليمات. إذا كانت التعليمات سيئة، فإن الفريق يعرف أن عليه المحاولة مرة أخرى.

النتائج: انتصار لكلا الطرفين

اختبر الباحثون هذه الطريقة على نموذج يسمى SAM-Tok (نموذج بـ 4 مليارات بارامتر). لقد قاموا بتدريبه على 250,000 صورة تحتوي على تحديدات ولكن بدون أوصاف نصية، باستخدام دورة PixVL.

كانت النتائج مبهرة:

• التجزئة: تحسنت قدرة النموذج على رسم التحديدات بشكل ملحوظ. في اختبار يسمى GroundingSuite، ارتفعت الدرجة من 56.1 إلى 64.8. وفي مجموعات بيانات RefCOCO، شهدت أيضاً مكاسب ثابتة (على سبيل المثال، 82.7 في RefCOCO).
• الفهم: تحسنت قدرة النموذج على وصف الأجسام أيضاً، حيث سجل 69.7 في اختبار DLC-Bench.

تخلص الورقة البحثية إلى أن PixVL نجح في حل مشكلة "المهام المتصارعة". فمن خلال استخدام حلقة ذاتية التوجيه حيث يتحقق النموذج من عمله مقابل "مُربكين" صعبين ورؤى متغيرة، تعلم أن يكون رساماً أفضل وناقداً أفضل، وكل ذلك دون الحاجة إلى تسمية واحدة جديدة مكتوبة بواسطة البشر. إن الكود الخاص بهذه الطريقة متاح للآخرين لاستخدامه، مما يثبت أنه في بعض الأحيان، يكون أفضل معلم هو الطالب نفسه.