GRIT: Teaching MLLMs to Think with Images

تخيل أنك تعلم روبوتاً ذكياً جداً كيفية حل لغز ما. عادةً، عندما تسأل هذا الروبوت سؤالاً حول صورة، فإنه يحاول الإجابة عن طريق التحدث فقط. قد يقول: "أنا أرى طائراً"، لكنه لا "يشير" فعلياً إلى الطائر. الأمر يشبه محاولة وصف موقع في غرفة مظلمة باستخدام الكلمات فقط، على أمل أن تخمن أين تنظر.

تقدم ورقة بحثية بعنوان "GRIT: تعليم النماذج اللغوية الكبيرة متعددة الوسائط التفكير بالصور" طريقة جديدة لتعليم هذه الروبوتات (التي تسمى النماذج اللغوية الكبيرة متعددة الوسائط، أو MLLMs) كيف تفكر بشكل مختلف. إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: المفكر "الأعمى"

النماذج الحالية للذكاء الاصطناعي بارعة في التحدث، ولكن عندما تنظر إلى صورة، فإنها غالباً ما "تفكر" بنصوص بحتة. قد تخمن الإجابة الصحيحة، لكنها لا تستطيع أن تريك أين نظرت لتجدها. الأمر يشبه محققاً يحل جريمة بتخمين اسم الجاني دون أن يظهر أبداً الأدلة أو يشير إلى بصمة الإصبع. وهذا يجعل استنتاجها صعب التصديق وأحيناً غير دقيق.

2. الحل: عادة "الإشارة" (GRIT)

ابتكر المؤلفون طريقة تسمى GRIT (الاستدلال المرتكز على الصور والنصوص). بدلاً من مجرد التحدث، هم يعلمون الذكاء الاصطناعي أن يشير أثناء تفكيره.

• التشبيه: تخيل أن الذكاء الاصطناعي هو معلم يشرح خريطة لطالب. بدلاً من الاكتفاء بالقول: "الكنز موجود هناك"، يقوم المعلم برسم مربع حول البقعة ويقول: "أنا أنظر هنا [يرسم مربعاً]، وأرى صخرة، لذا يجب أن يكون الكنز بجانبها".
• كيف يعمل: يقوم الذككاء الاصطناعي بإنشاء سلسلة من الأفكار التي تمزج بين الجمل العادية وصناديق الإحاطة (إحداثيات ترسم مستطيلاً حول جزء معين من الصورة). إنه يشير حرفياً إلى أجزاء الصورة التي يستخدمها لحل المشكلة.

3. السر الخفي: التعلم عن طريق التجربة والخطأ (GRPO-GR)

عادةً، لتعليم الذكاء الاصطناعي القيام بشيء بهذا التعقيد، تحتاج إلى آلاف الأمثلة حيث يكتب البشر كل خطوة بدقة ويرسمون كل صندوق. هذا يشبه توظيف فريق من المعلمين لكتابة كتاب مدرسي للروبوت.

تزعم الورقة البحثية تحقيق طفرة: GRIT لا يحتاج تقرياً إلى أمثلة.

• التشبيه: بدلاً من قراءة كتاب مدرسي، يتعلم الذكاء الاصطناعي مثل طفل يلعب لعبة فيديو. تعطيه صورة وسؤالاً. يحاول الإجابة. إذا حصل على الإجابة النهائية الصحيحة واتبع القواعد (مثل رسم صندوق)، فإنه يحصل على "درجة عالية" (مكافأة). إذا فشل، يحصل على درجة منخفضة.
• السحر: استخدم الباحثون 20 مثالاً فقط (مثل 20 سؤالاً تدريبياً) لتدريب الذكاء الاصطناعي. استنتج الذكاء الاصطناعي النمط: "للحصول على درجة عالية، أحتاج إلى الإشارة إلى الصورة أثناء التحدث". هم يسمون هذه العملية GRPO-GR، وهي طريقة تدريب خاصة تكافئ الذكاء الاصطناعي لأنه أصاب في الإجابة واستخدم أيضاً تنسيق "الإشارة" الصحيح.

4. النتائج: أذكى وأكثر صدقاً

عندما اختبروا هذه الروبوتات المدربة:

• أصبحوا أفضل في الرياضيات والعد: إذا سألتهم "كم بيضة في العش؟"، لم يخمن الروبوت رقماً فحسب. بل أشار إلى البيض، وعدّهم واحداً تلو الآخر في "أفكاره"، ثم أعطى الإجابة.
• وحدوا مهارتين: قبل ذلك، كان الذكاء الاصطناعي جيداً في التحدث (الاستدلال) أو جيداً في الإشارة (الترسخ)، ولكن ليس كلاهما في نفس الوقت. علمتهم GRIT القيام بكليهما في آن واحد.
• أصبحوا أكثر موثوقية: لأن الذكاء الاصطناعي مجبر على الإشارة إلى الدليل، فمن الصبع أن يختلق الأكاذيب. إذا أشار إلى بقعة وقال "أرى قطة"، ولكن لا توجد قطة هناك، فإن النظام سيعرف أن هناك خطأ ما.

5. ما وجدوه (وما لم يجدوه)

• كفاءة البيانات: أثبتوا أنك لا تحتاج إلى مكتبة ضخمة من البيانات. 20 مثالاً فقط كانت كافية لتعليم الروبوت عادة "الإشارة" الجديدة هذه.
• الانتباه: عندما يشير الذكاء الاصطناعي إلى بقعة (يرسم صندوقاً)، فإنه يولي انتباهاً أكبر لذلك الجزء من الصورة في فكرته التالية. الأمر يشبه أن فعل الإشارة يساعد الروبوت على تركيز عينيه.
• القيود: تشير الورقة البحثية إلى أنه بينما يساعد إضافة المزيد من البيانات، إلا أن هناك نقطة يتضاءل فيها العائد. لكي يصبح الروبوت أفضل في الأشياء التي لم يسبق له رؤيتها، يحتاج إلى المزيد من التنوع في البيانات، وليس مجرد المزيد من نفس النوع.

باختุปد:
GRIT هي طريقة تدريب جديدة تعلم روبوتات الذكاء الاصطناعي كيف "تفكر بأعينها" من خلال إجبارها على الإشارة إلى الصورة أثناء التحدث. إنها قفزة هائلة لأنها تعلم هذه المهارة المعقدة بأقل قدر من البيانات (20 مثالاً فقط) وتجعل استدلال الذكاء الاصطناعي شفافاً وموثوقاً.