Boosting Visual Instruction Tuning with Self-Supervised Guidance
تقترح هذه الورقة V-GIFT، وهي طريقة خفيفة الوزن تعزز قدرات الاستدلال البصري للنماذج اللغوية الكبيرة متعددة الوسائط من خلال دمج جزء صغير من مهام التمهيد ذاتية الإشراف المعاد صياغتها كتعليمات لغوية طبيعية في بيانات التدريب، مما يجبر النماذج على الاعتماد على الأدلة البصرية بدلاً من الأولويات اللغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدرس طالباً عبقرياً ولكنه كسول قليلاً كيف يصف العالم. تعرض عليه صورة لقطة تجلس على سجادة وتسأله: "ماذا ترى؟"
يقول الطالب، وهو بارع جداً في قراءة الكتب ولكنه لم ينظر بتمعن إلى الصور بعد: "أرى قطة". لقد أصاب في إجابته، لكنه لم ينظر بالفعل إلى الصورة. لقد خمن فقط بناءً على حقيقة أن "القطط" موضوع شائع.
هذه هي المشكلة تماماً مع النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) اليوم. هذه الأنظمة من الذكاء الاصطناعي يمكنها رؤية الصور والتحدث عنها. إنها ذكية للغاية، ولكن عندما يتعلق الأمر بالألغاز البصرية المعقدة — مثل عد عدد الأشخاص الذين يرتدون نظارات بالضبط أو معرفة الاتجاه الذي تنعطف إليه السيارة — فإنها غالباً ما تغش. فهي تعتمد على "دماغها اللغوي" (ما تعرفه من قراءة النصوص) بدلاً من "دماغها البصري" (ما تراه بالفعل في الصورة).
الورقة البحثية التي شاركتها، بعنوان "تعزيز الضبط الدقيق للتعليمات البصرية باستخدام التوجيه ذاتي الإشراف" (أو V-GIFT اختصاراً)، تقدم حلاً ذكياً ومنخفض التكلفة لهذه المشكلة.
المشكلة: "الغش اللغوي"
فكر في تدريب الذكاء الاصطناعي كأنه حصة طبخ.
- المعلم (البيانات): عادة ما يعطي الطالب صورة ووصفة (تعليمات) مثل: "صف هذا الغروب".
- الطالب (الذكاء الاصطناعي): غالباً ما يجيب: "إنه غروب جميل بسماء برتقالية"، دون تحليل الألوان المحددة في تلك الصورة فعلياً. إنه يستخدم "اختصاراً لغوياً". هو يعرف أن حالات الغروب تكون برتقالية عادةً، لذا فهو يخمن.
عندما يصبح الاختبار أصعب — مثل "كم عدد السيارات الحمراء في موقف السيارات هذا؟" — يفشل الاختصار. يخمن الذكاء الاصطناعي "ربما اثنتان" لأن هذا رقم شائع، لكنه يكون مخطئاً لأنه لم يقم بعدّ البكسلات فعلياً.
الحل: "النادي الرياضي البصري" (V-GIFT)
أدرك المؤلفون أنه لإصلاح ذلك، لا يحتاجون إلى بناء ذكاء اصطناعي أكبر أو أكثر تكلفة أو تغيير بنية دماغه. هم فقط بحاجة إلى تغيير "الواجب المنزلي".
لقد قدموا نوعاً جديداً من الواجبات المنزلية يسمى المهام البصرية ذاتية الإشراف. هذه المهتم تشبه "التمارين الرياضية" لأعين الذكاء الاصطناعي. المفتاح هو أن هذه التمارين لا يمكن حلها عن طريق التخمين أو القراءة من كتاب. يجب عليك أن تنظر إلى الصورة للحصول على الإجابة.
لقد حولوا ثلاثة ألغاز بصرية كلاسيكية إلى أسئلة بسيطة:
لغز الدوران:
- المهمة: يُعرض على الذكاء الاصطناعي صورة تم تدويرها رأساً على عقب أو جانباً.
- السؤال: "بأي اتجاه تم تدوير هذه الصورة؟"
- لماذا ينجح: لا يمكنك تخمين هذا من اللغة. إذا قال الذكاء الاصطناي "90 درجة"، فلا بد أنه نظر إلى الصورة ليرى أن الشيء أصبح جانبياً.
لغز مطابقة الألوان:
- المهمة: يرى الذكاء الاصطناعي صورة باللون الأبيض والأسود عليها بعض النقاط الملونة، وقائمة بالألوان.
- السؤال: "أي لون ينتمي إلى النقطة الموجودة على أنف الكلب؟"
- لماذا ينجح: يجب على الذكاء الاصطناعي النظر إلى مكان محدد على أنف الكلب ليعرف أنها حمراء وليست زرقاء. لا يمكنه فقط قول "الكلاب بنية اللون".
لغز "ابحث عن التوأم":
- المهمة: يرى الذكاء الاصطناعي صورتين لنفس الشيء من زوايا مختلفة.
- السؤال: "أي نقطة في الصورة الثانية تطابق هذه النقطة في الصورة الأولى؟"
- لماذا ينجح: هذا يجبر الذكاء الاصطناعي على فهم الشكل ثلاثي الأبعاد والعلاقة المكانية للشيء، وليس مجرد اسمه.
كيف فعلوا ذلك (الخدعة السحرية)
عبقرية هذه الورقة البحثية تكمن في طريقة التقديم.
- الطريقة القديمة: عادةً، لتعليم الذكاء الاصطناعي هذه الأشياء، عليك بناء معادلات رياضية معقدة خاصة (دوال الخسارة) أو إضافة مراحل تدريب إضافية. الأمر يشبه بناء صالة ألعاب رياضية كاملة بجوار المدرسة.
- طريقة V-GIFT: قاموا ببساطة بخلط هذه الألغاز في الواجب المنزلي العادي. لقد أخذوا أسئلة "صف هذه الصورة" القياسية واستبدلوا 3% إلى 10% منها بأسئلة "النادي الرياضي البصري" هذه.
الأمر يشبه لو أن معلم لغة، بدلاً من أن يطلب فقط "اكتب مقالاً عن المحيط"، طلب أحياناً "انظر إلى هذه الخريطة للمحيط وأخبرني في أي اتجاه يتدفق التيار". سيظل الطالب يتعلم كتابة المقالات، لكنه سيُجبر على النظر فعلياً إلى الخريطة.
النتائج
عندما اختبروا هذه الطريقة الجديدة:
- أصبح الذكاء الاصطناዊ أكثر ذكاءً في المهام البصرية: أصبح أفضل بكثير في العد، واكتشاف العلاقات المكانية، وفهم الهندسة.
- لم يصبح أقل ذكاءً في الأشياء الأخرى: لم يفقد قدرته على كتابة المقالات أو الإجابة على الأسئلة العامة.
- كانت رخيصة: لم يحتاجوا إلى حواسيب فائقة أو أجهزة جديدة. لقد قاموا فقط بتغيير مزيج البيانات التي يغذي بها الذكاء الاصطناعي.
الخلاصة الكبرى
تثبت الورقة البحثية أن الذكاء الاصطناعي لم يكن "أعمى" بسبب افتقاره إلى كاميرا جيدة (مشفر بصري). بل كان "أعمى" لأنه كان كسولاً. كان يعتمد على مهاراته اللغوية للغش.
من خلال حقن بعض الألغاز "البصرية فقط" في نظام غذائه التدريبي، تجبر طريقة V-GIFT الذكاء الاصطناعي على التوقف عن التخمين والبدء في النظر. إنه تذكير بسيط وأنيق بأنه في بعض الأحيان، لجعل الذكاء الاصطناعي يرى بشكل أفضل، لا تحتاج إلى ترقية دماغه؛ بل تحتاج فقط إلى إعطائه النوع الصحيح من الواجبات المنزلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.