Multimodal LLMs Do Not Compose Skills Optimally Across Modalities
تكشف هذه الورقة أن النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تعاني في تكوين المهارات بشكل أمثل عبر الوسائط المختلفة، حيث تظهر فجوات كبيرة في الأداء حتى عند استخدام استراتيجيات مثل تسلسل الأفكر (chain-of-thought) والضبط الدقيق المتخصص.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً عبقرياً يتمتع بذكاء شديد في شيئين مختلفين تماماً:
- قراءة النصوص: يمكنه حل المسائل الرياضية المعقدة والإجابة على أسئلة المعلومات العامة بمجرد القراءة.
- النظر إلى الصور: يمكنه تحديد الأشياء، وقراءة اللافتات في الصور، وعدّ العناصر في مشهد ما.
قد تظن أنه إذا طلبت من هذا المساعد أن ينظر إلى صورة لمسألة رياضية ثم يحلها، فسيكون مثالياً. فبعد كل شيء، هو بارع في القراءة، وهو بارع أيضاً في الرياضيات.
الاكتشاف الكبير للورقة البحثية هو أنه ليس كذلك.
على الرغم من أن المساعد بارع في كلتا المهارتين بشكل فردي، إلا أنه عندما تطلب منه دمج هاتين المهارتين لحل مسألة واحدة، فإنه يتعثر. الأمر يشبه طاهياً عالمياً يمكنه خبز كعكة مثالية ويمكنه أيضاً شواء شريحة لحم مثالية، ولكن إذا طلبت منه صنع "ساندوتش شريحة لحم وكعكة"، فسيصاب بالارتباك ويقدم لك فوضى محترقة.
الاختبارات الثلاثة
وضع الباحثون عدة نماذج ذكاء اصطناعي شهيرة (مثل LLaVA و Qwen و Molmo) عبر ثلاثة اختبارات بسيطة لمعرفة مدى قدرتهم على "حياكة" هذه المهارات معاً:
تحدي "صورة لاختبار رياضيات":
- المهمة: عرض صورة لسؤال رياضي مكتوب على ورقة (مثل: "ما هو ناتج 7 + 5؟").
- المهارات المطلوبة: أولاً، يجب على الذكاء الاصطناعي قراءة النص الموجود في الصورة (مثل الماسح الضوئي). ثانياً، يجب عليه إجراء العملية الحسابية.
- النتيجة: غالباً ما يخطئ الذكاء الاصطناعي في قراءة الأرقام في الصورة أو يخطئ في الحساب، رغم أنه يمكنه القيام بكليهما ببراعة إذا أُعطي النص مباشرة.
تحدي "عدّ البرتقال":
- المهمة: عرض صورة لوعاء فاكهة وسؤاله: "كم عدد حبات البرتقال الموجودة؟".
- المهارات المطلوبة: أولاً، تحديد أماكن البرتقال في الصورة. ثانياً، عدّها باستخدام الأرقام.
- النتيجة: قد يرى الذكاء الاصطناعي البرتقال ولكنه ينسى عده، أو يعدّهم ولكنه يفشل في تحديد أنهم برتقال.
تحدي "لعبة الورق":
- المهمة: عرض مجموعة من أوراق اللعب للذكاء الاصطناعي وطلب فرزها أو حساب نقاط بناءً على قواعد معقدة (مثلاً: "اجمع قيمة جميع الأوراق الحمراء").
- المهارات المطلوبة: أولاً، تحديد هوية الأوراق (هل هذه هي السبعة من نوع القلوب؟). ثانياً، تطبيق القواعد (القلوب حمراء، لذا ضاعف القيمة).
- النتيجة: غالباً ما يصيب الذكاء الاصطناعي في تحديد هوية الورقة ولكنه يخطئ في الحساب، أو العكس.
"خدعة" التسلسل (The Cascaded Hack)
لإثبات أن الذكاء الاصطناعي كان قادراً على هذه المهارات، جرب الباحثون "كود غش" يسمى الاستدلال المتسلسل (Cascaded Inference).
بدلاً من طلب كل شيء من الذكاء الاصطناعي في خطوة واحدة، أجبروه على القيام بالأمر في خطوتين منفصلتين:
- الخطوة 1: "يا ذكاء اصطناعي، فقط انظر إلى هذه الصورة وأخبرني ما هو النص المكتوب فيها". (يقوم الذكاء الاصطناعي بهذا بشكل مثالي).
- الخطوة 2: "حسناً، الآن خذ هذا النص الذي كتبته للتو وقم بحل المسألة الرياضية". (يقوم هو أيضاً بهذا بشكل مثالي).
الفجوة: عندما قارنوا بين المحاولة "الخطوة الواحدة" (المباشرة) وبين "الخطوة الثانية" (كود الغش)، كانت الطريقة ذات الخطوتين أفضل دائماً تقريباً. هذه "الفجوة" تثبت أن الذكاء الاصطناعي لا يفشل لأنه لا يستطيع القراءة أو لا يستطيع العد؛ بل يفشل لأنه لا يستطيع تنسيق المهارتين بسلاسة في عقل واحد.
لماذا يحدث هذا؟
فكر في عقل الذكاء الاصطناعي كمطبخ مزدحم.
- الفريق البصري (العيون) يرى الصورة.
- فريق النصوص (الدماغ) يعرف القواعد.
- في المحاولة "المباشرة"، يصرخ الفريق البصري بالبيانات الخام إلى فريق النصوص، لكن فريق النصوص يرتبك بسبب الضجيج أو يسيء تفسير الإشارة البصرية.
- في نهج "التسلسل"، يقوم الفريق البصري بكتابة ملاحظة نظيفة ومنظمة، ثم يسلمها لفريق النصوص. يكون فريق النصوص أكثر سعادة وأداءً أفضل.
هل يمكننا إصلاح ذلك؟
جرب الباحثون طريقتين لإصلاح "مشكلة التنسيق" هذه:
التوجيه "خطوة بخطوة" (سلسلة الأفكار - Chain-of-Thought):
أخبروا الذكاء الاصطناعي: "أولاً، انظر إلى الصورة واكتب ما تراه. ثم، استخدم ذلك لحل المشكلة".- النتيجة: لقد ساعد ذلك! أصبح الذكاء الاصطناعي أفضل في تنظيم أفكاره. لكنه لم يكن حلاً سحرياً؛ إذ لم يكن بجودة "كود الغش" ذي الخطوتين، كما كان يتطلب تعليمات محددة جداً لكل نوع جديد من المشكلات.
التدريب الخاص (الضبط الدقيق - Fine-Tuning):
أعطوا الذكاء الاصطناعي واجبات منزلية إضافية مصممة خصيصاً لممارسة دمج هذه المهارات.- النتيجة: ساعد هذا الذكاء الاصطناعي على أن يصبح أفضل في الواجبات المنزلية المحددة التي تدرب عليها. ومع ذلك، لم يحل ذلك مشكلة الأنواع الجديدة من المهام بشكل كامل. ظل الذكاء الاصطناعي يعاني ليكون متخصصاً عاماً في دمج المهارات.
الخلاصة
نماذج الذكاء الاصطناعي متعددة الوسائط هي مثل متخصصين موهوبين للغاية ولكنهم سيئون بشكل مفاجئ في العمل الجماعي. يمكنهم القراءة ويمكنهم الرؤية، لكنهم لم يتعلموا بعد كيفية دمج هذه القدرات بسلاسة.
تخلص الورقة البحثية إلى أننا بحاجة إلى معرفة لماذا يحدث هذا وابتكار طرق جديدة لتدريب هذه النماذج بحيث لا تمتلك فقط "عيوناً" و"دماغاً"، بل عقلاً واحداً موحداً يمكنه استخدام كليهما في نفس الوقت دون التعثر في قدميه. وحتى ذلك الحين، ستظل حتى أكثر نماذج الذكاء الاصطناعي ذكاءً تعاني في مهام تبدو بديهية للبشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.