ملخص تقني: ماذا تتعلم النماذج اللغوية الكبيرة متعددة الوسائط حول ما تتعلمه بشأن الاستدلال متعدد الوسائط

بيان المشكلة

عادةً ما يختزل التقييم الحالي للنماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) الأداء في درجة دقة إجمالية واحدة. هذا النهج يعامل الاستدلال ضمنيًا كقدرة موحدة، مما يحجب مصادر الخطأ المتميزة: الإدراك (استخراج المعلومات من المدخلات البصرية)، والاستدلال (العمل على المعلومات المستخرجة)، والتفاعلات الخاصة بالوسائط المتعددة (التنسيق بين الوسائط). نادرًا ما تقوم المعايكات الحالية بتفكيك هذه المكونات مع ضوابط صارمة، وغالبًا ما تعتمد على مدخلات وسائط متنوعة دون عزل مهارات محددة. وبناءً على ذلك، يظل من غير الواضح كيف تؤثر استراتيجيات التدريب المختلفة (مثل الضبط الدقيق الخاضع للإشراف SFT مقابل التعلم التعزيزي RL) على قدرات الاستدلال متعدد الوسائط المحددة.

المنهجية: MATHLENS

لمعالجة ذلك، قدم المؤلفون MATHLENS، وهو معيار محكم من مسائل الهندسة المستوحاة من الكتب المدرسية المصممة لتفكيك الأداء تشغيليًا.

• بناء البيانات: تم بناء MATHLENS على الحالة الدلالية الرمزية لـ FormalGeo-7K. يتم تعريف كل حالة مسألة $k$ بواسطة حالة دلالية كامنة $S_k$ (مجموعة من الحقائق الذرية، مثل الاستقامة أو قياسات الزوايا) وعامل استعلام $\phi_k$.
• المتغيرات المحكومة: من $S_k$، يقوم المعيار بتوليد أربعة تعليقات توضيحية متوافقة:
  1. الرسوم البيانية البصرية ($C^{img}_k$): يتم رندرتها من القيود الهندسية لاختبار الإدراك.
  2. الأوصاف النصية ($C^{txt}_k$): ترميز نصي مكافئ تمامًا لـ $S_k$، مما يسمح بتقييم الاستدلال مع تبسيط عملية الإدراك.
  3. الأسئلة متعددة الوسائط ($Q_k$): تتطلب كلا الوسائط للحل.
  4. فحوصات الإدراك ($Q^{perc}_k$): أسئلة دقيقة تستهدف حقائق ذرية محددة في $S_k$ (مثل "أي النقاط تقع على استقامة واحدة؟").
• اختبار المتانة: يتضمن المعيار تعديلات دلالية على الرسوم البيانية (مثل إعادة تسمية الملصقات، التدوير، إضافة أشكال مساعدة) التي تحافظ على الإجابة الصحيحة ولكن تغير الشكل البصري، مما يختبر الثبات الدلالي بعيدًا عن تعزيز البكسل.
• تفكيك الخطأ: تُصنف مخرجات النموذج إلى:
  • أخطاء الإدراك: الفشل في فحوصات الإدراك.
  • أخطاء الاستدلال: النجاح في الفحوصات ولكن الفشل في الاستدلال النصي فقط.
  • أخطاء الوسائط المتعددة المحددة (التكامل): النجاح في كل من مهام الإدراك والاستدلال المنفصلة، ولكن الفشل في المهمة متعددة الوسائط المدمجة.
  • المتبقيات (Residuals): فئة تلتقط حالات الفشل التي لا تفسرها مكونات الإدراك والاستدلال المقاسة.

تقيم الدراسة 13 نقطة تفتيش عبر 7 عائلات من النماذج (7-9 مليار و72 مليار معلمة)، بما في ذلك المتغيرات المدربة باستخدام التعلم التعزيزي المباشر (Direct RL)، والضبط الدقيق متعدد الوسائط (Multimodal SFT)، والضبط الدقيق النصي (Textual SFT)، ومزيج منهما.

النتائج الرئيسية

يكشف التفكيك أن استراتيجيات التدريب تسبب ملفات تعريف قدرات مختلفة بشكل منهجي تكون غير مرئية تحت الدقة الإجمالية:

1. التأثير التفاضلي لاستراتيجيات التدريب:

   • التعلم التعزيزي (RL): يعمل بشكل أساسي على تحسين الإدراك والمتانة تجاه تغير الرسوم البيانية. عند اقترانه بالضبط الدقيق النصي القوي، يحقق RL مكاسب كبيرة في الإدراك. ومع ذلك، لا يقدم RL وحده سوى تحسينات طفيفة في كلا الوسيطين.
   • الضبط الدقيق النصي (Textual SFT): رغم افتقاره للمدخلات البصرية أثناء التدريب، إلا أن الضبط الدقيق النصي يقوي الإدراك بشكل غير مباشر. ويُعزى ذلك إلى الاستدلال التأملي، حيث تسمح الاستراتيجيات المعرفية المعززة (مثل التصحيح الذاتي) للنماذج بمراجعة وتصحيح الأحكام الإدراكية الأولية.
   • مكاسب الاستدلال: تتبع تحسينات الاستدلال إلى حد كبير التحسينات الإدراكية تحت نظام RL ولا تظهر مكاسب إضافية متميزة تتجاوز هذه التحسينات المقترنة.

2. صعود المتبقيات الخاصة بالوسائط المتعددة:
   مع تحسن قدرات الإدراك والاستدلال، يزدل جزء متزايد من الأخطاء المتبقية خارج هذه المكونات المقاسة. تُصنف هذه الأخطاء كـ متبقيات متعددة الوسائط محددة (أو فشل التكامل). يشير هذا إلى أن التقدم الظاهري في الاستدلال متعدد الوسائط غالبًا ما يعكس تغيرات في التوازن بين المكونات بدلاً من التقدم الموحد.

3. تباين المتانة:

   • يعزز التعلم التعزيزي (RL) الاتساق تحت التغيرات الهيكلية للرسوم البيانية.
   • يقلل الضبط الدقيق متعدد الوسائط (Multimodal SFT) من المتانة، مما يؤدي إلى الإفراط في التخصيص (overfitting) لأنماط بصرية محددة وانخفاض حاد في الأداء على الرسوم البيانية المعدلة.

4. المكاسب الخاصة بالمهارات:
   مكاسب الإدراك غير متساوية. يفضل التدريب المهارات المدفوعة بالإشارات الهندسية المباشرة (مثل الاستقامة، الخطوط المتوازية). أما المهام التي تعتمد على العلامات الرمزية أو الارتباطات البصرية طويلة المدى (مثل قيم زوايا محددة، اكتشاف المثلثات) فتظهر مكاسب محدودة ما لم تُدمج مع الإشراف النصي.

الأهمية والادعاءات

يدعي البحث أن MATHLENS يوفر إطارًا ضروريًا لـ التقييم متعدد المحاور للاستدلال متعدد الوسائط. ومن خلال الانتقاء من الدقة القياسية، يوضح المؤلفون أن:

• التقدم الظاهري في النماذج اللغبية الكبيرة متعددة الوسائط هو غالبًا تحول في التوازن بين الإدراك والاستدلال والتكامل، وليس تعزيزًا موحدًا للقدرات.
• أهداف التدريب المختلفة (SFT مقابل RL) تشكل هذه المكونات بطرق متميزة، حيث يعد RL أمرًا بالغ الأهمية للتأسيس الإدراكي والمتانة، بينما يساعد الضبط الدقيق النصي في الإدراك من خلال الاستدلال التأملي.
• استمرار المتبقيات المحددة للوسائط المتعددة يشير إلى أن نماذج التدريب الحالية تواجه صعوبة في التنسيق عبر الوسائط، حتى عندما تتحسن المكونات الفردية.

يخلص المؤلفون إلى أن العمل المستقبلي يجب أن يعالج التنسيق عبر الوسائط والقدرة الإدراكية بشكل مباشر، مدفوعًا بالنتيجة التي مفادها أن المقاييس الإجمالية القياسية تحجب هذه القيود الحرجة. لا يدعي البحث حل هذه المشكلات، بل يوفر الأدوات التشخيصية لتحديدها.