Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

إليك ملخص تقني مفصل لورقة البحث بعنوان "نماذج اللغات الكبيرة متعددة الوسائط للغات ذات الموارد المنخفضة: دراسة حالة للغة الباسكية."

1. بيان المشكلة

حققت نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) أداءً فائقاً في اللغة الإنجليزية لمهام مثل وصف الصور، والإجابة على الأسئلة البصرية (VQA)، والتعرف الضوئي على الحروف (OCR). ومع ذلك، هناك فجوة أداء كبيرة بالنسبة للغات ذات الموارد المنخفضة (LRLs).

• ندرة البيانات: تفتقر اللغات ذات الموارد المنخفضة مثل الباسكية إلى مجموعات بيانات ضخمة ومتوافقة بين الصور والنصوص. تحتوي الباسكية على بيانات نصية أقل بنحو 1,000 ضعف من الإنجليزية في Common Crawl، ولا توجد لديها مجموعات بيانات أصلية متعددة الوسائط.
• هيمنة النماذج المملوكة: النماذج الحالية عالية الأداء هي نماذج مملوكة (مثل GPT-4o وGemini)، وهياكلها وبيانات تدريبها غامضة. أما البدائل مفتوحة الأوزان فغالباً ما يكون أداؤها ضعيفاً في اللغات ذات الموارد المنخفضة لأنها مدربة أساساً على موارد إنجليزية.
• الفجوة البحثية: من غير الواضح كيفية تدريب النماذج مفتوحة المصدر متعددة الوسائط بكفاءة للغات ذات الموارد المنخفضة. وتحديداً، لا يُعرف:
  • ما هي نسبة البيانات الأصلية متعددة الوسائط المطلوبة؟
  • هل من الضروري وجود نموذج لغوي أساسي خاص باللغة (مثل نموذج لغوي معدل للباسكية)، أم أن النموذج المرتكز على الإنجليزية يكفي؟
  • كيف تنتقل البيانات النصية فقط إلى القدرات متعددة الوسائط في بيئات الموارد المنخفضة؟

2. المنهجية

أ. إنشاء مجموعة البيانات

قام المؤلفون بإنشاء أول مجموعات بيانات مفتوحة متعددة الوسائط للغة الباسكية باستخدام الترجمة الآلية من موارد متمحورة حول الإنجليزية، مع التحقق منها بواسطة مدققين بشريين.

• بيانات التدريب:
  • المرحلة 1 (المحاذاة): ترجمة CC3M (Conceptual Captions) إلى الباسكية ($CC3MEus$)، مما نتج عنه 2.8 مليون زوج من (صورة-وصف) باللغة الباسكية.
  • المرحلة 2 (ضبط التعليمات): ترجمة Pixmo-Ask-Model-Anything ($Pixmo-AMAEus$) باستخدام نموذج لغوي كبير (Latxa-70B) للحفاظ على التماسك في الإجابات متعددة الجمل، مما نتج عنه 146 ألف زوج من التعليمات.
• مقاييس التقييم:
  • المغلقة (Close-ended): ترجمة VQAv2، وA-OKVQA، وPixMo-CapQA (بعد تصفيتها للأسئلة التي تحتمل الإجابة بنعم/لا).
  • المفتوحة (Open-ended): ترجمة WildVision (199 عينة) لتقييم جودة التوليد.
  • التحقق: تم التحقق من جميع المقاييس بواسطة 4 متحدثين أصليين للغة الباسكية، محققين توافقاً عالياً بين المدققين (0.88–0.95).

ب. بنية النموذج

تستخدم الدراسة بنية الدمج المتأخر (Late-Fusion) (مشابهة لـ LLaVA)، وتتكون من:

1. المشفر البصري: CLIP ViT-Large-Patch14-336.
2. الموصل (Connector): إسقاط خطي أحادي الطبقة لربط التضمينات البصرية بمساحة النموذج اللغوي الكبير (LLM).
3. النماذج اللغوية الأساسية (Backbone LLMs): تمت مقارنة متغيرين:
   • Llama-3.1-8B-Instruct: متمحور حول الإنجليزية.
   • Latxa-Llama-3.1-8B-Instruct: نسخة معدلة للباسكية من Llama-3.1.

ج. استراتيجية التدريب

تم تدريب النماذج باستخدام إجراء قياسي يتكون من مرحلتين:

1. محاذاة الرؤية واللغة: تجميد النموذج اللغوي وتدريب الموصل فقط على أزواج (صورة-وصف).
2. ضبط التعليمات متعدد الوسائط: ضبط دقيق لكل من الموصل والنموذج اللماوي على بيانات اتباع التعليمات.

المتغيرات التجريبية:

• مزيج البيانات: جرب المؤلفون نسباً متفاوتة من البيانات متعددة الوسائط الباسكية مقابل الإنجليزية في المرحلة الثانية (0%، 20%، 80%، 100% باسكية).
• تعزيز البيانات النصية فقط: في بعض التجارب، تمت إضافة تعليمات نصية فقط (من مجموعة بيانات Magpie) إلى مزيج التدريب لمواجهة التدهور المحتمل في الأداء في المهام النصية فقط.

3. المساهمات الرئيسية

1. إطلاق الموارد: إنشاء وإطلاق أول مجموعات بيانات تدريب وتقييم متعددة الوسائط للغة الباسكية ($CC3MEus$،$Pixmo-AMAEus$، والمقاييس المترجمة).
2. نسب البيانات المثلى: إثبات أن النسب المنخفضة من البيانات الأصلية متعددة الوسائط (حوالي 20%) كافية لتحقيق أداء قوي في مقاييس الباسكية، بشرط تدريب النموذج على مزيج يحتوي على بيانات إنجليزية.
3. استقلالية النموذج الأساسي: إثبات أن النموذج اللغوي الأساسي الخاص باللغة ليس ضرورياً. فالنموذج المتمحور حول الإنجليزية (Llama-3.1) يؤدي بشكل مماثل للنموذج المعدل للباسكية (Latxa) عند ضبطه بدقة باستخدام بيانات متعددة الوسائط مناسبة.
4. النقل عبر الوسائط: إظهار أن البيانات النصية فقط للغة الباسكية يمكن أن تعزز بشكل كبير الأداء متعدد الوسائط باللغة الباسية، حتى عندما تكون البيانات متعددة الوسائط الباسكية نادرة أو غائبة. وهذا يشير إلى آلية لنقل القدرات متعددة الوسائط من الإنجليزية إلى اللغات ذات الموارد المنخفضة عبر التعليمات النصية فقط.

4. النتائج الرئيسية

• الأداء في المقاييس المغلقة:

  • حققت النماذج المدربة ببيانات 80% باسكية / 20% إنجليزية أعلى متوسط دقة (~0.62) عبر VQAv2 وA-OKVQA وPixMo-CapQA.
  • ومن المثير للدهشة أن النماذج المدربة بـ 20% فقط من البيانات متعددة الوسائط الباسكية (و80% إنجليزية) قدمت أداءً يقارب أداء تلك المدربة بـ 100% من البيانات الباسكية في مقاييس الباسكية.
  • النسيان الكارثي: تسبب التدريب حصرياً على البيانات متعددة الوسائط الباسكية في انخفاض حاد في أداء الإنجليزية، مما يسلط الضوء على الحاجة إلى مجموعة تدريب مختلطة اللغات للحفاظ على القدرات متعددة اللغات.

• تأثير البيانات النصية فقط:

  • أدت إضافة تعليمات الباسكية النصية فقط إلى مزيج التدريب إلى تخفيف التدهور في القدرات النصية فقط (المقاسة بـ BertaQA) الذي يحدث غالباً في النماذج متعددة الوسائط.
  • والأهم من ذلك، بالنسبة للنماذج المدربة فقط على البيانات متعددة الوسائط الإنجليزية، أدت إضافة التعليمات النصية الباسكية فقط إلى تحسين أدائها متعدد الوسائط باللغة الباسكية بشكل كبير، مما يثبت النقل عبر اللغات للوسائط.

• مقارنة النماذج الأساسية (Latxa مقابل Llama):

  • المقاييس المغلقة: أظهرت النماذج الأساسية Latxa وLlama فروقاً طفيفة في الأداء.
  • المقاييس المفتوحة (WildVision): أظهر التقييم البشري تعادلاً بنسبة 54% بين النموذجين. وبينما كان لـ Latxa تفوق طفيف، إلا أن الفرق لم يكن ذا دلالة إحصائية نظراً لحجم العينة. وهذا يؤكد أن وجود نموذج أساسي متخصص للباسكية ليس شرطاً مسبقاً لبناء نموذج لغوي كبير قوي للغة الباسكية.

• التقييم:

  • أظهر التقييم الآلي باستخدام GPT-5 كحكم توافقاً متوسطاً مع المدققين البشريين (Cohen's Kappa 0.33) ولكنه مال إلى إنتاج عدد أقل من حالات "التعادل"، مما يشير إلى أن التقييم البشري يظل ضرورياً للتوليد المفتوح في اللغات ذات الموارد المنخفضة.

5. الأهمية والآثار المترتبة

• القابلية للتوسع للغات ذات الموارد المنخفضة: توفر النتائج مساراً فعالاً من حيث التكلفة لتطوير نماذج لغوية كبيرة متعددة الوسائط لمئات اللغات ذات الموارد المنخفضة التي تفتقر إلى مجموعات بيانات أصلية (صورة-نص). لا يحتاج المطورون إلى انتظار مجموعات بيانات ضخمة من الصور والنصوص الأصلية؛ بل يمكنهم الاستفادة من البيانات متعددة الوسائط الإنجليزية الموجودة مع جزء صغير من البيانات الأصلية والتعليمات النصية الأصلية فقط.
• دمقرطة النماذج اللغوية الكبيرة متعددة الوسائط: من خلال إثبات أن النماذج مفتوحة الأوزان (Llama-3.1) يمكن أن تضاهي أداء النماذج المملوكة في اللغات ذات الموارد المنخفضة دون الحاجة إلى نموذج لغوي متخصص، يعمل هذا العمل على خفض حاجز الدخول لإنشاء ذكاء اصطناعي متعدد اللغات.
• الاتجاهات المستقبلية: يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على المعرفة الثقافية متعددة الوسائط (المفقودة حالياً بسبب الاعتماد على الترجمة) واستكشاف النقل متعدد الوسائط بصفر محاولة (Zero-shot) (التدريب على النماذج متعددة الوسائط دون أي بيانات متعددة الوسائط أصلية، والاعتماد فقط على النقل النصي).

في الختام، تثبت هذه الورقة أنه يمكن بناء نماذج لغوية كبيرة مفتوحة المصدر وعالية الجودة للغات ذات الموارد المنخفضة من خلال المزج الاستراتيجي للبيانات متعددة الوسائط الإنجليزية مع الحد الأدنى من البيانات الأصلية متعددة الوسائط والتعليمات النصية الأصلية، دون الحاجة إلى نموذج لغوي مسبق التجهيز مخصص للغة.