Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تكييف نماذج الرؤية واللغة بكفاءة في التوسيم للغة البولندية باستخدام إطار عمل LLaVA."

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) أداءً فائقاً، لكنها تظل مركزة بشكل أساسي على اللغة الإنجليزية. ينبع هذا القصور من تكوين مجموعات البيانات التدريبية القياسية، مما يحد من إمكانية استخدام هذه النماذج لغير المتحدثين بالإنجليزية ويعيق تطوير الأنظمة متعددة الوسائط التي تعكس الواقع اللغوي والثقافي المتنوع.

تحديداً، تفرض اللغة البولندية تحديات فريدة لنماذج الرؤية واللغة بسبب:

• التعقيد الصرفي الغني: بما في ذلك سبع حالات إعرابية، وأنماط اتفاق معقدة، وترتيب كلمات حر.
• نقص الموارد المخصصة: على عكس النماذج اللغوية الكبيرة (LLMs) المقتصرة على النصوص فقط، لم تكن هناك نماذج رؤية ولغة بولندية عالية الجودة أو مجموعات بيانات تعليمية متعددة الوسائط متخصصة قبل هذا العمل.

يتحقق المؤلفون مما إذا كان الترجمة الآلية واسعة النطاق، مقترنة بتدخل يدوي ضئيل، يمكن أن تسرع بفعالية بناء نماذج رؤية ولغة عالية الجودة للغات ذات الموارد المحدودة مثل البولندية.

2. المنهجية

يقترح المؤلفون مسار عمل مؤتمتاً بالكامل لتكييف بنية LLaVA-NeXT للغة البولندية، بالاعتماد على الترجمة وتوليد البيانات الاصطناعية بدلاً من التوسيم اليدوي المكلف.

أ. بنية النموذج

• إطار العمل الأساسي: LLaVA-NeXT (يدعم دقات أعلى وتقسيماً ديناميكياً).
• العمود الفقري اللغوي: ثلاثة نماذج لغوية كبيرة (LLMs) أصلية بولندية ومصقولة تعليمياً (بعدد بارامترات يتراوح بين 11 إلى 12 مليار):
  • PLLuM-12B (نسختان)
  • BIELIK-11B
• برج الرؤية (Vision Tower): تم استبدال مشفر CLIP القياسي بـ SigLIP2 (SO400M/14, 384px)، الذي اختير لتفوقه في المحاذاة بين الصورة والنص متعدد اللغات وقوة إشارات تحديد المواقع النصية.
• استراتيجية التدريب: عملية مكونة من مرحلتين باستخدام LoRA (التكيف منخفض الرتبة) لكفاءة المعاملات:
  1. المرحلة الأولى (ما قبل التدريب): محاذاة مشفر الرؤية مع النموذج اللغوي باستخدام أزواج (صورة-وصف)، مع تحديث "المسقط" (projector) فقط.
  2. المرحلة الثانية (الضبط التعليمي): ضبط مشترك للمسقط ومشفر الرؤية مع تطبيق LoRA على النموذج اللغوي باستخدام مجموعة متنوعة من التعليمات متعددة الوسائط.

ب. مسار بناء البيانات

تم بناء مجموعة بيانات التدريب (حوالي 2.0 مليون عينة) باستخدام مسار عمل مؤتمت وقابل للتوسع:

1. الترجمة: تمت ترجمة مجموعات البيانات متعددة الوسائط الإنجليزية إلى البولندية باستخدام Tower+ 72B، وهو نموذج متعدد اللغات متطور.
2. تصفية الجودة: استخدم مقياس COMET (بدون مرجع) لتقييم جودة الترجمة. وتم استبعاد العينات التي انخفضت عن عتبة ديناميكية (0.4–0.8).
3. توليد البيانات الاصطناعية:
   • التعرف الضوئي على الحروف (OCR): لمعالجة قدرات القراءة، قام المؤلفون بتوليد بيانات OCR اصطناعية (SynthDoG-PL) عبر رندرة مقتطفات نصية بولندية من ويكيبيديا على خلفيات صور طبيعية (MS COCO) مع خطوط وتخطيطات عشوائية.
   • المعرفة: تكييف مجموعة بيانات WIT (المعتمدة على الصور والنصوص من ويكيبيديا)، مع الاحتفاظ فقط بالأوصاف المكتوبة بشرياً باللغة البولندية.
4. خليط التعليمات: تحافظ مجموعة البيانات النهائية على نسبة 85:15 من العينات المكيفة للبولندية إلى العينات الإنجليزية الأصلية للحفاظ على القدرات الإنجليزية مع إعطاء الأولوية للبولندية.

ج. تكييف معيار التقييم

قام المؤلفون بتكييف مجموعة بيانات MMBench-dev (1,292 سؤالاً) للغة البولندية:

• تمت ترجمتها آلياً باستخدام Tower+ 72B.
• المراجعة البشرية: قام لغويون بولنديون أصليون بمراجعة دقيقة، حيث حددوا وصححوا 3.56% من الأسئلة بسبب عدم الدقة اللغوية/المحتوى و 3.02% بسبب السياقات الثقافية الأجنبية.

3. المساهمات الرئيسية

1. مسار عمل مؤتمت: مسار عمل قابل للتوسع ومؤتمت بالكامل لإعداد مجموعات البيانات متعددة الوسائط للغات ذات الموارد المحدودة، يجمع بين الترجمة واسعة النطاق، والتصفية القائمة على المقاييس، وتوليد البيانات الاصطناعية.
2. عائلة نماذج الرؤية واللغة البولندية: تقديم عائلتي النماذج LLaVA-PLLuM و LLaVA-Bielik (بـ 11-12 مليار بارامتر)، وهي أول نماذج رؤية ولغة أصلية بولندية مدربة بهذه المنهجية.
3. تكييف المعيار: تكييف شامل لـ MMBench-dev للغة البولندية، بما في ذلك إعادة التوسيم اللغوي الذي كشف عن مشكلات في ما يقرب من 4% من العينات.
4. الإصدار المفتوح: إصدار النماذج والنسخة البولندية من MMBench لتسهيل الأبحاث المستقبلية.

4. النتائج

أ. أداء MMBench

• التكييف البولندي: تفوقت النماذج المقترحة بشكل كبير على النماذج المرجعية المركزية على الإنجليزية في اختبار MMBench المكيّف للبولندية.
  • حقق LLaVA-PLLuM-12B-nc دقة بنسبة 79.35% في الجزء البولندي، بزيادة قدرها +9.55 نقطة مئوية عن أفضل نموذج مرجحي إنجليزي (LLaVA-1.6-Vicuna-13B الذي حقق 69.80%).
  • حافظت النماذج على أداء تنافسي في الجزء الإنجليزي، مما يثبت أن التكييف البولندي لم يؤدِ إلى تدهور القدرات الإنجليزية.
• المقارنة: تفوقت النماذج على المنافسين مفتوحي المصدر مثل Qwen2.5-VL-7B و PaliGemma2-10B في المعيار البولندي، رغم أنها تراجعت خلف Pixtral-12B (الذي لم يُكشف عن بيانات تدريبه).

ب. وصف الصور (XM3600)

• الصحة اللغوية: أظهر التقييم البشري من قبل لغويين محترفين أفضلية قوية للنماذج المقترحة على النماذج المرجعية.
  • حقق أفضل نموذج (LLaVA-PLLuM-12b-nc) معدل فوز بنسبة 84% في الصحة اللغوية مقابل Pixtral-12B.
  • غالباً ما قللت الأحكام الآلية (النماذج اللغوية/الرؤية الكبيرة) من شأن التفوق اللغوي للنماذج البولندية مقارنة بالأحكام البشرية، مما يسلط الض الضوء على صعوبة التقييم الآلي للغات ذات الصرف الغني.
• جودة المحتوى: قدمت النماذج أداءً مقارباً لأفضل النماذج المرجعية في وصف محتوى الصور، وإن كانت قد تراجعت قليلاً عن Qwen2.5-VL-7B في مقاييس دقة المحتوى المحددة.

ج. التحليل النوعي

أظهرت دراسات الحالة أن النماذج المقترحة حددت بشكل صحيح السياقات الثقافية (مثل الجغرافيا البولندية، والمعالم المحلية) وتجنبت "لغة الترجمة" (translationese) أو المصطلحات المهلوسة التي تظهر غالباً في النماذج المرجعية عند الإجابة بالبولندية.

5. الأهمية والقيود

الأهمية:

• فعالية التكلفة: تثبت الدراسة أن بناء نماذج رؤية ولغة عالية الجودة للغات ذات الموارد المحدودة وذات الصرف المعقد يمكن أن يتم أساساً عبر الترجمة المؤتمتة والبيانات الاصطناعية، مما يقلل بشكل كبير من الحاجة إلى التوسيم اليدوي المكلف.
• الصلة الثقافية: تعالج الدراسة "التحيز المركزي الإنجليزي"، وتوفر أساساً للأنظمة متعددة الوسائط التي تفهم الفروق اللغوية والثقافية المحلية.
• توافر الموارد: يسد إصدار النماذج والمعايير فجوة حرجة في النظام البيئي لمعالجة اللغات الطبيعية (NLP) في بولندا.

القيود:

• آثار الترجمة: قد تؤدي الاعتماد على الترجمة الآلية إلى إدخال انزياح دلالي طفيف أو صياغات غير طبيعية ("لغة الترجمة") لم يتم فحصها بشكل منهجي.
• التغطية الثقافية: رغم التحسن، لا تزال المهام البصرية تنشأ إلى حد كبير من معايير مركزية إنجليزية، مما يعني أن النماذج قد لا تستوعب السيناريوهات البولندية الأصيلة بالكامل.
• تفاوتات التقييم: توجد فجوة ملحوية بين درجات الأحكام الآلية والتقييمات البشرية، خاصة فيما يتعلق بالصحة اللغوية، مما يشير إلى أن المقاييس الآلية الحالية غير كافية للغة البولندية.
• فجوات الاختبارات الاستبعادية (Ablation): لم تدرس الدراسة بشكل شامل الخيارات التصميمية المحددة (مثل SigLIP مقابل CLIP، أو LoRA مقابل التدريب الكامل).

في الختام، يثبت هذا العمل أن الترجمة المؤتمتة واسعة النطاق، عندما تقترن بالتصفية الخفيفة والنماذج اللغوية الأصلية، هي استراتيجية قابلة للتطبيق وفعالة لبناء نماذج متعددة الوسائط للغات ذات الموارد الأصلية المحدودة.