Evaluating Multimodal Input Combinations for Zero-Shot Summarization Across Indian Languages

ملخص تقني: تقييم مجموعات المدخلات متعددة الوسائط للتلخيص في وضع الصفر (Zero-Shot) عبر اللغات الهندية

بيان المشكلة
أدى الانتشار السريع للأخبار الرقمية باللغات الإقليمية الهندية إلى خلق طلب على أنظمة تلخيص آلية قادرة على التعامل مع المحتوى غير المتجانس. تعتمد مسارات التلخيص التقليدية عادةً على نص المقال فقط (العناوين والمتن)، مما يؤدي إلى الفشل في الاستففادة من المعلومات السياقية الغنية المتاحة في المقالات الإخبارية متعددة الوسائط، وتحديداً الصور المرفقة وتعليقات القراء. وبينما تقدمت تقنيات التلخيص متعدد الوسائط للغتين الإنجليزية واللغات ذات الموارد العالية، لا يزال مجال معالجة اللغات الطبيعية (NLP) للغات الهندية غير مستكشف بشكل كافٍ بسبب نقص مجموعات البيانات متعددة الوسائط والحساسة للتعليقات، ونقص الأطر مفتوحة المصدر القابلة لإعادة الإنتاج. تعتمد التقييمات الحالية غالباً على نماذج لغوية كبيرة (LLMs) مملوكة لجهات خاصة مع شفافية محدبية في التعامل مع تركيبات أنماط المدخلات. تعالج هذه الدراسة الفجوة في فهم كيفية أداء النماذج خفيفة الوزن من نوع (sequence-to-sequence) في وضع الصفر (zero-shot) عبر تسع لغات هندية عند تعرضها لمجموعات متنوعة من العناوين، والمحتوى، وروابط الصور، وتعليقات القراء.

المنهجية
يقترح البحث مسار عمل مؤتمت بالكامل من البداية إلى النهاية بلغة بايثون (Python)، يتم تنفيذه في بيئة Google Colab لتقييم خمسة نماذج محولة (transformer) مدربة مسبقاً من نوع (sequence-to-sequence) وهي: mT5، وT5، وBART، وmBART، وPEGASUS.

• مجموعة البيانات: تستخدم الدراسة مجموعة بيانات COSMMIC (المجموعة الهندية متعددة اللغات والحساسة للتعليقات)، والتي تحتوي على 4,959 زوجاً من (المقال-الصورة) و24,484 تعليقاً للقراء عبر تسع لغات (البنغالية، الهندية، التاميلية، التيلجو، الماراثية، الغوجاراتية، الكانادية، المالايالامية، والأوديا). تتضمن البيانات ملخصات مرجعية مكتوبة بشرياً.
• التصميم التجريبي: يتم إجراء التقييم بأسلوب الصفر (zero-shot)، مما يعني أن أيًا من النماذج لم يتم ضبطه بدقة (fine-tuned) على مجموعة بيانات COSMMIC. هذا يعزل قدرات النماذج الأصلية الناتجة عن التدريب المسبق.
• أنماط المدخلات (Modalities): يختبر النظام بشكل منهجي 15 تركيبة مدخلات متميزة تشكلت من أربعة أنماط: العنوان (H)، المحتوى (C)، رابط الصورة (I)، والتعليقات (Co). تتراوح هذه التركيبات من مدخلات أحادية النمط إلى التركيبة الرباعية الكاملة (H+C+I+Co). ومن الجدير بالذكر أن روابط الصور تمت معالجتها كنصوص خام وليس كميزات بصرية.
• مقاييس التقييم: يتم تقييم الملخصات المولدة مقابل الملخصات المرجعية باستخدام سبعة مقاييس: ROUGE-1، وROUGE-2، وROUGE-L، وMETEOR، وBERTScore Precision، وBERTScore Recall، وBERTScore F1، وCIDEr.
• تصنيف الجودة: يقوم مصنف يعتمد على مصفوفة الارتباك (confusion matrix) بتصنيف الملخصات المولدة كـ "جيدة" (ROUGE-L $\ge$ 0.50) أو "سيئة" (< 0.50) لتوفير تقييم ثنائي للجودة يتجاوز الإحصاءات التجميعية.
• دراسة الحالة: يتم إجراء تحليل مفصل على الجزء الخاص باللغة الهندية، وهو الجزء الأكبر في المجموعة، للتحقيق في تأثير أنواع محددة من التعليقات ("جيدة" مقابل "سيئة") والفائدة الهامشية لروابط الصور.

المساهمات الرئيسية

1. مسار عمل مفتوح المصدر وقابل لإعادة الإنتاج: يقدم المؤلف أول مسار عمل مؤتمت بالكامل ومفتوح المصدر للتلخيص متعدد الوسائط على مجموعة بيانات COSMMIC. يقوم المسار بأتمتة الحصول على البيانات، وتقسيمها، وتحميل النماذج، والتوليد، والتقييم متعدد المقاييس دون الحاجة إلى ترميز يدوي أو الوصول إلى واجهات برمجة تطبيقات (APIs) مملوكة لجهات خاصة.
2. معيار شامل لوضع الصفر (Zero-Shot Benchmark): توفر الدراسة أول تقييم منهجي لخمسة نماذج متميزة من نوع (sequence-to-sequence) عبر 15 تركيبة مدخلات ممكنة عبر تسع لغات هندية.
3. تحليل مساهمة الأنماط (Modality Contribution Analysis): من خلال اختبار كافة المجموعات الفرعية لأنماط المدخلات، يعمل العمل على قياس المساهمة المحددة للعناوين، والتعليقات، وروابط الصور في جودة التلخيص، مما يقدم إرشادات لمصممي الأنظمة حول تخصيص الموارد.
4. إطار تصنيف الجودة: يسمح دمج مصنف جودة يعتمد على مصفوفة الارتباك بتصور توزيعات الملخصات "الجيدة" مقابل "السيئة"، مما يوفر مقياساً أكثر حدسية لموثوقية النموذج مقارنة بالدرجات الخام وحدها.

النتائج والتحليل

• أداء النماذج: من بين النماذج التي تم تقييمها، أظهر نموذج mBART الأداء الأكثر قوة في وضع الصفر، لا سيية في اللغة الهندية. ويُعزى ذلك إلى تدريبه المسبق الصريح على البيانات الهندية ضمن مجموعة بيانات CC25. وعلى العكس من ذلك، أظهر نموذجا T5 وmT5 أداءً أقل، ويرجع ذلك على الأرجح إلى كونهما متمحورين حول اللغة الإنجليزية أو أقل تخصصاً لهذه اللغات.
• تأثير أنماط المدخلات:
  • قدم المحتوى (C) وحده أقوى أداء أساسي.
  • أدت إضافة تعليقات القراء عموماً إلى تحسين المقاييس، لكن جودة التعليقات كانت مهمة؛ حيث عززت التعليقات "الجيدة" جودة الملخص، بينما أدخلت التعليقات غير المفلترة أو "السيئة" ضوضاء أدت إلى تدهور الأداء.
  • وفرت روابط الصور، عند تضمينها كنصوص، تحسينات طفيفة ولكن ثابتة في درجات ROUGE-L عبر معظم اللغات، مما يشير إلى أن البيانات الوصفية للرابط يمكن أن تعمل كإشارات إشرافية ضعيفة.
  • التركيبة الكاملة لجميع الأنماط الأربعة (H+C+I+Co) لم تتفوق دائماً على خط الأساس المعتمد على المحتوى فقط، مما يشير إلى أن المدخلات متعددة الوسائط غير المفلترة يمكن أن تُدخل ضوضاء في سياق وضع الصفر.
• التباين عبر اللغات: تباين الأداء بشكل كبير عبر اللغات. حققت الهندية أفضل النتائج، بينما سجلت اللغات ذات النصوص المعقدة أو الصرف التجميعي (مثل الماليالامية والتاميلية) درجات أقل، مما يسلط الضوء على تحديات "تأثير حجم البيانات" وتعقيد الخطوط.
• قيود وضع الصفر (Zero-Shot Limitations): لاحظت الدراسة درجات ROUGE-2 منخفضة للغاية (تقتر cerca 0.00) عبر معظم النماذج واللغات. وهذا يؤكد أن التلخيص التجريدي في وضع الصفر للغات الهندية لا يزال يمثل تحدياً كبيراً، وأن النشر العملي يتطلب على الأرجح حداً أدنى من الضبط الدقيق للمهام (task-specific fine-tuning).
• تحديد الآثار الجانبية (Artifact Identification): كشف تحليل مخرجات mBART عن توليد رموز خاصة (مثل <extra_id_0>) بسبب هدف التدريب المسبق الخاص بـ (span-masking)، مما يستلزم معالجة لاحقة أو هندسة الأوامر (مثل إضافة كلمة "summarize") للحصول على نتائج مثالية.

الأهمية
يرسي هذا البحث إطاراً تأسيسياً وقابلاً لإعادة الإنتاج لتقييم التلخيص متعدد الوسائط في اللغات الهندية ذات الموارد المنخفضة. ومن خلال إثبات أن بنية mBART هي حالياً الأكثر ملاءمة لمهام وضع الصفر في هذا المجال، وأن جودة التعليقات هي متغير حاسم، توفر الدراسة رؤى قابلة للتطبيق للباحثين والمطورين. يؤكد العمل أنه بينما تحمل المدخلات متعددة الوسائط وعوداً، فإن دمجها يتطلب تصفية دقيقة لتجنب الضوضاء. في النهاية، تجادل الدراسة بأنه بينما تعد خطوط الأساس في وضع الصفر قيمة لتحديد الحدود، فإن المسار نحو أنظمة تلخيص عالية الجودة وعملية للغات الهندية يتطلب الانتقال من الاستدلال في وضع الصفر نحو التكيفات المخصدة للغة عبر الضبط الدقيق.