ملخص تقني: MM-Eval – إطار عمل موحد لتقييم التلخيص متعدد الوسائط

1. بيان المشكلة

يهدف التلخيص متعدد الوسائط مع مخرجات متعددة الوسائط (MSMO) إلى توليد ملخصات نصية موجزة مقترنة بمرئيات بارزة من مصادر متعددة الوسائط. وبينما أدت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) إلى تطوير القدرة على توليد مثل هذه المخرجات، إلا أن تقييم MSMO لا يزال مجزأً. تعاني البروتوكولات الحالية من "تأثير الصوامع" (Silo Effect)، حيث يتم تقييم جودة النص، والمواءمة بين الصورة والنص، والتنوع البصري بشكل منفصل باستخدام مقاييس أحادية الوسائط.

تشمل القيود الرئيسية للمنهجيات الحالية ما يلي:

• مقاييس النص: تعتمد المقاييس التقليدية مثل ROUGE على التداخل المعجمي، مما يفشل في التقاط التكافؤ الدلالي أو الاتساق الواقعي. يمكن للملخصات التي تحتوي على حقائق مهلوسة أن تحقق درجات عالية إذا كانت تتطابق سطحياً مع النصوص المرجعية.
• مقاييس الصور: تعاقب دقة الصورة (IP) الصور البديلة الصالحة دلالياً والتي لا تطابق تماماً المراجع الموضحة بشرياً، وتفشل في مراعاة المواءمة مع النص المولد.
• الفجوة عبر الوسائط: لا يوجد مقياس حالي يقيم بفعالية التفاعل بين الوسائط. قد يحصل النظام على درجات جيدة في النص واختيار الصور بشكل مستقل، بينما ينتج مخرجات متعددة الوسائط غير مترابطة وغير متوافقة. علاوة على ذلك، لا تعاقب المقاييس الحالية التكرار البصري (على سبيل المثال، اختيار صور متطابقة تقريباً).

2. المنهجية: إطار عمل MM-Eval

لمعالجة هذه الفجوات، قدم المؤلفون MM-Eval، وهو إطار تقييم موحد ونمطي يدمج ثلاثة أبعاد أساسية: جودة النص، والمواءمة عبر الوسائط، والتنوع البصري. تم تصميم الإطار ليكون ضعيف الاعتماد على المراجع (يعتمد بأقل قدر ممكن على الملخصات المرجعية) وقابلاً للنقل بين المجالات.

2.1 الركيزة الأولى: جودة النص ($S_{text}$)

تقيم هذه الركيزة النص المولد ($T_{gen}$) مقابل المستند المصدر ($T_{source}$) باستخدام نهج "التفكيك ثم التحقق":

• الاتساق الواقعي ($S_{fact}$): باستخدام OpenFactScore، يقوم النظام بتفكيك الملخص إلى حقائق ذرية والتحقق من كل منها مقابل المصدر باستخدام نموذج لغوي كبير (LLM). الدرجة هي متوسط دقة الحقائق المدعومة، وهي عملية قوية تجاه إعادة الصياغة.
• السمات النوعية: باستخدام G-Eval، يقيم النظام التماسك والطلاقة والارتباط عبر بروتوكول مطالبة "سلسلة الأفكار" (CoT) المنظم لتقليل التباين.
• التجميع: $S_{text}$ هو مجموع مرجح لهذه المكونات الأربعة ($S_{fact}$، الارتباط، التماسك، الطلاقة).

2.2 الركيزة الثانية: المواءمة عبر الوسائط ($S_{relevance}$)

تقيس هذه الركيزة ما إذا كانت الصور المختارة ($V_{sel}$) تدعم دلالياً النص المولد ($T_{gen}$).

• النموذج اللغوي الكبير كحكم (MLLM-as-a-Judge): يتم توجيه نموذج لغوي كبير متعدد الوسائط للقيام باستدلال "سلسلة الأفكار" لتقييم الصلة العملية والتكاملية لمجموعة الصور بالنسبة للنص. يلتقط هذا النهج الجودة المتكاملة للملخص بشكل أفضل من مجرد تشابه جيب التمام (cosine similarity).

2.3 الركيزة الثالثة: التنوع البصري ($S_{diversity}$)

تعاقب هذه الركيزة التكرار البصري لضمان تقديم مجموعة الصور لقيمة معلوماتية متميزة.

• إنتروبيا CLIP المبتورة (TCE): يقوم النظام بتوليد تضمينات CLIP للصور المختارة، ويحسب مصفوفة التباين التجريبي الخاصة بها، ويحسب إنتروبيا فون نيومان للقيم الذاتية المعيرة. يقيس هذا "الحجم الدلالي" الذي تغطيه الصور في الفضاء الكامن، مما يعاقب المجموعات التي تنقل محتوى دلالياً متداخلاً للغاية.

2.4 التجميع المتعلم

الدرجة النهائية ليست متوسطاً بسيطاً بل هي تركيبة خطية متعلمة من الركائز الثلاث:
$$\text{MM-Eval} = \beta_0 + \beta_1 S_{text} + \beta_2 S_{relevance} + \beta_3 S_{diversity}$$
يتم تعلم الأوزان ($\beta$) عبر انحدار ريدج (L2 regularization) على مجموعة بيانات mLLM-EVAL الإخبارية، والتي تحتوي على حوالي 1,50، من التدوينات الخبيرة لـ "الجودة العامة". يسمح هذا للإطار بمواءمة مساهمات المكونات مع التفضيلات البشرية الخاصة بالمجال.

3. النتائج الرئيسية والتحليل

قام المؤلفون بتحليل مجموعة بيانات mLLM-EVAL وأداء MM-Eval لاستخلاص عدة رؤى:

3.1 الهرمية المهيمن عليها النص

يكشف تحليل الأوزان المتعلمة عن هيكل تفضيل مهيمن نصياً في مجال الأخبار:

• يمثل جودة النص ($S_{text}$) حوالي 79% من إجمالي الوزن المجمع.
• ضمن جودة النص، يعد الاتساق الواقعي المحرك الأساسي، حيث يساهم بنحو 43.5% من الدرجة الإجمالية.
• تساهم الصلة بين الصورة والنص والتنوع البصري بحصص أصغر ومكملة (حوالي 15% و6%، على التوالي).

3.2 تأثير "حارس البوابة" للاتساق الواقعي

يكشف التحليل الإحصائي للتدوينات البشرية عن توزيع ثنائي المنوال للاتساق الواقعي. تشير البيانات إلى أن الاتساق الواقعي يعمل كـ "حارس بوابة":

• إذا احتوى الملخص على هلاوس كبيرة (اتساق منخفض)، فإن درجة الجودة الإجمالية تنخفض بشكل حاد، بغض النظر عن الطلاقة أو جودة الصور.
• على العكس من ذلك، فإن النزاهة الواقعية العالية هي شرط مسبق للحصول على تقييمات عالية.
• تعكس الأوزان المتعلمة هذا الاستجابة البشرية غير الخطية، حيث تعاقب بشدة الإخفاقات الواقعية بدلاً من تسويتها عبر المتوسط الموحد.

3.3 القيمة الشرطية للمرئيات

بينما تظهر المكونات البصرية ارتباطات هامشية ضعيفة أو حتى سلبية مع التصنيفات البشرية بمعزل عن بعضها البعض، إلا أن دراسات الاستئصال (ablation studies) تثبت أن إزالتها تؤدي إلى تدهور كبير في توافق النموذج مع التصنيفات البشرية (على سبيل المثال، إزالة $S_{relevance}$ تخفض معامل Kendall's $\tau$ بنسبة 54%).

• يشير هذا إلى أن الصلة والتنوع البصري يوفران إشارات شرطية: فهما يعملان على صقل تمايزات الجودة عندما تكون الدقة النصية كافية، ولكنهما قد يتزامنان مع مخرجات أقل جودة عند النظر إليهما بمعزل عن النص.

3.4 التحقق البشري

أكد تقييم بشري تكميلي على 200 عينة أن المقيّمين يقدرون صلة الصور وتنوعها بشكل كبير (متوسط درجات مماثل للنص). وهذا يؤكد أن الوزن المهيمن للنص في MM-Eval يعكس المساهمة الهامشية لكل مكون في تلخيص الأخبار (حيث يحمل النص العبء المعلوماتي الأساسي)، وليس عدم الاكتراث البشري بالجودة البصرية.

4. الأهمية والمساهمات

يدعي البحث الأهمية التالية للمجال:

1. التقييم الموحد: MM-Eval هو أول إطار عمل يقيم بشكل مشترك جودة النص، والمواءمة عبر الوسائط، والتنوع البصري في مقياس واحد قابل للتفسير، متجاوزاً "تأثير الصوامع" للتقييم أحادي الوسائط.
2. ضعيف المرجعية ونمطي: على عكس المقاييس التي تتطلب ملخصات مرجعية (مثل ROUX، IP)، تعمل مكونات MM-Eval على المستند المصدر والمخرجات الناتجة فقط. يسمح تصميمه النمطي بترقية المقيمين الفرديين (مثل الحكم المعتمد على MLLM أو TCE) مع ظهور نماذج أفضل.
3. الوزن القائم على البيانات: من خلال تعلم أوزان التجميع من التفضيلات البشرية، يلتقط MM-Eval المقايضات الضمنية التي يجريها البشر (مثل إعطاء الأولوية للحقائق على الطلاقة) بدلاً من افتراض أهمية موحدة عبر الأبعاد.
4. توجيه عملي لتصميم الأنظمة: تشير النتيات إلى هرم تحسين واضح لأنظمة MSMO: إعطاء الأولوية للترسيخ الواقعي أولاً، يليه الهيكل النصي، ثم صقل المواءمة والتنوع البصري. وهذا مهم بشكل خاص للمجالات المهيمن عليها النص مثل الأخبار.
5. القابلية للتفسير: يوفر الإطار تفصيلاً قابلاً للتفسير للدرجات، مما يسمح للمطورين بتشخيص حالات الفشل المحددة (مثل ضعف التنوع مقابل الهلوسة) بدلاً من الاعتماد على أحكام "الصندوق الأسود" الغامضة للنماذج.

5. الحدود والنطاق

يحافظ المؤلفون على موقف متواضع بشأن نطاق الإطار:

• خصوصية المجال: يتم تشكيل هرم الأوزان المتعلمة بواسطة مجال الأخبار. في المجالات المهيمن عليها الصور (مثل مراجعات المنتجات)، قد تختلف أولوية الوسائط، مما يتطلب إعادة معايرة لأوزان التجميع.
• ضجيج الوكيل: قد لا تلتقط الوكلاء الآليون للصلة والتنوع البصري (حكم MLLM، TCE) الإدراك البشري بشكل كامل، كما يتضح من الارتباطات الآلية الأضعف مقارنة بالتوافق البشري.
• المنفعة المقارنة: مع وجود ارتباط رتبي متوسط ($\tau \approx 0.37$) ضد الأحكام البشرية، يعد MM-Eval مناسباً بشكل أفضل للمقارنات العامة إلى المتوسطة بين الأنظمة. للمقارنات بين الأنظمة شديدة التقارب، يظل التقييم البشري المستهدف ضرورياً.
• التكلفة الحسابية: الاعتماد على نماذج متعددة من LLMs و MLLMs يزيد من التكلفة الحسابية مقارنة بالمقاييس المعجمية، وإن كان يُعت see مقبولاً للتقييم غير المتزامن (offline).