ملخص تقني: UniPPTBench و UniPPTEval

1. بيان المشكلة

أدت التطورات الأخيرة في النماذج التوليدية متعددة الوسائط إلى جعل إنشاء العروض التقديمية آلياً أمراً ممكناً بشكل متزايد. ومع ذلك، يفتقر المجال حالياً إلى إطار عمل موحد لتقييم هذه الأنظمة عبر مختلف إعدادات المدخلات الموجودة في السيناريوهات الواقعية. الأبحاث والمعايلات الحالية عادة ما تعزل أنظمة مدخلات محددة — مثل التوليد القائم على التعليمات فقط — أو التحويل من مستند واحد إلى شرائح — مما يؤدي إلى الفشل في معالحة طيف احتياجات المستخدمين الذي يتراوح من المطالبات الغامضة إلى التوليف المعقد متعدد المصادر.

علاوة على ذلك، فإن منهجيات التقييم الحالية غير كافية من حيث كونها مرتبطة بسيناريوهات محددة. فهي تعتمد بشكل أساسي على معايير جودة العرض التقديمي العامة (مثل الجاذبية البصرية، وجودة التنسيق، والتماسك العام). وغالباً ما تفشل هذه المقاييس في تشخيص القدرات الجوهرية المطلوبة لمدخلات معينة، مثل الضغط المرتكز على المصدر، والمحاذاة بين النص والمرئيات، والتوليف عبر المصادر المتعددة. وبناءً على ذلك، قد ينتج النظام عرضاً تقديمياً مصقولاً بصرياً، ولكنه مع ذلك يغفل أدلة رئيسية، أو يسيء تمثيل الرسوم البيانية، أو يفشل في التوفيق بين المعلومات المتضاربة من مصادر متعددة. يتطلب المجال معياراً موحداً وبروتوكول تقييم واعياً بالسيناريوهات لتشخيص أنظمة توليد العروض التقديمية بأمانة عبر مختلف الإعدادات الواقعية.

2. المنهجية

أ. UniPPTBench: معيار موحد

يقدم المؤلفون UniPPTBench، وهو معيار مصمم لتغطية أربعة إعدادات تمثيلية للمدخلات منظمة حسب تعقيد الارتكاز المتزايد:

1. المطالبة الغامضة (Vague-Prompt): تقييم التخطيط مفتوح النهاية تحت ظروف نية مستخدم غير محددة بدقة دون مواد مصدرية.
2. المستند الطويل (Long-Document): اختبار الضغط المخلص للمصدر واختيار المحتوى من النصوص الممتدة (بمتوسط ~128 صفحة).
3. المستند متعدد الوسائط (Multimodal-Document): التركيز على المحاذاة بين الادعاءات النصية والمواد المرئية (الأشكال، الرسوم البيانية، الجداول) داخل المستند.
4. المصادر المتعددة (Multi-Source): يتطلب دمج الأدلة، وإزالة التكرار، والتوليف المخلص عبر مستندات متعددة متباينة (بمتوسط ~59 صفحة من ~4.5 مصادر).

تتكون مجموعة البيانات من 126 مهمة عبر ستة مجالات تطبيقية (مثل الأبحاث، الأعمال، السياسات) تم إنشاؤها من مصادر عامة موثوقة (SEC EDGAR، arXiv، الأمم المتحدة، إلخ). وتتضمن سلسلة بناء البيانات جمع المصادر، وصياغة المهام (ربط المستندات بنوايا واقعية)، وتوصيف البيانات الوصفية (تحديد النقاط الرئيسية ونطاقات الأدلة)، وضبط الجودة الصارم.

ب. UniPPTEval: بروتوكول تقييم واعٍ بالسيناريو

لمعالجة قيود المقاييس العامة، يقترح المؤلفون UniPPTEval، الذي يفصل التقييم إلى مكونين:

1. المقاييس المشتركة: مجموعة مقتضبة من المقاييس المستمدة من خلال المحاذاة البشرية، وتحليل التباين (orthogonality)، واختيار حدود الكفاءة والدقة. وتشمل هذه المقاييس: الوفاء بالتعليمات، التفاعل، دقة المحتوى، الاتساق البصري، وسلامة العناصر المرئية. وهي تتيح مقارنة جودة العرض التقديمي العام عبر مختلف الإعدادات.
2. المقاييس الخاصة بالسيناريو: مقاييس مصممة لتلبية المتطلبات الجوهرية لكل إعداد مدخلات، باستخدام نموذج التقييم المرتكز على المصدر. يستخدم هذا النموذج منطق تحقق ثنائي المسار:
   • فحص التغطية على المستوى الكلي (Macro-level): يتحقق من مدى تغطية الشرائح المولدة لقائمة مراجعة المعلومات الرئيسية المستمدة من المواد المصدرية.
   • السعي وراء الحقيقة على المستوى الجزئي (Micro-level): يقوم بتفكيك محتوى الشريحة إلى ادعاءات محددة والتحقق منها مقابل المواد المصدرية لضمان الصدق.

تشمل المقاييس المحددة: تغطية النقاط الرئيسية و الأمانة في المحتوى للمستند الطويل؛ استخدام العناصر المرئية، و محاذاة الشكل والادعاء، و دقة ترجمة الرسوم البيانية للمحتوى متعدد الوسائط؛ و التغطية عبر المستندات، و الدمج، و إزالة التكرار للمصادر المتعددة.

ج. UniPPTAgent: خط أساس موحد

يطور المؤلفون UniPPTAgent، وهو إطار عمل متعدد الوكلاء مفتوح المصدر مصمم لدعم جميع إعدادات المدخلات الأربعة ضمن مسار موحد. وعلى عكس الأنظمة السابقة المصممة لنظام واحد، يقوم UniPPTAgent بتفكيك عملية التوليد إلى ثلاثة وكلاء متخصصين:

1. وكيل السرد (Narrative Agent): يعمل على تطبيع المدخلات المتباينة إلى قاعدة معرفية مهيكلة وتوليد مخططات الشرائح وأوصاف الصفحات عبر إجراء (التخطيط-المخطط-الارتكاز).
2. وكيل النمط (Style Agent): يستنبط عقداً عالمياً للنمط على مستوى المستند (يغطي الخطوط، الألوان، والتنسيق) لضمان الاتساق عبر الصفحات.
3. وكيل التصميم البصري (Visual Design Agent): يترجم التنسيقات إلى HTML مستقر النمط ويستخدم حلقة تغذية راجعة تكرارية مع نموذج لغة مرئي (VLM) لاكتشاف وتصحيح العيوب الإدراكية (مثل النصوص المقطوعة أو التداخلات).

3. النتائج الرئيسية

كشفت التجارب على UniPPTBench باستخدام UniPPTEval عن عدة نتائج حاسمة:

• تباين الأداء: يتباين أداء النظام بشكل كبير عبر إعدادات المدخلات المختلفة. فالأداء القوي في المقاييس العامة لا يعني بالضرورة تحقيقاً قوياً للمهام في السيناريوهات المرتكزة على المصدر.
• عقبة الارتكاز (Grounding Bottleneck): تظهر الأنظمة الحالية فجوة كبيرة بين الطلاقة البصرية وتحقيق المهمة الفعلي. في السيناريوهات متعددة الوسائط، تفشل الأنظمة غالباً في محاذاة الشكل والادعاء أو الاستخدام الفعال للعناصر المرئية. وفي مهام المستندات الطويلة، تكون الأمانة في المحتوى أقل باستمرار من التغطية، مما يشير إلى وجود تحريفات واقعية في المخرجات المضغوطة.
• تحديات التوليف: يمثل التوليف عبر المصادر تحدياً من رتبة أعلى من مجرد استخراج المحتوى البسيط. فغالباً ما تواجه الأنظمة صعوبة في تنظيم المعلومات المسترجعة في سرد متماسك وغير مكرر، حيث تقدم غالباً ملخصات معزولة بدلاً من قصص موحدة.
• تجزؤ المصادر المفتوحة: بينما تظهر الأنظمة مفتوحة المصدر بوادر واعدة، إلا أن دعمها لمختلف إعدادات المدخلات يظل مجزءاً مقارنة بالأنظمة المملوكة، لا سيما في السيناريوهات المرتكزة على المصدر والمدخلات المتعددة.
• صلاحية التقييم: نجحت مقاييس السيناريو المقترحة في اكتشاف التدهورات الخاصة بالقدرات (مثل الهلوسة، أو فقدان الارتكاز المرئي) التي قد تغفل عنها المقاييس العامة. ويظهر بروتوكول التقييم موثوقية عالية (انحراف معياري منخفض عبر عمليات التشغيل) ومتانة (ارتباط عالٍ بين مختلف أحكام النماذج اللغوية الكبيرة).

4. الأهمية والمساهمات

يزعم البحث المساهمات التالية:

1. UniPPTBench: أول معيار موحد يغطي أربعة إعدادات تمثيلية من الواقع (المطالبة الغامضة، المستند الطويل، المستند متعدد الوسائط، والمصادر المتعددة)، مما يسمح بمقارنة منهجية عبر تدفقات عمل متنوعة.
2. UniPPTEval: بروتوكول تقييم واعٍ بالسيناريو يجمع بين مقاييس جودة العرض التقديمي المشتركة والمقاييس الخاصة بكل إعداد، مما ينقل التركيز من الإدراك البصري إلى تتبع الأدلة الصارم.
3. UniPPTAgent: خط أساس مرجعي شفاف ومفتوح المصدر يدعم جميع إعدادات المدخلات الأربعة، مما يوفر نقطة مقارنة قابلة لإعادة الإنتاج للأبحاث المستقبلية.
4. الرؤى التشخيصية: تجارب واسعة تكشف عن القيود المستمرة في الأنظمة الحالية فيما يتعلق بالضغط المرتكز على المصدر، والمحاذاة متعددة الوسائط، والتكامل عبر المصادر، والتوليف المخلص.

يخلص المؤلفون إلى أن توليد العروض التقديمية لا ينبغي دراسته كمهمة واحدة متجانسة، بل كمشكلة موحدة ذات متطلبات قدرة تعتمد على الإعداد. يوفر الإطار المقترح أساساً صادقاً وتشخيصياً لتقييم وتطوير أنظمة توليد العروض التقديمية في سيناريوهات العالم الحقيقي المتنوعة. ومن المقرر نشر الكود والبيانات للعامة.