SciClaimEval: Cross-modal Claim Verification in Scientific Papers

إليك ملخص تقني مفصل لورقة البحث بعنوان "SciClaimEval: التحقق من الادعاءات عبر الوسائط المتعددة في الأوراق العلمية."

1. بيان المشكلة

يتضمن التحقق من الادعاءات العلمية تحديد ما إذا كانت الادعاءات الواردة في الأوراق البحثية مدعومة أو مفندة بواسطة الأدلة المصاحبة (الأشكال والجداول). وبينما أدت طفرة الذكاء الاصطناعي التوليدي إلى زيادة حجم التقديمات العلمية، إلا أن الأدوات الحالية تعاني في أتمتة التحقق من الادعاءات متعددة الوسائط.

القصور الرئيسي لمجموعات البيانات الحالية:

• الادعاءات الاصطناعية: تستخدم العديد من مجموعات البيانات (مثل SciVer) ادعاءات كتبها خبراء أو نماذج لغوية كبيرة (LLMs) بدلاً من استخراج ادعاءات حقيقية من الأوراق المنشورة.
• النفي الاصطناعي: غالباً ما يتم إنشاء الادعاءات المفندة عن طريق مجرد نفي الادعاءات المدعومة (مثل إضافة كلمة "ليس" أو "لا") أو تعديل النص، مما يؤدي إلى استخدام اختصارات استدلالية وعلامات اصطلاحية بدلاً من تحديات استدلالية حقيقية.
• الوسائط المحدودة: تفتقر الموارد الحالية غالباً إلى شمولية الوسائط (الجمع بين الأشكال والجداول) مع تمثيلات هيكلية متنوعة، حيث تركز معظمها فقط على النصوص أو الجداول.

2. المنهجية

يقترح المؤلفون SciClaimEval، وهي مجموعة بيانات جديدة تم إنشاؤها من خلال مسار عمل ثلاثي الخطوات مصمم لضمان الأصالة والمتانة.

أ. جمع البيانات وإعدادها

• المصادر: جُمعت الأوراق من ثلاثة مجالات: معالجة اللغات الطبيعية (NLP) وتعلم الآلة (ML) من arXiv/ACL/NeurIPS، والطب من PeerJ.
• الاستخراج: استخرج الفريق النص الرئيسي، والأشكال (PNG)، والجداول. ومن الأهمية بمكان أنه تم الحفاظ على الجداول في تنسيقات متعددة: مصدر LaTeX، وHTML، وJSON، وصور PNG.

ب. الربط بين الادعاء والدليل

• باستخدام التعبيرات النمطية (Regular Expressions)، حدد النظام الجمل التي تشير صراحة إلى جداول أو أشكال محددة (على سبيل المثال: "يوضح الجدول 1...").
• تم ربط كل جملة بالدليل المقابل لها، بما في ذلك الجمل السابقة كـ "سياق قصير" لتقليل الغموض.

ج. استراتيجية تعديل الأدلة المبتكرة (الابتكار الجوهري)

على عكس العمل السابق الذي يعدل الادعاء لإنشاء مثال سلبي، يقوم SciClaimEval بتعديل الدليل نفسه مع الحفاظ على أصالة الادعاء.

• العملية: يقوم المدققون أولاً بالتحقق مما إذا كان الادعاء "مدعوماً" بالدليل الأصلي. إذا كان مدعوماً، يقومون بتعديل الدليل (الشكل أو الجدول) لجعله "غير مدعوم".
• عمليات التعديل:
  • الجداول: تغيير قيم الخلايا، تبديل الصفوف/الأعمدة، إضافة/إزالة صفوف/أعمدة.
  • الأشكال: قلب الرسوم البيانية، تبديل وسيلة الإيضاح (Legends)، تبديل الرسومات الفرعية، تبديل تسميات الفئات، أو إضافة نقاط بيانات وهمية.
• النتيجة: يؤدي هذا إلى إنشاء عينات "مفندة" حيث يظل الادعاء عبارة حقيقية من ورقة بحثية، ولكن الدليل قد تم تعديله ليتعارض معها، مما يجبر النماذج على الاستدلال حول البيانات المرئية/الهيكلية بدلاً من الاعتماد على نفي النص.

د. التدوين والتحقق

• المُدونون: 11 طالباً من مرحلة الدراسات العليا وباحثين خبراء في مجالات NLP/ML.
• التصنيفات: مدعوم (Supported)، مدعوم ذاتياً (Subjectively Supported)، غير مدعوم (Unsupported)، أو تخطي (Skip).
• الخط المرجعي البشري: تم التقييم على 80 عينة، حيث حققت درجات F1 الكلية حوالي 88% للجداول و90% للأشكال.

3. المساهمات الرئيسية

1. ادعاءات أصيلة: تحتوي مجموعة البيانات على 1,664 عينة من 180 ورقة بحثية حيث تم استخراج كل من الادعاءات المدعومة والمفندة مباشرة من الأدبيات العلمية الحقيقية، مما يتجنب التوليد الاصطناعي.
2. السلبيات المرتكزة على الدليل: تقدم نهجاً مبتكراً لتعديل الدليل (الأشكال/الجداول) لإنشاء أمثلة سلبية، مما يقضي على "انحياز النفي" الموجود في مجموعات البيانات السابقة.
3. متعدد الوسائط ومتعدد التنسيقات: توفر أنواعاً متنوعة من الأدلة:
   • الأشكال: صور PNG.
   • الجداول: متاحة بتنسيقات PNG، وLaTeX، وHTML، وJSON، مما يسهل البحث في معالجة الجداول المهيكلة وغير المهيكلة.
4. معيار شامل: تقيم 11 نموذجاً من نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) المتطورة، بما في ذلك النماذج مفتوحة المصدر (InternVL, Qwen, LLaVA) والنماذج المملوكة (OpenAI o4-mini).

4. النتائج التجريبية

قام المؤلفون بتقييم النماذج باستخدام F1 الكلي (Macro-F1) ومقياس أكثر صرامة يسمى دقة الزوج (Pair Accuracy) (الذي يتطلب من النموذج التنبؤ بشكل صحيح بكل من النسخة المدعومة والمفندة لنفس زوج الادعاءات).

• الأداء العام:
  • النماذج المملوكة مقابل مفتوحة المصدر: تفوق نموذج o4-mini من OpenAI على جميع النماذج مفتوحة المصدر في جميع الإعدادات.
  • الجداول مقابل الأشكال: أدت النماذج أداءً أفضل بكثير في الأدلة القائمة على الجداول مقارنة بالأدلة القائمة على الأشكال.
    • مثال للجدول: حقق o4-mini درجة 85.4 في F1 الكلي على الجداول مقابل 78.1 على الأشكال (مجموعة التحقق).
    • الفجوة: لا تزال هناك فجوة كبيرة في الأداء بين أفضل النماذج والخط المرجعي البشري، خاصة في الأشكال.
• تأثير السياق: من المثير للدهشة أن النماذج غالباً ما كان أداؤها أفضل بدون سياق إضافي (سياق قصير أو الورقة الكاملة) مما لو كان معها، مما يشير إلى أن النص الإضافي قد يدخل ضوضاء أو أن التعليقات التوضيحية (Captions) تحتوي بالفعل على سياق كافٍ.
• دقة الزوج: كانت الدرجات أقل باستمرار من F1 الكلي، مما يشير إلى أن العديد من النماذج تعتمد على ميزات سطحية أو انحيازات في مجموعة البيانات بدلاً من الاستدلال الحقيقي. عندما أُجبرت النماذج على التمييز بين زوج (مدعوم ومفند) تم تعديله بدقة، انخفض الأداء.
• تعديلات الأشكال: كانت عمليات مثل "تبديل الرسم البياني" (Graph Swap) و"تبديل الفئة" (Category Swap) صعبة للغاية على النماذج، بينما كان "قلب الرسم البياني" (Graph Flip) أسهل قليلاً.

5. الأهمية والتأثير المستقبلي

• الارتباط بالواقع: من خلال استخدام ادعاءات وأدلة أصيلة وتعديل الأدلة، يعكس SciClaimEval بشكل أفضل التحديات التي تواجه التحقق من الأدبيات العلمية في عصر الكتابة المدعومة بالذكاء الاصطناعي.
• معيار للمقارنة: يضع معياراً جديداً وأكثر صرامة للاستدلال متعدد الوسائط، ويسلط الضوء على أن نماذج MLLM الحالية لا تزال تعاني في الاستدلال البصري (الأشكال) والاستدلال الهيكلي الدقيق في الجداول.
• مورد للبحث: يوفر تضمين الجداول في تنسيقات متعددة (JSON, LaTeX, HTML, PNG) مورداً فريداً لتطوير نماذج يمكنها تحليل والاستدلال على البيانات العلمية المهيكلة، وليس فقط التعرف على الصور.
• القصور: تحتوي مجموعة البيانات حالياً على عينات جداول أكثر من عينات الأشكال، كما واجه تحويل الجداول إلى تنسيق JSON بعض المشكلات الطفيفة في الدقة (رغم أنها قابلة للتصحيح في الغالب).

في الختام، يسد SciClaimEval الفجوة بين الاختبارات الاصطناعية والاستدلال العلمي الواقعي، موضحاً أنه بينما يحرز الذكاء الاصطناعي (MLLMs) تقدماً، إلا أن تحديات كبيرة لا تزال قائمة في التحقق بدقة من الادعاءات العلمية عبر الوسائط المتنوعة.