Benchmarking Large Language Models on Reference Extraction and Parsing in the Social Sciences and Humanities

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تقييم النماذج اللغوية الكبيرة في استخراج وتحليل المراجع في العلوم الاجتماعية والإنسانية".

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في استخراج وتحليل المراجع الببليوغرافية ضمن مجال العلوم الاجتماعية والإنسانية (SSH). وبينما يعد معالجة الاستشهادات أمراً أساسياً للبنية التحتية الأكاديمية (مثل رسوم الاستشهاد البيانية وقواعد المعرفة)، تواجه الحلول الحالية قيوداً كبيرة:

• عدم تطابق التقييم: تعتمد المعايير القياسية على قوائم مراجع نظيفة، باللغة الإنجليزية، وتوجد في نهاية المستند. وهي تفشل في استيعاب واقع العلوم الاجتماعية والإنسانية حيث تكون الاستشهادات غالباً متعددة اللغات، ومدرجة في الحواشي السفلية، ومختصرة، وتخضع لتقاليد تاريخية متباينة.
• هشاشة الأنظمة الحالية: تعاني خطوط المعالجة التقليدية الخاضعة للإشراف (مثل GROBID) من صعوبة التعامل مع تغيرات التوزيع، لا سيما عند التعامل مع تخطيطات الصفحات المعقدة، والحواشي السفلية، واللغات غير الإنجليزية.
• إمكانات النماذج اللغوية الكبيرة مقابل الواقع: بينما تظهر النماذج اللغوية الكبيرة (LLMs) وعوداً واعدة، فإن موثوقيتها في تحليل الاستشهادات المهيكل تحت ظروف العلوم الاجتماعية والإنسانية الصاخبة والواقعية لم يتم قياسها بعد مقابل خطوط الأساس القوية.

2. المنهجية

مجموعات البيانات (المعيار الموحد)

أنشأ المؤلفون معياراً موحداً باستخدام ثلاث مجموعات بيانات متكاملة لمحاكاة الظروف الواقعية للعلوم الاجتماعية والإنسانية:

1. CEX: 112 مقالاً دورياً باللغة الإنجليزية من 27 تخصصاً. استُخدمت كخط أساس مضبوط للتعميم عبر المجالات.
2. EXCITE: 351 وثيقة باللغتين الألمانية والإنجليزية (تركز على العلوم الاجتماعية والإنسانية) تتميز بتنوع صريح في أماكن الاستشهاد: في نهاية القسم، أو في الحواشي السفلية فقط، أو في أنظمة مختلطة. وتتضمن اختصارات خاصة باللغة الألمانية (مثل Ebd.، a.a.O.).
3. LinkedBooks: مجموعة بيانات تركز على العلوم الإنسانية (تاريخ البندقية) تضم 1,194 مرجعاً تم ترميزها يدوياً. وتتميز بتنوع أسلوبي عالٍ، ومصادر أولية، وتعدد لغات كبير (72.3% إيطالية، 18.3% إنجليزية، إلخ).

المهام

تقيم الدراسة ثلاث مهام تزداد صعوبة:

1. استخراج المراجع (Reference Extraction): اكتشاف وتحديد نطاقات المراجع داخل النص الخام (من PDF إلى نص).
2. تحليل المراجع (Reference Parsing): تحويل سلاسل المراجع ذات المعايير الذهبية إلى حقول JSON مهيكلة (المؤلف، العنوان، السنة، مكان النشر، إلخ).
3. التحليل الشامل للمستند (End-to-End Document Parsing): مهمة الخط المتكامل التي تقوم بكل من الاستخراج والتحليل مباشرة من ملفات PDF الخام.

الأنظمة التي تم تقييمها

• خط الأساس (Baseline): نظام GROBID (نموذج تسمية تسلسل التعلم العميق)، وهو خط معالجة قياسي قوي خاضع للإشراف.
• النماذج اللغبية الكبيرة (LLMs): مجموعة متنوعة من النماذج المعاصرة تشمل DeepSeek-V3.1، و Mistral-Small-3.2-24B، و Gemma-3-27B-it، وعائلة Qwen3-VL (بمتغيرات من 4B إلى 32B).
• القيود: أُجبرت جميع النماذج اللغبية الكبيرة على إخراج تنسيق JSON صارم باستخدام مخطط موحد لضمان إمكانية المقارنة. تم تحويل المدخلات إلى صيغة Markdown (بالنسبة لملفات PDF) لعزل قدرات التحليل.

استراتيجيات التحسين

تستقصي الورقة رافعتين عمليتين لتحسين الأداء:

1. التكيف باستخدام LoRA: الضبط الدقيق الفعال للمعلمات (Low-Rank Adaptation) على مجموعة بيانات صغيرة ومنسقة للعلوم الاجتماعية والإنسانية (1,832 حالة) لتكييف النماذج مع أساليب استشهاد محددة.
2. التقسيم/التدفق (Segmentation/Pipelining): مقارنة "الاستدعاء الواحد" (السياق العالمي) مقابل "الخط المتكامل التكيفي" (تقسيم لكل صفحة ثم الاستخراج ثم التحليل) مقابل "الاختيار المسبق الدلالي" (استرجاع المناطق التي تحتوي على مراجع فقط).

3. المساهمات الرئيسية

1. معيار موحد للعلوم الاجتماعية والإنسانية: تقديم إطار تقييم شامل يغطي الاستخراج، والتحليل، والمعالجة الشاملة عبر ثلاث مجموعات بيانات متميزة (CEX، EXCITE، LinkedBooks) مع مخطط مشترك.
2. مقارنة شاملة لخطوط الأساس: تقديم تحليل جنباً إلى جنب لنظام GROGID مقابل نماذج لغبية كبيرة متنوعة، وتحديد الحالات التي تتفوق فيها النماذج اللغبية الكبيرة على الأنظمة التقليدية عند حدوث تغيرات في التوزيع (تعدد اللغات، الحواشي السفلية).
3. تكميم التكيف: إثبات أن الضبط الدقيق الخفيف باستخدام LoRA يحقق مكاسب ثابتة، لا سيالما في معايير العلوم الاجتماعية والإنساسية المكثفة، وأن محاذاة الأوامر (Prompt Alignment) أمر بالغ الأهمية.
4. استراتيجية النشر الهجينة: اقتراح بنية قائمة على التوجيه (Routing) تستفيد من سرعة GROBID للمستندات التي تقع ضمن النطاق، بينما تحيل الحالات المعقدة أو متعددة اللغات أو كثيفة الحواشي إلى نماذج لغبية كبيرة متكيفة.

4. النتائج الرئيسية

اتجاهات الأداء

• الاستخراج: تصل النماذج اللغبية الكبيرة غالباً إلى مرحلة التشبع في هذه المهمة بمجرد وصولها إلى عتبة قدرة متوسطة. الاختلافات بين النماذج الرائدة ضئيلة؛ فالاستخراج ليس هو العائق بقدر التحليل.
• التحليل والتحليل الشامل: تظل هذه المهام هي العوائق الرئيسية بسبب "هشاشة المخرجات المهيكلة" تحت التخطيطات الصاخبة.
  • يتفوق GROBID في CEX (النطاق الداخلي بالإنجليزية) ولكنه يتدهور بشكل كبير في EXCITE (الألمانية/الحواشي) و LinkedBooks (متعدد اللغات/العلوم الإنسائية).
  • تُظهر النماذج اللغبية الكبيرة (خاصة المتغيرات الأكبر مثل DeepSeek-V3.1 و Qwen3-32B) متانة فائقة في EXCITE و LinkedBooks، وغالباً ما تتفوق على GROBID في درجات F1 لمهام التحليل والمهام الشاملة.
• تأثير الحجم (Scaling Effects): يؤثر حجم النموذج بشكل كبير على استقرار التحليل. تعاني النماذج الأصغر (مثل Qwen3-4B) من معدلات فشل أعلى (JSON غير صالح، أو بتر النص) في المستندات الطويلة، بينما تحافظ النماذج الأكبر على السلامة الهيكلية.

تأثير التحسين

• الضبط الدقيق باستخدام LoRA:
  • حقق تحسينات ثابتة عبر جميع مجموعات البيانات.
  • شهدت LinkedBooks أكبر المكاسب (~+10% في Micro F1)، مما يثبت أن حتى مجموعات الإشراف الصغيرة الخاصة بالعلوم الاجتماعية والإنسانية تعزز الأداء بشكل كبير في البيانات الغنية بالأساليب ومتعددة اللغات.
  • غالباً ما كان أداء نماذج LoRA أفضل مع الأوامر القصيرة بأسلوب "التعلم من الصفر" (Zero-shot)، رغم أن بعض النماذج استفادت أيضاً من الأمثلة قليلة العينات (Few-shot).
• التقسيم (Segmentation):
  • بالنسبة لـ الاستخراج، كان "الاستدعاء الواحد" (السياق العالمي) هو الأفضل عموماً.
  • بالنسبة لـ التحليل الشامل، تفوق الخط المتكامل التكيفي (تقسيم لكل صفحة + استخراج ثم تحليل) بشكل كبير على نهج الاستدعاء الواحد. لقد قلل من تراكم الأخطاء وحصر الفشل، مما أدى إلى تحسين Micro F1 بنسبة ~10-15% في EXCITE مقارنة بالاستدعاء الواحد.

تحليل الأخطاء

• أنماط الفشل: كانت الأخطاء المهيمنة للنماذج اللغبية الكبيرة هي "الأخطاء الطفيفة" (حذف حقول/تنسيق) بدلاً من "الأخطاء الجسيمة" (الهلوسة الكاملة). ومع ذلك، زادت "الأخطاء الهيكلية" (JSON غير صحيح) مع النماذج الأصغر والسياقات الأطول.
• الحساسية للمجال: أدت جميع الأنظمة أداءً أسوأ في فئات العلوم الاجتماعية والإنسانية مقارنة بالعلوم والتكنولوجيا (STEM)، مما يسلط الضوء على صعوبة التعامل مع التباين الأسلوبي والمصطلحات المتخصصة.

5. الأهمية والتوجهات المستقبلية

• النشر العملي: تجادل الورقة ضد نهج "الحل الواحد للجميع". وبدلاً من ذلك، تدعو إلى التوجيه الهجين (Hybrid Routing): استخدام GROBID لمستندات PDF القياسية جيدة الهيكلة لزيادة الإنتاجية، مع توجيه مستندات العلوم الاجتماعية والإنسانية المعقدة (متعددة اللغات، كثيفة الحواشي) إلى النماذج اللغبية الكبيرة المتكيفة مع المهام.
• رقمنة العلوم الاجتماعية والإنسانية: تؤكد النتائج أن النماذج اللغبية الكبيرة، عندما يتم تكييفها بشكل صحيح، تعد حلولاً قابلة للتطبيق لرقمنة مجموعات العلوم الاجتماعية والإنسانية، وهو مجال عانى تاريخياً من نقص الأدوات المؤتمتة.
• العمل المستقبلي: يقترح المؤلفون توسيع نطاق تكيف LoRA ليشمل خط المعالجة الكامل (تحليل التخطيط + الاستخراج + التحليل) وتطوير محولات نمطية للغات ذات الموارد المحدودة (مثل اللاتينية، البولندية) لتعزيز التغطية العالمية بشكل أكبر.

باختالاف، تثبت الورقة أنه بينما تكون خطوط المعالجة التقليدية سريعة وموثوقة للمدخلات القياسية، فإن النماذج اللغبية الكبيرة المقترنة بتكيف LoRA واستراتيجيات التقسيم الذكية توفر حلاً قوياً وقابلاً للتوسع للواقع المعقد والمتباين للأدبيات في العلوم الاجتماعية والإنسانية.