How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description

ملخص تقني: ما مقدار الهيكلية التي تحتاجها النماذج اللغوية الكبيرة؟ تقييم النماذج اللغوية الكبيرة لوصف العناقيد الببليومترية

بيان المشكلة
تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في توليف الأدبيات العلمية، بما في ذلك إنشاء الأعمال ذات الصلة والمراجعات الأدبية التلقائية. ومع ذلك، لا يزال إنشاء مراجعة أدبية من الصفر يمثل مشكلة بسبب ميل هذه النماذج إلى الهلوسة في المراجع، وتقديم تغطية غير متوازنة، وفرض تنظيمات موضوعية غير مدعومة بالسجل الأكادى. وبينما يعمل التوليد المعزز بالاسترجاع (RAG) على تحسين التأسيد، إلا أنه لا يحل تماماً صعوبة هيكلة الخريطة الأدبية. توفر التحليلات الببليومترية بديلاً مهيكلاً، باستخدام البيانات الوصفية (الاستشهادات، المراجع) لتنظيم الأوراق في عناقيد تمثل تدفقات بحثية. السؤال البحثي المركزي الذي يتناوله البحث هو: ما مقدار الهيكلية الببليومترية الخارجية التي يجب توفيرها للنموذج اللغوي الكبير لتوليد أوصاف عناقيد موثوقة؟ وبشكل محدد، يبحث المؤلفون فيما إذا كانت النماذج اللغوية الكبيرة قادرة على استنتاج الهيكلية الببليومترية ذاتياً، أم أنها تعمل بشكل أفضل كمفسرات لهياكل محددة خوارزمياً.

المنهجية
تقيم الدراسة ستة مسارات (pipelines) متميزة تمثل متتالياً من التناقص في مسؤولية النموذج اللغوي الكبير والزيادة في الهيكلية الببليومترية. تم بناء المعيار من 100 ورقة مراجعة ببليومترية محكمة. ولكل ورقة مصدر، قام المؤلفون باستخراج الاستعلام البحثي الأصلي والأوصاف البشرية للعناقيد يدوياً، ثم أعادوا بناء مجموعة بيانات سكوبس (Scopus) المقابلة.

المسارات الستة المختبرة هي:

1. الأعمى (Blind): يتلقى النموذج اللغوي الكبير الاستعلام البحثي فقط والعدد المستهدف من العناقيد. ويجب عليه استنتاج الموضوعات، والمراجع، وهياكل العناقيد من الصفر.
2. المتن (Corpus): يتلقى النموذج اللغالاستعلام، والعدد المستهدف من العناقيد، والمتن الكامل المعاد بناؤه من سكوبس (العناوين والملخصات). ويجب عليه استنتاج هيكل العنقود ووصفها في تمريرة واحدة.
3. اختيار المتن (Corpus-select): عملية من مرحلتين حيث يقوم النموذج أولاً باختيار الأوراق ذات الصلة من المتن لكل عنقود، ثم يجمع الأوصاف من هذا الدليل المفلتر.
4. الموسوم (Labeled): يتلقى النموذج المتن مجمعاً مسبقاً بواسطة خوارزمية تجميع ببليومترية قياسية (خوارزمية Louvain لكشف المجتمعات بناءً على الاقتران الببليومتري أو الاستشهاد المباشر). ويقتصر دور النموذج على تفسير ووصف هذه العناقيد المحددة مسبقاً.
5. اختيار الموسوم (Labeled-select): مشابه لـ "الموسوم"، ولكن في عملية من مرحلتين حيث يختار النموذج أولاً الأوراق الأكثر تمثيلاً داخل العناقيد المحددة مسبقاً قبل توليد الأوصاف.
6. المصنف (Ranked): يتلقى النموذج العناقيد المحددة مسبقاً ولكنه يُزود فقط بمجموعة فرعية مدمجة ومرتبة في الأعلى (بناءً على قوة الارتباط) من كل عنقود لتلخيصها.

مقاييس التقييم
يتم تقييم المخرجات عبر خمسة أبعاد:

• المحاذاة البشرية: التشابه الدلالي (BERTScore) بين الأوصاف المولدة والمكتوبة بشرياً.
• التغطية الدلالية: مدى تغطية الأوصاف المولدة للمحتوى الدلالي لكامل المتن المعاد بناؤه.
• جودة التجميع: تُقاس بواسطة مؤشر راند المعدل (ARI) ودرجة السيلويت (Silhouette score)، لتقييم ما إذا كانت الأوصاف المولدة تستحث تعيينات للأوراق تستعيد الهيكلية الببليومترية الأصلية.
• جودة الهيكل الرسومي: درجات التجزئة (Modularity) لتقييم ما إذا كانت العناقيد المستحثة تتوافق مع المناطق الكثيفة في مخطط الاستشهاد أو الاقتران الببليومتري الأساسي.
• تأسيد المراجع: التحقق من المراجع المولدة مقابل السجلات الببليومترية الحقيقية (OpenAlex) والتحقق مما إذا كانت الأوصاف تعكس الأدلة المستشهد بها.

النتائج الرئيسية

1. النماذج اللغوية الكبيرة كمفسرات مقابل مولدات: تنتج النماذج اللغوية الكبيرة أوصافاً قريبة دلالياً من تلك المكتوبة بشرياً (درجة BERTScore عالية) ولكنها غير موثوقة عندما يُطلب منها استنتاج الهيكلية الببليومترية من الصفر. يؤدي مسار "الأعمى" أداءً ضعيفاً في جميع المقاييس الهيكلية ويظهر هلوسة كبيرة في المراجع.
2. تأثير الهيكلية: يتحسن الأداء بشكل ملحوظ عندما تحدد الخوارزميات الببليومترية العناقيد ويقوم النموذج اللغيدي بتفسيرها. المسارات ذات الهيكلية الخوارزمية (Labeled, Labeled-select, Ranked) تتفوق باستمرار على مسارات المتن فقط (Corpus, Corpus-select) في جودة التجميع، والتجزئة الرسومية، وتأسيد المراجع.
3. الهيكلية المعتمدة على المهمة: يعتمد المستوى الأمثل للهيكلية على العلاقة الببليومترية:
   • الاقتران الببليومتري (Bibliographic Coupling): يستفيد من سياق العنقود الكامل (Labeled هو الأفضل أداءً)، حيث تعكس هذه العناقيد غالباً خلفيات فكرية واسعة موزعة عبر العديد من الأوراق.
   • الاستشهاد المباشر (Direct Citation): يستفيد من الأدلة المدمجة والمرتبة حسب الأولوية (Ranked هو الأفضل أداءً)، حيث تتركز هياكل الاستشهاد غالباً حول أعمال مركزية مؤثرة.
4. البشر مقابل النماذج اللغوية المهيكلة: بينما تُكتب الأوصاف البشرية للتفسير العلمي، فإن المسارات اللغوية المهيكلة تحقق غالباً درجات أعلى في المقاييس على مستوى المتن، والتجميع، والقواعد الرسومية. يشير هذا إلى أن المسارات المهيكلة تحفظ الهيكلية الببليومترية أو هيكل الاستشهاد المعاد بناؤه بشكل أفضل، رغم أن هذا لا يعني بالضريد تفوقاً في البصيرة المعرفية أو الدقة مقارنة بالخبراء البشر.

الأهمية والادعاءات
يزعم البحث أن التوليف الببليومتري بمساعدة النماذج اللغوية الكبيرة هو الأكثر واعدية كـ سير عمل هجين. في هذا النموذج، توفر الخوارزميات مهاماً هيكلية دقيقة وقابلة للتدقيق (مثل تجميع الأوراق حسب الاستشهادات أو المراجع المشتركة)، بينما تتولى النماذج اللغوية الكبيرة المهمة التفسيرية المتمثلة في ترجمة تلك الهيكلية إلى أوصاف مقروءة.

يضع المؤلفون هذا العمل كحالة اختبار لتصميم أنظمة النماذج اللغوية الكبيرة الأوسع، مشيرين إلى أن النماذج اللغوية الكبيرة تكون أكثر موثوقية عندما توفر الأنظمة الخارجية الهيكلية، بينما يقوم النموذج بعملية التوليد، أو التفسير، أو الترجمة. ويؤكد البحث صراحةً أن نتائجه تثبت "الدقة الهيكلية" بدلاً من التفوق العام للنماذج اللغوية الكبيرة على الخبراء البشر في البصيرة العلمية. وتدعم النتائج التحول في أبحاث المراجعة الأدبية من التطبيقات المنعزلة ذات المهمة الواحدة نحو سير عمل متعدد المراحل ومهيكل، حيث تتم إدارة تقسيم العمل بين الدقة الخوارزمية والتوليد الإنشائي بعناية.