A Pathway for Assessing Grey Literature: Leveraging AI to Extract Conference Metadata and Organiser Information from Calls for Papers
تقدم هذه الورقة إطار عمل COCI، وهو إطار يعتمد على الذكاء الاصطناعي ويستفيد من النماذج اللغوية الكبيرة لأتمتة استخراج وهيكلة البيانات الوصفية الدقيقة من طلبات تقديم الأوراق البحثية (Calls for Papers) غير المهيكلة، مما يتيح إجراء تحليل منهجي لعلم الميتا (metascience) على الأدبيات الرمادية التي تم التغاضي عنها سابقاً.
غالبًا ما يُتخيل العلم كمجموعة من الكتب المكتملة، المرصوفة بدقة على رفوف المكتبات، حيث يدرس الباحثون الماضي عبر قراءة ما نُشر بالفعل. لكن قدرًا هائلًا من المعرفة الهامة يوجد خارج هذه القنوات الرسمية. يُطلق على هذا ما يسمى "الأدب الرمادي"، وهو مصطلح يشير إلى التقارير، وأوراق العمل، والوثائق التي لا تصل أبدًا إلى الدوريات العلمية القياسية. ومن بين أكثر هذه الوثائق حيوية هي "دعوات تقديم الأوراق البحثية"، وهي إعلانات تدعو الباحثين لتقديم أعمالهم للمؤتمرات القادمة. تُعد هذه الوثائق بمثابة نظام إنذار مبكر للعلم، إذ تكشف عن الاتجاهات الجديدة والمجالات الناشئة قبل أن تُكتب في مقال نهائي. ومع ذلك، نظرًا لأن هذه الإعلانات مبعثرة عبر الإنترنت في تنسيقات فوضوية وغير موحدة، فقد كان من المستحيل تقريبًا دراستها على نطاق واسح؛ إذ تعاني الأدوات الحاسوبية التقليدية في قراءتها، مما يترك فجوة كبيرة في فهمنا لكيفية تشكل المجتمعات العلمية وتطورها فعليًا.
ولسد هذه الفجوة، طور فريق من الباحثين نظامًا جديدًا يسمى (COCI)، يستخدم الذكاء الاصطناعي المتقدم لقراءة وتنظيم هذه الإعلانات الفوضوية. يعمل النظام كأرشيفي رقمي، حيث يأخذ النص غير المنظم لدعوة مؤتمر ما ويحوله إلى قائمة نظيفة ومنظمة من الحقائق. فهو يحدد اسم الحدث، والسنة، والموقع، والأهم من ذلك، الأشخاص الذين يديرون العرض. هو لا يكتفي بسرد الأسماء فحسب، بل يحدد من هم هؤلاء الأشخاص، وإلى أي مؤسسات ينتمون، وما هي أدوارهم المحددة، مثل تنظيم ورشة عمل أو إدارة الدعاية. ومن خلال القيام بذلك، يحول النظام مجموعة من النصوص المختلطة إلى قاعدة بيانات مهيكلة يمكن للعلماء استخدامها فعليًا لتحليل مشهد البحث العلمي.
اختبر الباحثون هذا النظام عبر تغذيته بأربعين إعلانًا مختلفًا لمؤتمرات من مجالات متنوعة، تتراوح من علوم الحاسوب والهندسة إلى طب الأسنان وعلم الآثار. كان الهدف هو معرفة ما إذا كان بإمكان النظام التعامل مع واقع الإنترنت الفوضوي، حيث قد يسرد مؤتمر ما منظميه في فقرة بسيطة، بينما يدفن مؤتمر آخر المعلومات في جدول معقد. نجح النظام في استخراج التفاصيل الرئيسية من جميع الوثائق الأربعين؛ حيث حدد سلسلة المؤتمرات، والنسخة المحددة، والموقع الجغرافي. كما استخرج أسماء كل شخص في اللجنة المنظمة وربطهم بسجلات علمية عامة للتحقق من هوياتهم وانتماءاتهم. تتيح هذه العملية للنظام التمييز بين الأشخاص المختلفين الذين قد يتشاركون الاسم نفسه، والتأكد من الجامعة أو المنظمة التي يمثلونها حاليًا.
أحد أهم إنجازات النظام هو قدرته على فهم المواضيع التي تغطيها هذه المؤتمرات. فعندما يسرد إعلان مؤتمر ما مجالات اهتمامه، فإنه غالبًا ما يستخدم لغة غير رسمية أو عبارات فريدة. يقوم النظام بترجمة هذه العبارات إلى مفاهيم علمية معيارية، مما يخلق جسرًا بين اللغة العفوية للإعلان والمفردات الرسمية التي يستخدمها الباحثون حول العالم. كما يطابق اسم المؤتمر مع قواعد البيانات العالمية الموجودة، مما يضمن تحديد الحدث بشكل صحيح حتى لو اختلف الاسم قليلًا أو إذا عُقد المؤتمر تحت عناوين مختلفة على مر السنين. وهذا يخلق خريطة موثوقة للحدث ضمن العالم الأوسع للعلوم.
ومع ذلك، فقد أكد الباحثون بعناية أن النظام ليس مثاليًا ويتطلب إشرافًا بشريًا لتدارك أخطائه. ففي إحدى حالات الاختبار، افترض النظام خطأً أن كل عضو في لجنة تنظيمية ينتمي إلى نفس الجامعة لأن النص الأصلي لم يحدد انتماءاتهم الفردية. وقد بنى الباحثون فحص أمان داخل النظام لالتقاط هذا النوع من الخطأ، مدركين أنه من غير المرجح جدًا أن تأتي لجنة كاملة من مؤسسة واحدة. وفي حالة أخرى، طابق النظام باحثًا مع شخص خاطئ في قاعدة بيانات عامة لأن قاعدة البيانات نفسها كانت تحتوي على معلومات متضاربة. تُظهر هذه الأمثلة أنه رغم قوة هذه الأداة، إلا أنها لا تزال تعتمد على جودة البيانات التي تصل إليها وعلى منطق القواعد التي تتبعها.
الهدف النهائي من هذا العمل هو تحويل التركيز في التحليل العلمي نحو هذه الفعاليات غير التقليدية. فمن خلال جعل دراسة دعوات تقديم الأوراق البحثية أمرًا ممكنًا بشكل منهجي، يفتح النظام الباب لفهم كيفية بناء المجتمعات البحثية من الصفر. فهو يسمح بتتبع الاتجاهات الناشئة قبل ظهورها في الدوريات الرسمية، ويوفر وسيلة للتعرف على مساهمات العديد من الأشخاص الذين ينظمون ويشكلون هذه الفعاليات ولكن غالبًا ما يمر دون ملاحظة في المقاييس التقليدية. لقد أتاح الباحثون أداتهم للجمهور كمشروع مفتوح المصدر، داعين الآخرين لاستخدامها وتحسينها. ويشير هذا النهج إلى مستقبل يمكن فيه رؤية الصورة الكاملة والمتنوعة للنشاط العلمي، ليس فقط النتائج النهائية المصقولة، بل عملية الاكتشاف الديناميكية والمتطورة نفسها.
ملخص تقني: مسار لتقييم الأدب الرمادي عبر إطار عمل COCI
بيان المشكلة اعتمدت علوم الميتا (Metascience) والتحليلات القياسية العلمية (Scientometric analyses) تقليديًا على الأدب المنشور (المجلات وأعمال المؤتمرات)، متجاهلة إلى حد كبير "الأدب الرمادي" (Grey literature) مثل "دعوات تقديم الأوراق البحثية" (Calls for Papers - CfPs). وبينما تُعد هذه الدعوات حيوية للوصول إلى توجهات بحثية حديثة ومتخصصة، إلا أن تحليلها على نطاق واسع يظل صعبًا بسبب تنسيقاتها غير المهيكلة والمتنوعة وافتقارها إلى الضبط الببليوغرافي. وتتدهور أدوات الاستخراج التقليدية، التي تعتمد على القواعد الاستدلالية (Heuristics) أو التعبيرات النمطية (Regular expressions)، عند مواجهة التباين في تخطيطات دعوات تقديم الأوراق البحثية غير الرسمية. ونتيجة لذلك، يظل بُعد هام من المشهد البحثي — وهو الفعاليات غير القائمة على الناشرين ومنظموها — غير متاح للتحليل المنهجي.
المنهجية: إطار عمل COCI يقدم المؤلفون إطار عمل COCI (معرف منظمي المؤتمرات والمحتوى)، وهو إطار يعتمد على الذكاء الاصطناٍعي مصمم لأتمتة استخراج البيانات الوصفية الدقيقة والمهيكلة من النصوص الخام لدعوات تقديم الأوراق البحثية. وبدلاً من الاعتماد فقط على واجهة مطالبة واحدة (Single prompt interface)، يستخدم COCI خط معالجة متعدد المراحل يعامل مخرجات النماذج اللغوية الكبيرة (LLM) كنقطة انطلاق للمعالجة اللاحقة الصارمة والتحقق الخارجي. يتكون سير العمل من خمس مراحل:
هندسة المطالبات والاستخراج:
باستخدام نموذج GPT-4o، يقوم COCI بمعالجة نص دعوة تقديم الأوراق البحثية الخام لاستخراج كيانات محددة: أسماء الفعاليات، الاختصارات، السلاسل، السنوات، المواقع، وقائمة شاملة للمواضيع.
يتمثل مكون حاسم في الاستخراج الشامل للجنة المنظمة، عبر التقاط الأسماء الكاملة، والانتماءات، والدول، والأدوار المحددة (مثل "الرئيس العام").
يفرض النظام مخطط JSON schema صارمًا عبر طلبات واجهة برمجة التطبيقات (API) لضمان مخرجات قابلة للقراءة آليًا وذات أنواع بيانات محددة بدقة.
فض الاشتباك بين المؤلفين (التكامل مع OpenAlex):
يتم ربط المنظمين المستخرجين بملفات تعريف المؤلفين في قاعدة بيانات OpenAlex لاسترداد المعرفات المستمرة (ORCIDs، ومعرفات OpenAlex) وبيانات الانتماء (معرفات ROR).
استراتيجية مطابقة متعددة المراحل:
الأولوية للانتماء: يبحث النظام أولاً عن مؤسسة المنظم داخل OpenAlex، مع تصفية المؤلفين المرتبطين بمعرف تلك المؤسسة تحديدًا.
كشف الهلوسة: يتحقق استدلالي (Heuristic) من التجانس المريب (على سبيل المثال، إذا نُسب جميع أعضاء اللجنة إلى مؤسسة واحدة)، حيث يتم استبعاد بيانات الانتماء هذه إذا كان التوزيع غير واقعي.
الرجوع إلى الاسم فقط: إذا فشل البحث عن الانتماء، يقوم النظام بإجراء بحث بالاسم فقط، مع ترتيب المرشحين حسب عدد المنشورات واستخدام تشابه ليفنشتاين (Levenshtein string similarity) لحل مشكلات الأسماء الشائعة.
التحقق: إذا كان الانتماء موجودًا في دعوة تقديم الأوراق، يتم إجراء مطابقة ضبابية (Fuzzy-matching) له مقابل تاريخ منشورات المؤلف لتأكيد الدقة. وتُوسم المطابقات ببادئة "تم التحقق" (Verified) في واجهة المستخدم.
رسم خرائط المواضيع:
غالبًا ما تكون المواضيع الخام المستخرجة بواسطة النموذج اللغوي الكبير غير معيارية. يقوم COCI بربطها بالمفردات المحكومة لـ مفاهيم OpenAlex.
التضمين الدلالي (Semantic Embedding): يتم تحويل المواضيع المستخرجة إلى ناقلات كثيفة (Dense vectors) ذات 384 بُعدًا باستخدام نموذج SentenceTransformers (all-MiniMin-L6-v2).
المطابقة بالتشابه: يتم حساب تشابه جيب التمام (Cosine similarity) بين تضمينات المواضيع وفهرس مسبق الحساب لتضمينات مفاهيم OpenAlex. يتم تطبيق عتبة قدرها 0.6 لتحديد المصطلحات المتكافئة دلاليًا، مما يسمح للنظام بالتعامل مع إعادة الصياغة والاختلافات الطفيفة (مثل استخدام الوصلات) التي قد تفشل مع المطابقة النصية الجامدة.
مطابقة سلسلة المؤتمرات:
يتم محاذاة أسماء السلاسل المستخرجة مع ثلاث خدمات خارجية: DBLP، ولوحة معلومات AIDA، وConfIDent.
المحاذاة الهجينة: يستخدم النظام البحث الدلالي (SentenceTransformers) لاسترجاع أقرب الجيران، يليه التحقق باستخدام تشابه ليفنشتاين (Levenshtein string similarity) لضمان دقة عالية. وتُستخدم المراجعة المتقاطعة لاسترداد المعرفات المقابلة عبر هذه المنصات.
التصور البياني:
تُعرض البيانات المعالجة عبر واجهة ويب Streamlit. تعرض الواجهة البيانات الوصفية للمؤتمر، وجدولًا تفاعليًا للجنة المنظمة (مع الأدوار والانتماءات المتحقق منها)، وروابط للسجلات والمواضيع المخططة. ويمكن للمستخدمين تصدير مجموعة البيانات المثرية كملفات Excel.
المساهمات الرئيسية
حصاد الأدب الرمادي المؤتمت: يوفر COCI مسارًا قابلًا للتوسع لمعالجة النصوص غير المهيكلة لدعوات تقديم الأوراق، وتحويلها إلى مجموعات بيانات مهيكلة صالحة للتحليل القياسي العلمي.
حل الكيانات القوي: يقدم إطار العمل نهجًا هجينًا لفض الاشتباك بين المؤلفين والانتماءات، حيث يجمع بين الاستخراج بالنموذج اللغوي الكبير والتحقق من قواعد المعرفة الخارجية (OpenAlex, ROR) والتحقق الاستدلالي ضد الهلوسة.
التقييس الدلالي: من خلال ربط المواضيع وسلاسل المؤتمرات بالنصوص الحرة بالمفردات المحكومة (OpenAlex, DBLP، إلخ)، يتيح COCI التوافق التشغيلي والتحليل المقارن عبر مختلف التخصصات الأكاديمية.
تنفيذ العلم المفتوح: يتم طرح إطار العمل كمشروع مفتوح المصدر (GitHub)، بما في ذلك الكود، وبيانات التقييم (40 دعوة تقديم أوراق)، وإصدار محدد (v1.0.0) لضمان قابلية التكرار.
التقييم والنتائج قيم المؤلفون COCI من خلال معالجة 40 دعوة تقديم أوراق عبر مجالات متنوعة (علوم الحاسوب، الهندسة، علوم المواد، طب الأسنان، علم الآثار، إلخ).
الأداء: من خلال نهج "الاختبار والتعلم" التكراري الذي يتضمن تحسين المطالبات ومنطق التحقق، نجح COCI في معالجة جميع دعوات تقديم الأوراق واستخراج البيانات الوصفية.
القيود المحددة:
الهلوسة: في حالة واحدة (STI 2026)، نسب النموذج اللغوي خطأً جميع أعضاء اللجنة إلى مؤسسة واحدة. تم التخفيف من ذلك من خلال تنفيذ آلية استدلالية للكشف عن توزيعات الانتماء المتجانسة والمريبة واستبعادها.
أخطاء البيانات الخارجية: حدث خطأ في المطابقة حيث تم ربط أحد المنظمين بملف تعريف خاطئ في OpenAlex بسبب عدم اتساق البيانات الموجود مسبقًا في OpenAlex نفسه (مشكلة اسم مستعار)، مما يبرز أن دقة النظام تعتمد جزئيًا على جودة قواعد البيانات الخارجية.
تفسير الأدوار: فشلت المطالبات الأولية أحيانًا في فهم أدوار معينة، حيث كانت تلجأ إلى مصطلحات عامة. تم تثبيت هذا الأمر من خلال المزيد من هندسة المطالبات.
الأهمية والرؤية يرى البحث أن COCI يؤسس لقاعدة للتحليل المنهجي للأدب الرمادي، مما ينقل التركيز العلمي نحو الفعاليات غير القائمة على الناشرين. ومن خلال هيكلة المعلومات التي لم تكن متاحة سابقًا، تتيح الأداة:
فرص بحثية جديدة: السماي بتحليل الاتجاهات البحثية، والتقاطعات التخصصية، وشبكات التعاون في مرحلة نشوئها، قبل النشر الرسمي.
تقييم صحة الفعاليات: توفير أساس لتقييم الجودة العلمية وتنوع فرق تنظيم المؤتمرات.
الاعتراف بالمجتمع: وضع البنية التحتية لمنصة يمكن أن تمنح ائتمانًا رسميًا للباحثين مقابل مساهمات المجتمع (مثل التنظيم)، على غرار أنظمة الاعتراف بمراجعة الأقران.
يؤطر المؤلفون COCI ليس كحل نهائي بل كـ "مسار" ونقطة انطلاق. وتتطلع الأعمال المستقبلية إلى تطوير محركات زحف مؤتمتة لحصاد دعوات تقديم الأوراق من السجلات والقوائم البريدية، وإنشاء تطبيقات لاحقة للتحليل الطولي والمقارن لمشهد الفعاليات العلمية.