Eliot: Interactively $\underline{E}$xploring Fast-Changing Scientific $\underline{Li}$terature Trends with $\underline{O}$nline Da$\underline{t}$a and Learning

ملخص تقني: إليوت (Eliot) – الاستكشاف التفاعلي لاتجاهات الأدبيات العلمية سريعة التغير

بيان المشكلة
إن النمو المتسارع في النشر العلمي يجعل تتبع تطور المجالات البحثية سريعة الحركة أمراً صعباً بشكل متزايد. وبينما تقوم محركات البحث الحالية والمساعدات القائمة على النماذج اللغوية الكبيرة (LLMs) باسترجاع الأوراق أو تلخيصها، إلا أنها غالباً ما تحجب القرارات الضمنية المتعلقة باختيار المتون، والتنظيم، والربط بالأنماط الزمنية. فالمساعدون الحاليون في مجال الأدبيات غالباً ما يقدمون قوائم مرتبة أو تركيبات مولدة غامضة تخفي الأدلة الكامنة وراء الاتجاهات. يتطلب الباحثون سير عمل قابلاً للفحص للتحقق من الوثائق التي تدعم الأنماط الزمنية الظاهرة، وفهم كيفية انفصال الأوراق إلى موضوعات، وتحديد الاتجاهات الناشئة دون الاعتماد على تصنيفات ثابتة يديرها خبراء أو نصوص برمجية خاصة بمجالات معينة.

المنهجية
يقدم المؤلفون إليوت (Eliot)، وهو نظام تفاعلي منشور للجمهور مصمم للاستكشاف القابل للتتبع للأدبيات العلمية المتطورة باستخدام البيانات عبر الإنترنت. يعمل النظام بناءً على وقت الاستعلام، حيث يسترجع الأوراق من موقع arXiv بدلاً من الاعتماد على مجموعات بيانات مرجعية ثابتة.

• خط إنتاج النظام (System Pipeline):

  1. الاسترجاع: يدخل المستخدمون مصطلحات استعلام صريحة (كلمات مفتاحية/عبارات)، وفلاتر الفئات، والنطاقات الزمنية، ومعايير الترتيب. يقوم النظام باسترجاع الأوراق ذات الصلة من arXiv، ودمج العناوين والملخصات لمعالجتها.
  2. التمثيل والتجميع (Clustering): يتم تمثيل المتن المسترجع باستخدام تضمينات النصوص (Text Embeddings). يدعم النظام كلاً من التجميع التلقائي (لاستنتاج الهيكل) والتجميع الذي يتحكم فيه المستخدم (لتحديد عدد المجموعات).
  3. التوسيم (Labeling): يتم تعيين كلمات مفتاحية ممثلة لكل مجموعة باستخدام تقنية (c-TF-IDF) المستوحاة من BERTopic، لتلخيص الميزات المميزة للمجموعة.
  4. التصور المرئي: تعرض الواجهة الكلمات المفتاحية للمجموعات، ومخطط تشتت زمني يوضح توزيع الأوراق عبر سنوات النشر، وقوائم أوراق مقسمة إلى صفحات مع روابط المصدر.
  5. القابلية للتتبع: هدف التصميم الجوهري هو القابلية للتدقيق؛ حيث يمكن للمستخدمين فحص عضويات المجموعات، ومقارنة التسميات، والوصول إلى سجلات المصدر الأصلية بدلاً من الاعتماد فقط على الملخصات.

• تقييم التكوين غير المتصل بالإنترنت (RQ1):
  لتحديد التكوين الافتراضي الأمثل، أجرى المؤلفون تقييماً آلياً غير متصل بالإنترنت عبر ثمانية مجالات متنوعة من arXiv (مثل علوم الحاسوب، الفيزياء، والاقتصاد). وقد اختبروا تركيبات من:

  • تمثيلات الوثائق: MiniLM، وSciBERT، وTF-IDF.
  • تقليل الأبعاد: UMAP وSVD (مع أعداد مختلفة من المكونات).
  • خوارزميات التجميع: K-Means، والتجميع التجمعي (Agglomerative Clustering)، وFuzzy C-Means.
  • المقاييس: مقاييس التجميع الجوهرية (Silhouette Score، وCalinski-Harabasz Index، وDavies-Bouldin Index) ومقاييس تماسك الموضوع ($C_{V}$ و$C_{NPMI}$).

• تقييم المستخدم (RQ2 وRQ3):
  تم تقييم قابلية التفسير والمنفعة للنظام عبر مسح قائم على السيناريوهات (10 مشاركين) ومجموعة تركيز من الخبراء (4 باحثين ذوي خبرة). قام المشاركون بتقييم سيناريوهات محددة مسبقاً (مثل "النماذج اللغوية الكبيرة" في علوم الحاسوب، و"السوق والتنبؤ" في التمويل الكمي) وأدوا مهاماً ذاتية التوجيه.

المساهمات الرئيسية

1. نظام تفاعلي عام: يجمع "إليوت" بين استرجاع arXiv عند وقت الاستعلام، والتجميع غير الخاضع للإشراف، وتوسيم الكلمات المفتاحية، والتصور الزمني، وفحص مستوى الوثيقة في سير عمل واحد.
2. سير عمل قابل للتتبع: يكشف النظام عن إعدادات الاستعلام، والأوراق المسترجعة، وتعيينات المجموعات، وروابط المصدر، مما يدعم القابلية للتدقيق في تحليل الأدبيات الاستكشافي.
3. التحليل التجريبي للتكوين: حدد التقييم الآلي عبر ثمانية مجالات تكويناً افتراضياً قوياً (تضمينات MiniLM، و10 أبعاد لـ UMAP، والتجميع التجمعي).
4. التحقق المتمحور حول المستخدم: أظهرت الأدلة من المسوحات ومجموعات التركيز أن المستخدمين يجدون تسميات المجموعات ذات معنى ويقدرون فائدة الأداة للحصول على نظرات عامة قابلة للتدقيق للمجالات التقنية سريعة التغير.

النتائج

• اختيار التكوين: كشف التقييم غير المتصل بالإنترنت أن تضمينات MiniLM كانت التمثيل الأعلى أداءً عبر جميع المجالات الثمانية، متفوقة على SciBERT وTF-IDF. وكان UMAP هو طريقة تقليل الأبعاد المفضلة، حيث كان 10 مكونات هو الإعداد الأمثل الأكثر تكراراً. وظهر التجميع التجمعي (Agglomerative Clustering) بشكل متكرر في التكوينات الأعلى تصنيفاً، يليه عن كثب K-Means. وبناءً على ذلك، يوصي المؤلفون بـ MiniLM + 10D UMAP + Agglomerative Clustering كافتراض عملي.
• تفسير المستخدم: في المسح، قيم 85% من الاستجابات التسميات للمجموعات بأنها ذات معنى (4 أو 5 على مقي scale ليكرت)، وهي نتيجة ذات دلالة إحصائية ($p < 0.001$). وبينما تباينت المنفعة المدركة لسيناريوهات معينة بناءً على خلفية المستخدم، أظهر المشاركون تصوراً إيجابياً لجدوى الأداة في الأبحاث المستقبلية ($p = 0.047$).
• تعليقات الخبراء: أكدت مجموعة التركيز أن "إليوت" أكثر قيمة في توفير نظرات عامة قابلة للتتبع للمجالات سريعة التغير. وقد قدر المستخدمون القدرة على التفاعل مع التصورات والوصول إلى أوراق المصدر مباشرة.
• القيود المحددة: لاحظ المستخدمون ارتباكاً محتملاً عندما ينتج التجميع التلقائي مستويات تدرج مختلفة عبر النوافذ الزمنية المختلفة (بسبب تأثير حدود جلب الوثائق الثابتة على كثافة التضمين). وقد عالج المؤلفون ذلك من خلال توفير ضوابط لزيادة الحد الأقصى لعدد الأوراق المسترجعة أو الانتقال إلى التجميع الذي يتحكم فيه المستخدم.

الأهمية والادعاءات
يدعي البحث أن "إليوت" يعمم تحليل تطور الأدبيات بما يتجاوز قيود التصنيفات المصنوعة يدوياً والنصوص البرمجية الخاصة بالمجالات (مثل تحليل أدبيات تخطيط LLM من قبل Pallagani وآخرون). ومن خلال التحول من التصنيف الخاضع للإشراف إلى فئات ثابتة إلى التجميع غير الخاضع للإشراف عند وقت الاستعلام، يسمح "إليوت" للباحثين بفحص الأدلة وراء اتجاهات الأدبيات مباشرة.

يضع المؤلفون "إليوت" ليس كبديل للمساعدات الذكية الموجهة نحو الإجابات (التي تلخص الادعاءات)، بل كأداة مكملة لمرحلة الاستكشاف المبكرة. فهو يساعد الباحثين على جعل المتن المسترجع مرئياً كسمات، وتسميات، وأنماط زمنية، مما يدعم "النظرات العامة القابلة للتدقيق" للمجالات التقنية سريعة التغير. يشير العمل إلى أن التجميع عند وقت الاستعلام والتفتيش الزمني يمكن أن يكملا البحث وأدوات التوليد من خلال تمكين الباحثين من تنقيح والتحقق من الأدلة وراء الاتجاهات الناشئة.

ويبقى المؤلفون متواضعين في ادعاءاتهم، مشيرين إلى أن نتائج التكوين هي "افتراضات عملية" وليست مثالية عالمية، وأن دراسات المستخدمين أولية، مما يستدد إلى تقييمات أكبر نطاقاً ومضبطة في المستقبل.