Measuring coverage of cited fields by author publication histories

ملخص تقني: قياس تغطية المجالات المستشهد بها من خلال السجلات المنشورة للمؤلفين

بيان المشكلة
تستخدم الدراسات الببليومترية (البيبلوغرافية) المراجع بشكل متكرر لتوصيف التنوع التخصصي، والتركيبات المعرفية، وعمر الأدبيات. ومع ذلك، لا يزال هناك تمييز جوهري لم يتم معالجته: وهو العلاقة بين الأدبيات المستشهد بها وبين السجلات المنشورة المحددة للمؤلف الذي أنتج العمل. فمن الممكن أن تكون قائمة المراجع المتنوعة ممثلة جيداً في السجلات السابقة لفريق بحثي واحد، بينما تكون غائبة تماماً عن فريق آخر. تركز مقاييس تنوع الخبرة الحالية غالباً على المسافات بين ملفات تعريف المؤلفين أو تكوين المحفظة المستشهد بها بمعزل عن غيرها، دون تحديد كمية التقاطع بين الاثنين. وتفترض الورقة أن فهم البحث الجماعي يتطلب قياساً محدداً لمدى تمثيل توزيع المراجع المستشهد بها في الورقة البحثية ضمن تاريخ النشر الفردي مقابل تاريخ الفريق المشترك، وكم يتبقى من هذا التوزيع دون تغطية.

المنهجية
تقدم الدراسة إطار عمل تفكيك المراجع الموزونة (reference-weighted decomposition framework) لتقسيم المجالات المستشهد بها لورقة بحثية محورية إلى ثلاثة مكونات:

1. الحد الأقصى للتغطية الفردية ($M$): حصة الفئات المستشهد بها التي يغطيها المؤلف الوحيد الذي يمتلك أوسع تاريخ ذي صلة.
2. التغطية الإضافية للمؤلفين المشاركين ($D$): الحصة الزائدة من الفئات المستشهد بها الناتجة عن دمج سجلات جميع المؤلفين المشاركين، بما يتجاوز ما يغطيه الحد الأقصى للتغطية الفردية ($M$).
3. المتبقي غير المغطى ($E$): حصة الفئات المستشهد بها الغائبة عن السجل المنشور لكل مؤلف.

يفرق إطار العمل بين نافذتين زمنيتين للمراقبة: نافذة ما قبل المشروع (خمس سنوات قبل بدء المشروع) ونافذة ما قبل النشر (خمس سنوات قبل الورقة البحثية المحورية). وهذا يسمح بحساب صافي تغير التغطية ($A = E_{pre} - E_{pub}$)، مما يفصل بين الحصص الأساسية غير المغطاة وبين المكاسب أو الخسائر اللاحقة.

تستخدم الدراسة مجموعة بيانات مترابطة تجمع بين سجلات منح المؤسسة الوطنية للعلوم والتكنولوجيا والمعلومات (NTIS) في كوريا، وإقرارات مؤسسة البحث الوطني (NRF)، ومنشورات OpenAlex. ويتبع التحليل تسلسلاً استدلالياً من ثلاث مراحل:

• مرحلة الاكتشاف: 115 ورقة مرتبطة بمنح.
• مرحلة التأكيد الأولى: 240 ورقة (إجمالي $N=355$ للتشخيصات الاستكشافية).
• مرحلة التأكيد الثانية: بروتوكول ثابت استباقياً يحلل 194 منحة (112 تستخدم الذكاء الاصطناعي، و82 لا تستخدمه) تم اختيارها من أصل 832.

التطبيق الرئيسي يبحث فيما إذا كانت المشاريع المصنفة كأعمال تستخدم الذكاء الاصطناعي (AI) تظهر حصصاً أساسية غير مغطاة ($E_{pre}$) أعلى مقارنة بالمشاريع التي لا تستخدم الذكاء الاصطناعي، وذلك لاختبار الفرضيات المتعلقة بدور الذكاء الاصطناعي في تقديم معرفة غير مألوفة.

المساهمات والمقاييس الرئيسية

• تفكيك التغطية: توفر الورقة طريقة قابلة لإعادة الإنتاج لفصل حصص التغطية (الفردية، والجماعية، وغير المغطاة) على أساس مشترك، وموزونة بتكرار الاستشهاد.
• تحليل التركيز على الاستشهاد: من خلال تجارب إعادة تخصيص الاستشهادات داخل الورقة الواحدة، تقوم الدراسة بتثبيت تاريخ المؤلفين، والتنوع، وإجمالي المجالات، مع تغيير عدد الاستشهادات. وهذا يعزل تأثير مكان وضع الاستشهادات (المجالات المغطاة مقابل غير المغطاة) بشكل مستقل عن تكوين المحفظة.
• التمييز عن الألفة: يصرح المؤلف صراحةً بأن $E$ يقيس غياب الأدلة المفهرسة، وليس غياب الخبرة الفعلية أو التعلم. إنه حساب وصفي للتقاطع بين الاستشهادات والسجلات، وليس مؤشراً على الألفة المعرفية.

النتائج

• التشخيصات الاستكشافية:

  • يظل تنوع المراجع (إنتروبيا شانون) مرتبطاً إيجابياً بالحصة غير المغطاة ($E_{pre}$) حتى بعد الضبط لعدد المؤلفين، وعدد المراجع، وحجم التاريخ. في مرحلة الاكتشاف، أدت إضافة التنوع إلى النموذج إلى رفع قيمة $R^2$ من 0.328 إلى 0.502.
  • التركيز على الاستشهاد: تضع المحافظ الفعلية وزناً أقل بكثير على المجالات الفرعية غير المغطاة مقارنة بالمعايير الهيكلية. في مرحلة الاكتشاف، كانت الحصة غير المغطاة المرصودة أقل بـ 8.66 نقطة مئوية من المعيار المرجعي لإعادة التخصي_ال مشروط بالمجال (فاصل ثقة 95%: 6.22–11.36). واستمر هذا التباين حتى بعد استبعاد المراجع الموجودة في المجال الأساسي للورقة نفسها.
  • آثار التجميع: في الأوراق التي تستخدم الذكاء الاصطناعي، يبلغ متوسط "التغطية الإضافية للمؤلفين المشاركين" ($D$) نحو 10.89% لكل ورقة، ولكنه يبلغ 3.45% فقط لكل حالة استشهاد في مرحلة التأكيد الأولى، مما يسلط الض الضوء على كيف يمكن لمقاييس التجميع أن تحجب المساهمة الهامشية للمؤلفين المشاركين في استشهادات محددة.

• تطبيق الذكاء الاصطناعي (اختبار الفرضيات):

  • الاكتشاف: اقترح وجود ارتباط إيجابي بين استخدام الذكاء الاصطناعي والحصة غير المغطاة.
  • التأكيد الأول: فشل في الاختبار الأساسي لصافي تغير التغطية ($A$).
  • التأكيد الثاني: تم نقل نقطة النهاية الأساسية إلى $E_{pre}$ (حصة ما قبل المشروع غير المغطاة) بناءً على النتائج السابقة. كان معامل استخدام الذكاء الاصطناعي قريباً من الصفر (+0.455 نقطة، فاصل ثقة 95%: −6.831 إلى 7.742) تحت ضبط المجال الرئيسي، و(+0.517 نقطة، فاصل ثقة 95%: −7.395 إلى 8.428) تحت ضبط المجال التفصيلي.
  • الاستنتاج حول الذكاء الاصطناعي: لا تؤكد الدراسة أن مشاريع استخدام الذكاء الاصطناعي لديها حصة أساسية غير مغطاة أعلى. فبينما تستشهد أوراق الذكاء الاصطناعي بمزيد من أدبيات الذكاء الاصطناعي، إلا أن هذه الأدبيات غالباً ما تكون ممثلة بالفعل في السجلات السابقة للمؤلفين.

الأهمية والادعاءات
تدعي الورقة أنها تقدم تقريراً قابلاً لإعادة الإنتاج لتركيز الاستشهاد بالنسبة لسجلات النشر الموثقة. مساهمتها الأساسية هي منهجية: فهي تضع إطاراً لقياس مقدار المجالات المستشهد بها في ورقة ما والتي تعد "مغطاة" من قبل عمل الفريق السابق مقابل تلك "غير المغطاة".

يتسم المؤلف بالتواضع في ادعاءاته، حيث يؤكد أن:

1. التغطية $\neq$ الألفة: يشير المرجع غير المغطى إلى نقص في التاريخ المفهرس، وليس بالضرورة نقصاً في الخبرة أو التعلم.
2. لا توجد آلية سببية: تصف الدراسة الارتباطات والتباينات الهيكلية لكنها لا تثبت الآليات السببية لسبب استشهاد الفرق بالمجالات غير المغطاة أو كيفية اكتساب المعرفة.
3. الاعتماد على السياق: النتలు محددة بمجتمع المنح الكوري المرتبط بضبط محافظ، ولا تنطبق بالضرورة على جميع سياقات البحث دون مزيد من التحقق.
4. حدود التفسير: يحدد إطار العمل العلاقة بين تركيز الاستشهاد والسجلات، لكنه لا يثبت عدم الألفة. وفشل تأكيد ارتباط الذكاء الاصطناعي يشير إلى أن أبحاث الذكاء الاصطناعي في هذه العينة لا تعتمد بالضرورة على مجالات خارج السجلات السابقة للمؤلف.

في النهاية، تجادل الورقة بأن قياس التغطية يوفر طبقة ضرورية من التفصيل للتحليل الببليومتري، حيث يميز بين تنوع مراجع الورقة وبين توافق تلك المراجع مع خبرة المؤلف الموثقة.