ملخص تقني: الموضوع ليس هو الأجندة: تدقيق مجتمعي للاقتباس في تضمينات النصوص

بيان المشكلة

تعمل أنظمة البحث المتجهي (Vector Search) المطبقة وخطوط أنابيب التوليد المعزز بالاسترجاع (RAG) على افتراض أن التشابه الجيبي (Cosine Similarity) العالي بين تضمينات النصوص يعمل كوكيل موثوق للارتباط المفاهيمي. وبينما تشكك الأعمال النظرية الحديثة (Steck et al. [2024]; Weller et al. [2026]) في الصلاحية الدلالية الجوهرية للتضمينات المتعلمة والحدود التمثيلية للمسترجعات ذات المتجه الواحد، إلا أن هناك نقصاً في القياس التجريبي حول أين يفشل هذا الافتراض في المجالات عالية المخاطر وعند أي مستوى من التفصيل.

تتقصى هذه الورقة ما إذا كانت تضمينات النصوص تستطيع التمييز بين مجال فرعي واسع وأجندة بحثية محددة. ويفترض المؤلفون أنه بينما قد تنجح التضمينات في تجميع الأوراق ضمن مجال عام، إلا أنها من المرجح أن تفشل في التقاط "الأجندة" الأكثر دقة (الأسئلة أو الأدوات أو المنهجيات المحددة) التي تحدد مساراً بحثياً، مما يؤدي إلى استرجاع أوراق مرتبطة موضوعياً ولكنها غير ذات صلة منهجياً أو سياقياً.

المنهجية

تكوين المتن والرسوم البيانية

تستخدم الدراسة متناً مركباً من 3.58 مليون ورقة علمية مستمدة من OpenAlex وPubMed وSemantic Scholar ومواقع الناشرين، مع تصفيتها لتشمل المجلات المدرجة في SCIE والمؤتمرات من فئة CORE A*/A (المنشورة من عام 2010 فصاعداً).

• الرسم البياني المقتبس الموسع: للتغلب على ندرة الاقتباسات المباشرة (حيث تكون العديد من الأوراق "يتيمة" في الرسم البياني المستحث)، قام المؤلفون ببناء رسم بياني موسع يجمع بين ثلاثة أنواع من الحواف:
  1. الاقتباسات المباشرة: حواف غير موجهة بين الأوراق المستهدفة.
  2. الاقتران البيبليوغرافي (BC): حواف موزونة بتشابه سالتون (Salton cosine similarity) بين الأوراق التي تشترك في ثلاث مراجع خارجية على الأقل.
  3. الاستشهاد المشترك (CC): حواف موزونة بتشابه سالتون بين الأوراق التي يتم الاستشهاد بها بشكل مشترك من قبل ثلاثة مستشهدين خارجيين على الأقل.
     أدى ذلك إلى إنشاء رسم بياني كثيف يحتوي على حوالي 153 مليون حافة بمتوسط درجة يبلغ 85.5.

تقسيم المجتمع على مستويين

باستخدام خوارزمية Leiden التي تعمل على تحسين نموذج بوتر الثابت (Constant Potts Model - CPM)، تم تقسيم الرسم البياني إلى مستويين من التفصيل الهرمي:

• المستوى 1 (L1 - المجال الفرعي): تقسيم عالمي بمعامل $\gamma = 10^{-4}$، مما أسفر عن 73,477 مجتمعاً. أكد الفحص اليدوي أنها تمثل مجالات بحثية فرعية واسعة.
• المستوى 2 (L2 - الأجندة البحثية): تقسيم هرمي حيث تمت إعادة تشغيل خوارزمية Leiden داخل كل مجتمع من مجتمعات L1 (التي يزيد حجمها عن 200) بمعامل $\gamma = 10^{-2}$. نتج عن ذلك 328,738 مجتمعاً، تمثل مسارات بحثية محددة (على سبيل المثال، التمييز بين مطيافية الأشعة فوق البنفسجية ودراسات الأشعة السينية ضمن نفس المجال الفرعي).

إعداد التقييم

• النماذج: تم تقييم أربعة نماذج رائدة من نماذج التضمين: Gemini Embedding، وQwen3-8B، وQwen3-0.6B، وSPECTER2 (نموذج علمي مدرب على الاقتباسات).
• المقياس: المقياس الأساسي هو معدل نفس المجتمع لـ k-الأعلى (top-k same-community rate)، والذي يقيس النسبة المئوية لأقرب الجيران (بناءً على التشابه الجيبي) للورقة المستعلم عنها والتي تشترك في نفس تسمية مجتمع L1 أو L2.
• المسبار التشخيصي: لعزل الإشارة المفقودة من التضمينات، اختبر المؤلفون خط أنابيب استرجاع يستخدم الرسم البياني للاقتباس كإشارة لإعادة الترتيب (Reranking). تضمن ذلك عملية إعادة ترتيب بسيطة بناءً على عدد الاقتباسات طُبقت على المرشحين الذين تم إنشاؤهم بواسطة BM25 أو استعلامات Boolean الموسعة بواسطة LLM.

النتائج الرئيسية

1. الفشل عند مستوى تفصيل الأجندة

النتيجة الجوهرية هي الانخفاض الحاد في الأداء عند الانتقال من مستوى المجال الفرعي (L1) إلى مستوى الأجندة البحثية (L2):

• أداء L1: تعمل التضمينات بشكل جيد معقول في L1، حيث تتراوح معدلات أعلى 10 من نفس المجتمع بين 45% و52% عبر النماذج والمجالات. وهذا أعلى بكثير من خط الأساس العشوائي (0.16%–2.63%).
• أداء L2: ينهار الأداء إلى 15%–21% لأعلى 10 جيران. هذا يعني أن 8 من كل 10 أوراق مسترجعة تنتمي إلى أجندة بحثية محددة مختلفة عن الورقة المستعلم عنها، رغم كونها في نفس المجال الفرعي.
• الاتساق: هذا الفشل عالمي عبر جميع المجالات العلمية الثمانية (الأحياء، الطب الحيوي، الكيمياء، علوم الحاسوب، الهندسة، البيئة/الأرض، المواد، الفيزياء) وجميع النماذج الأربعة.

2. مقارنة النماذج

• العام مقابل المتخصص: خلافاً للتوقعات، كان SPECTER2 (المدرب باستخدام التعلم التبايني القائم على الاقتباس) هو الأضعف أداءً عند مستويي L1 وL2.
• التوسع: لم يوفر زيادة حجم النموذج (من Qwen3-0.6B إلى 8B) سوى مكاسب هامشية بنسبة 3-5 نقاط مئوية عند المستوى L2، وفشل في سد الفجوة مع أفضل أداء (Gemini).
• الترتيب: كان الترتيب المستقر عبر المجالات هو: Gemini $\approx$ Qwen3-8B > Qwen3-0.6B > SPECTER2.

3. نتائج المسبار التشخيصي

أظهر مسبار إعادة الترتيب بناءً على عدد الاقتباسات أن الرسم البياني للاقتباس يحمل إشارة قوية لمطابقة الأجندة تفتقدها التضمينات:

• المسترجعات الأساسية: بدون إعادة ترتيب الاقتباس، حقق BM25 ونماذج التضمين الأربعة معدل أعلى 1 من نفس المجتمع (top 1 L2 same-rate) يتراوح بين 39% و51%.
• إعادة ترتيب الاقتباس: أدت عملية إعادة ترتيب بسيطة بناءً على عدد الاقتباسات الداخلية للمرشحين (سواء من BM25 أو الاستعلامات الموسعة بواسطة LLM) إلى رفع الأداء إلى 57.7%–59.6%.
• الأهمية: يمثل هذا تحسناً بنحو 9 نقاط عن أفضل مسترجع جيبي (Gemini) وحوالي 20 نقطة عن BM25 وحده. كان هذا الكسب ثابتاً بغض النظر عن مولد المرشحين، مما يشير إلى أن الرسم البياني للاقتباس نفسه يحمل الإشارة المفقودة.

الأهمية والادعاءات

تضع هذه الورقة نفسها كـ دراسة قياس بدلاً من اقتراح بنية استرجاع جديدة. وتتمثل مساهماتها الرئيسية في:

1. التحقق التجريبي من الحدود النظرية: توفر النتائج أدلة ملموسة على "حد التعبير" (expressivity bound) للمسترجعات ذات المتجه الواحد (Weller et al. [2026])، مما يظهر أن حتى النماذج المتطورة تتقارب نحو نمط فشل مماثل عند المستويات الدقيقة.
2. تفصيل الفشل: تحدد الدراسة أن "الموضوع" (المجال الفرعي) و"الأجندة" (المسار البحثي المحدد) هما تحديان استرجاعيان مختلفان. فالتضمينات تلتقط الأول ولكنها تخفق بشكل منهجي في التقاط الثاني.
3. محدودية التدريب القائم على الاقتباس: يشير ضعف أداء SPECTER2 إلى أن التدريب على أزواج الاقتباس المباشرة غير كافٍ لتعلم الإشارات المعقدة متعددة المراجع (الاقتران البيبليوغرافي والاستشهاد المشترك) المطلوبة لرسم خرائط للأجندات البحثية المحددة.
4. عزل الإشارة: يعزل المسبار التشخيصي "إشارة مطابقة الأجندة" الموجودة في الرسوم البيانية للاقتباس والغائبة في تضمينات النصوص الحالية. وهذا يشير إلى أن أنظمة RAG المستقبلية للأدبيات العلمية قد تتطلب نهجاً هجيناً يدمّم صراحةً هياكل رسم المراجع بدلاً من الاعتماد فقط على التشابه المتجهي الكثيف.

يخلص المؤلفون إلى أنه بالنسبة لأنظمة RAG العلمية، فإن الاعتماد فقط على التشابه الجيبي يؤدي إلى مجموعة استرجاع "بعيدة منهجياً". وبينما لا تقترح الورقة إعادة ترتيب متعلمة جديدة، إلا أنها تثبت أن الرسم البياني للمراجع يحتوي على الإشارة اللازمة لاستعادة صلة مستوى الأجندة، وهي إشارة تتجاهلها حالياً مسارات البحث المتجهي القياسية.