ملخص تقني: تقييم الكثافة الحقائقية في أنظمة استرجاع المعلومات المعزز بالتوليد (RAG) متعددة المصادر

بيان المشكلة

أصبح نظام الاسترجاع المعزز بالتوليد (RAG) هو المعيار الصناعي لتثبيت النماذج اللغوية الكبيرة (LLMs) في المعرفة الخارجية. ومع ذلك، فإن آليات الاسترجاع القياسية — وتحديداً تشابه جيب التمام (التقارب الدلالي) وBM25 (التكرار المعجمي) — تفتقر إلى آلية متأصلة لقياس الجودة الحقائقية للمحتوى المسترجع.

تحدد الورقة نمط فشل هيكلي يُسمى "تأثير العمى الخبير" (Expert Blindness Effect). تحدث هذه الظاهرة عندما تقوم خطوط أنابيب RAG القياسية بدفن الأدلة عالية الكثافة والموثقة من قبل الخبراء (مثل مراجعات كوشرين المنهجية التي تحتوي على نتائج سريرية محددة ومقاسة) بشكل منهجي لصالح النصوص المهيمنة معجمياً ولكنها فقيرة حقائقياً (مثل المقالات الطويلة التي تشير مراراً وتكراراً إلى موضوع ما دون تقديم بيانات محددة). تركز أطر التقييم الحالية على الأمانة (ما إذا كان النموذج قد هلوس بالنسبة للسياق المسترجع) بدلاً من جودة الاسترجاع (ما إذا كان السياق المسترجع كثيفاً حقائقياً أو موثقاً من قبل خبراء في المقام الأول).

المنهجية

1. بناء وتجهيز المتن (Corpus)

استخدمت الدراسة متناً مكوناً من 600 قطعة (chunk) مستمدة من ثلاثة مستويات من الأدلة الطبية:

• مراجعات كوشرين المنهجية (COCHRANE_SR): 200 ملخص مهيكل.
• التجارب العشوائية ذات الشواهد (CLINICAL_RCT): 200 ملخص تم تصفيتها بواسطة وسوم NLM.
• ملخصات PubMed العامة (SCIENTIFIC_PMC): 200 ملخص خاضع لمراجعة الأقران.

قبل الإدخال، خضع المتن لعملية معالجة مسبقة تسمى "تدقيق شبح NexusAgentics" (NexusAgentics Ghost Audit). يقوم هذا المسار بـ:

• استخراج الادعاءات الذرية: باستخدام Gemini 2.5 Flash لتحديد عبارات حقائقية فريدة، مستقلة، وقابلة للتحقق مع استبعاد اللغة التحوطية والقصص الشخصية.
• تسجيل الحقائق الاحتمالي: تعيين درجة prob_fact (من 0.2 إلى 1.0) بناءً على القابلية للتحقق والخصوصية، وليس الحقيقة التجريبية.

2. صياغة الكثافة الحقائقية (FD*)

المقياس الجوهري، الكثافة الحقائقية (FD)*، يُعرف بأنه نسبة الادعاءات الذرية المتحقق منها بالنسبة لعدد الرموز (tokens).

• الصياغة الأولية ($FD_{raw}$): مجموع درجات prob_fact مقسوماً على عدد الرموز.
  • المشكلة: كشفت التجربة الأولى عن ارتباط مربك بطول المستند (معامل بيرسون $R = -0.8636$)، حيث سجلت المستندات الأقصر درجات أعلى اصطناعياً بسبب تأثير المقام.
• الصياغة المصححة ($FD^*$): لحل هذه المشكلة، طبق المؤلفون تطبيع الدرجة المعيارية (Z-score normalization) ضمن فئات طول المستند (قصير، متوسط، طويل).
  • $FD^*(d) = [(FD_{raw}(d) - \mu_{bin}) / \sigma_{bin}] \times a_{source}$
  • قلل هذا التصحيح الارتباط بالطول إلى مستويات غير جوهرية ($p = 0.0749$)، مما أثبت صحة $FD^*$ كإشارة مستقلة عن الطول.

3. ظروف الاسترجاع

تم تقييم ثلاثة ظروف مقابل معيار HealthFC (750 ادعاءً صحياً مصنفاً من قبل خبراء):

• الحالة (A): تشابه جيب التمام (البحث الدلالي).
• الحالة (B): BM25 (البحث المعجمي).
• الحالة (C): الاسترجاع المحسن بـ $FD^*$. مسار هجين ثنائي المراحل:
  1. تصفية أولية باستخدام تشابه جيب التمام (أفضل 20 نتيجة).
  2. إعادة ترتيب باستخدام درجة مركبة: $0.5 \times \text{CosineSim} + 0.5 \times FD^*_{rescaled}$.

4. قيود التقييم

واجهت الدراسة قيوداً في توافق المتن مع المعيار (Corpus-Benchmark Alignment). رغم إجراء دورتين من تعديل المتن، ظل التغطية مقابل مجموعة تقييم HealthFC دون 20% (14% في التكرار النهائي). وبناءً على ذلك، لم يكن من الممكن تنفيذ اختبار "ويلكوكسون لمراتب الإشارات" (Wilcoxon signed-rank test) المخطط له على $n=50$ استعلام. تُعرض النتائج كأدلة اتجاهية بناءً على خرائط الحقيقة الأرضية المتاحة.

النتائج الرئيسية

1. التحقق من التسجيل والتصحيح

• تدقيق الشبح (Ghost Audit): أكد أن إطار التسجيل ينتج تبايناً ذا معنى عبر مستويات المصادر (الانحراف المعياري $\ge 0.10$)، مما يضمن عدم انهيار إشارة إعادة الترتيب.
• المربك الطولي (Length Confound): أكدت الدراسة أن مقاييس الكثافة المعتمدة على عدد الرموز (token-normalized) عرضة لانحياز طول المستند. وقد ثبت أن تطبيع الدرجة المعيارية داخل الفئات هو تصحيح فعال ومنخفض التكلفة حسابياً.

2. تأثير العمى الخبير (تدقيق الاستعلام الواحد)

في استعلام محدد يتعلق بالتمارين الرياضية ومخاطر القلب والأوعية الدموية، أسفرت ظروف الاسترجاع عن نتائج متباينة:

• تشابه جيب التمام: استرجع 40% من مراجعات كوشرين و60% من تجارب RCTs.
• BM25: استرجع 80% من مراجعات كوشرين ولكنه فشل في ترتيبها بشكل مرتفع باستمرار في جميع المقاييس.
• المحسن بـ $FD^*$: حقق تشبعاً كاملاً للمراجعات المنهجية في أفضل 5 نتائج.
  • الآلية: نجح $FD^*$ في رفع الأدلة عالية الكثافة التي كانت خارج أفضل عشر نتائج حسب التشابه الدلالي وحده (على سبيل المثال، تم رفع ملخص كوشرين الذي سجل درجة تشابه جيب تمام قدرها 0.7308 إلى المرتبة الرابعة بسبب درجة $FD^*$ عالية بلغت 9.660).
• التحقق من الحقيقة الأرضية: طابقت أفضل 5 نتائج من حالة $FD^*$ تسع حالات مؤكدة عبر خمسة ادعاءات متميزة مدعومة من HealthFC، وكلها صُنفت كـ "مدعومة" من قبل خبراء طبيين.

3. نتائج توافق المتن

حددت الدراسة أن عينات الفحص المسبق المزروعة تبالغ في تقدير تغطية المتن بشكل منهجي. أظهرت عينة من 12 قطعة توافقاً بنسبة 38.62%، بينما أظهر المتن الكامل المكون من 600 قطعة نسبة 14% فقط. يسلط هذا الض الضوء على فجوة حرجة في ممارسات تقييم RAG الحالية حيث يفترض اختيار المتن التوافق دون التحقق من كامل المتن.

الأهمية والمساهمات

تطرح الورقة مساهمتين متساويتين في الأهمية:

1. الكثافة الحقائقية ($FD^*$) كإشارة استرجاع:
   يُقترح $FD^*$ كإشارة تحسين مستقلة عن المصدر، وغير مرتبطة بالطول، ومنخفضة التكلفة حسابياً. يمكن دمجها في خطوط أنابيب RAG الحالية كـ تركيبة بنسبة 50/50 مع تشابه جيب التمام دون الحاجة لتغيير نماذج التضمين (embedding models)، أو مخازن المتجهات، أو البنية التحتية للاسترجاع. إنها تعالج الفجوة حيث يفشل التقارب الدلالي في الارتباط بالتركيز المعلوماتي.

2. توثيق "تأثير العمى الخبير":
   تسمي الورقة رسمياً وتثبت تجريبياً التحيز المنهجي في طرق الاسترجاع القياسية التي تدفن الأدلة عالية السلطة. لهذا تداعيات مباشرة على سلامة الذكاء الاصطناعي الصحي، حيث يمكن أن يؤدي إظهار مقال مكون من 2000 كلمة بدلاً من مراجعة كوشرين إلى معلومات مضللة خطيرة.

3. المساهمة المنهجية في تقييم RAG:
   تقدم الدراسة منهجية فحص مسبق مزدوجة الفلتر (تتطلب تشابه جيب تمام $\ge 0.75$ وتداخل كلمات مفتاحية $\ge 2$) كشرط مسبق لبناء متن RAG الصحي. وتجادل بأن توافق المتن مع المعيار هو شرط مسبق حرج وغالباً ما يتم تجاهله لضمان صحة تقييم RAG، وأن الاعتماد على عينات صغيرة مزروعة موضوعياً يؤدي إلى ثقة زائفة في التغطية.

القيود والعمل المستقبلي

يذكر المؤلفون صراحة أن النتائج أولية بسبب عدم القدرة على تنفيذ الاختبار الإحصائي الكامل $n=50$ نتيجة انخفاض التوافق بين المتن و HealthFC. "تأثير العمى الخبير" تم إثباته في استعلام واحد وليس كتعميم إحصائي.

يتم تحديد العمل المستقبلي كما يلي:

• تنفيذ اختبار إحصائي رسمي باستخدام متن ذي تغطية $\ge 40\%$ من HealthFC.
• اشتقاق أوزان سلطة المصدر ($a_{source}$) تجريبياً بدلاً من استخدام القيم النائبة.
• استكشاف $FD^*$ كإشارة لعقد الارتكاز (anchor node) في بنيات Graph RAG لدمج هيكل الأدلة مع الكثافة الحقائقية.

تخلص الورقة إلى أنه على الرغم من أن $FD^*$ ليس حلاً كاملاً، إلا أنه يمثل خطوة ضرورية لضمان استرجاع أنظمة الذكاء الاصطناعي للحقائق بدلاً من مجرد المطابقات المعجمية، لا سيما في المجالات عالية الخطورة مثل الرعاية الصحية.