ملخص تقني: مقارنة بين RAG و GraphRAG للاسترجاع على مستوى الصفحة في كتاب رياضيات مدرسي

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) إمكانات كأدوات تعليمية، لكنها تعاني تكراراً من عدم التوافق مع المواد الدراسية المحددة والميل إلى الهلوسة في المصادر. في دراسة الرياضيات ذاتية التوجيه، يحتاج الطلاب إلى وصول دقيق إلى صفحات محددة من الكتاب لمراجعة التعريفات أو البراهين أو تطبيق النظريات. وبينما يعمل نظام "التوليد المعزز بالاسترجاع" (RAG) على تأصيل الاستجابات في وثائق متخصصة في المجال، فإن الامتدادات الحديثة مثل GraphRAG (الذي يبني رسوماً بيانية للمعرفة للاسترجاع المهيكل) تثير شكوكاً حول فعاليتها في الاسترجاع الدقيق على مستوى الصفحة. يتناول سؤال البحث الجوهري مدى قدرة أنظمة الاسترجاع القائمة على الذكاء الاصطنا Ignite على تحديد صفحة الكتاب المحددة التي اشتُق منها السؤال بدقة، مع موازنة دقة الاسترجاع مع جودة الإجابة المولدة.

المنهجية

أجرى المؤلفون تقييماً منهجياً باستخدام مجموعة بيانات منسقة مستمدة من الكتاب الجامعي An Infinite Descent into Pure Mathematics.

• مجموعة البيانات: تتكون المجموعة من 628 صفحة تم تحويلها من تنسيق PDF إلى تنسيق Markdown القائم على LaTeX. تم إنشاء مجموعة بيانات مكونة من 477 زوجاً من (سؤال-إجابة)، مع زوج واحد لكل صفحة. صُممت الأسئلة لمحاكاة استفسارات الطلاب (مثل طلب تعريفات، براهين، أو تطبيقات) وتمت مراجعتها يدوياً لضمان الصلة التعليمية. كل زوج مصنف برقم صفحة المصدر.
• نهج الاسترجاع: قارنت الدراسة سبعة استراتيجيات استرجاع:
  1. RAG القائم على التضمين (Embedding-based RAG): خمسة نماذج تم اختيارها من قائمة MTEB المتصدرة لشهر ديسمبر 2024 (voyage-3-large, nv-embed-v2, gte-large, text-embedding-3-large, و multilingual-e5).
  2. الاسترجاع المتفرق (Sparse Retrieval): نموذج أساسي BM25 باستخدام Okapi BM25 مع المعلمات الافتراضية.
  3. GraphRAG: إطار عمل تم تعديله لإظهار معرفات المستندات (document_ids) للكيانات والوحدات النصية لتمكين التتبع على مستوى الصفحة.
• خط العمل (Pipeline): يتبع النظام ثلاث مراحل: الفهرسة (تضمين المتجهات، أو تكرار المصطلحات، أو الترميز العلاقاتي)، الاسترجاع (تحديد أفضل $k$ من الصفحات أو الكيانات ذات الصلة)، والتوليد (تغذية الاستعلام والسياق لنموذج لغوي كبير).
• مقاييس التقييم:
  1. دقة الاسترجاع: ما إذا كانت صفحة المصدر الصحيحة تظهر في مجموعة الصفحات المسترجعة من بين أفضل $k$.
  2. جودة الإجابة: درجة F1 لتداخل الكلمات بين الإجابة المولدة والإجابة النموذجية (Ground-truth).
• إعادة الإنتاج (Replication): تمت إعادة إنتاج التجارب الرئيسية باستخدام نموذج لغوي كبير مفتوح المصدر ومحلي (Qwen3.5-35B-A3B) ونموذج تضمين مفتوح المصدر (nomic-embed-text) لتقييم سيناريوهات النشر الموفرة للتكلفة.

المساهمات الرئيسية

1. مقارنة منهجية: تقييم صارم لسبعة نهج استرجاع (خمسة نماذج تضمين، BM25، و GraphRAG) خصيصاً لأسئلة وأجوبة المستوى التعليمي على مستوى الصفحة.
2. تحليل الأخطاء: تحليل يكشف أن غالبية حالات فشل الاسترجاع هي "إخفاقات قريبة" (محتوى من نفس الفصل) وليست محتوى غير ذي صلة، مما يشير إلى قيمة تربوية حتى في عمليات الاسترجاع الخاطئة.
3. أداء الخط الأساسي: أدلة على أن الاسترجاع المتفرق الكلاسيكي (BM25) يظل خط أساس تنافسي، حيث يتفوق على العديد من نماذج التضمين العصبية المتطورة في هذا المجال المحدد.
4. حساسية النموذج: نتائج تشير إلى أن RAG يوفر مكاسب أداء أكبر نسبياً للنماذج الأضعف مفتوحة المصدر مقارنة بالواجهات البرمجية التجارية الأقوى.

النتائج

دقة الاسترجاع

• نماذج التضمين: حقق نموذج voyage-3-large أعلى دقة، حيث وصلت إلى 99.4% عند Top-10 و 68.6% عند Top-1. وقد تفوق بشكل كبير على نماذج التضمين الأخرى عند Top-1 و Top-3.
• BM25: حقق نموذج الاسترجاع المتفرق الأساسي دقة Top-1 بلغت 57.9%، متفوقاً على gte-large (46.1%) و multilingual-e5 (45.7%) عبر جميع قيم $k$.
• GraphRAG: حقق دقة 84.5% مع gpt-4o-mini و 91.4% مع o3-mini. ومع ذلك، فإن جميع نماذج التضمين الخمسة تفوقت على دقة GraphRAG عند Top-5 وما فوق.
• إعادة الإنتاج مفتوحة المصدر: باستخدام nomic-embed-text، بلغت دقة Top-1 حوالي 45.1%. ومن الملاحظ أن BM25 تفوق مرة أخرى على التضمين العصبي (61.2% مقابل 45.1%) في الإعداد المحلي.

جودة الإجابة المولدة (درجة F1)

• RAG مقابل الخط الأساسي: حسنت جميع تكوينات RAG الأداء مقارنة بخط الأساس الذي لا يستخدم الاسترجاع (F1 0.475)، حيث تراوحت الدرجات بين 0.514 و 0.552.
• التضمين مقابل GraphRAG: حقق GraphRAG درجة F1 تبلغ حوالي 0.524، وهي قابلة للمقارنة مع أفضل نتائج التضمين ولكنها أقل منها قليلاً.
• الحمل الزائد للسياق: استرجع GraphRAG سياقاً مفرطاً (47 ألف توكن لكل استعلام) مقارم بـ RAG (3.7 ألف توكن لـ Top-5)، مما أدى إلى إرهاق المولد وتقليل الدقة.
• حساسية النموذج: بالنسبة لنموذج Qwen3.5 المحلي، وفر RAG تحسناً نسبياً في F1 بنسبة 39% (من 0.276 إلى 0.384)، بينما شهد gpt-4o-mini التجاري تحسناً بنسبة 16% فقط.

تحليل الأخطاء وإعادة الترتيب

• الإخفاقات القريبة: من بين حالات فشل Top-1 لنموذج voyage-3-large، استرجع 63.3% محتوى من نفس الفصل (متوسط مسافة الصفحات 3). و35.3% فقط كانت "إخفاقات بعيدة" (فصول مختلفة).
• إعادة الترتيب (Re-Ranking): أدت محاولات استخدام إعادة الترتيب القائمة على النماذج اللغوية الكبيرة إلى تدهور الأداء (على سبيل المثال، انخفضت دقة Top-1 لنموذج voyage-3-large من 0.686 إلى 0.593) وتسببت في هلوسة أرقام الصفحات غير الموجودة في المجموعة المسترجعة.

الأهمية والادعاءات

يزعم البحث أنه بالنسبة للاسترجاع على مستوى الصفحة في السياقات التعليمية، فإن الاسترجاع القائم على التضمين (Embedding-based RAG) يتفوق على GraphRAG. إن تصميم GraphRAG المخصص للتلخيص العالمي والاستدلال متعدد الخطوات يُدخل سياقاً مفرطاً يؤدي إلى تدهور جودة التوليد للمهام دقيقة التفاصيل.

يؤكد المؤلفون أن BM25 يظل خط أساس تنافسي للغاية وبدون تكلفة، مما يتحدى الافتراض بأن التضمينات العصبية تقدم دائماً مكاسب متناسبة، خاصة عندما تشترك الأسئلة في مفردات جوهرية مع النصوص المصدرية.

علاوة على ذلك، تسلط الدراسة الضوء على القيمة التربوية للإخفاقات القريبة. فحتى عندما يفشل النظام في استرجاع الصفحة الدقيقة، فإنه غالباً ما يعيد محتوى مجاوراً أو من نفس الفصل، وهو ما يكون غالباً ذا صلة تعليمية (مثل نص نظرية في الصفحة السابقة لسؤال عن برهان).

أخيراً، تشير النتائج إلى أن RAG أمر بالغ الأهمية للانتشار الموفر للتكلفة. تستفيد النماذج الأضعف مفتوحة المصدر بشكل غير متناسب من تأصيل الاسترجاع، مما يسمح للمؤسسات بنشر معلمي ذكاء اصطناعي فعالين ومستندين إلى الكتب المدرسية على أجهزة محلية دون الاعتماد على الواجهات البرمبية التجارية المكلفة.

التوصيات العملية:

1. استخدم استرجاع Top-5 RAG كخيار افتراضي (دقة عالية، وعدد توكنات يمكن التحكم فيه).
2. اعرض الصفحات الثلاث المرشحة (Top-3) للطلاب.
3. تجنب إعادة الترتيب القائمة على النماذج اللغوية الكبيرة بسبب مخاطر الهلوسة.
4. فكر في استخدام نافذة الصفحات المجاورة لالتقاط المحتوى الذي يمتد عبر حدود الصفحات.