SelfGraphRAG: Bridging the Supervision Gap in Graph-Based RAG with Synthetic QA Generation
يعالج SelfGraphRAG ندرة البيانات المصنفة للاسترجاع القائم على الرسوم البيانية من خلال توليد أزواج أسئلة وأجوبة اصطناعية مباشرة من هياكل الرسوم البيانية للمعرفة لتدريب مسترجع مشروط بالاستعلام، مما يؤدي إلى تحسين الاستدلال متعدد الخطوات ودقة الاسترجاع دون الحاجة إلى تصنيف يدوي.
لقد أحدثت النماذج اللغوية الكبيرة تحولاً في كيفية تفاعلنا مع الحواسيب، حيث تعمل كمستودعات هائلة للمعرفة البشرية التي يمكنها الكتابة والتلخيص والمحادثة بطلاقة مذهلة. ومع ذلك، تمتلك هذه العقول الرقمية نقطة عمياء جوهرية: فهي مدربة على لقطة ثابتة من الماضي ولا يمكنها تعلم حقائق جديدة بسهولة دون إعادة تدريبها بالكامل. ولحل هذه المشكلة، طور الباحثون طريقة تسمى "التوليد المعزز بالاسترجاع" (retrieval-augmented generation)، والتي تسمح للنموذج بالبحث عن المعلومات في مكتبة خارجية قبل الإجابة على سؤال ما. يعمل هذا بشكل جيد مع الحقائق البسيطة، لكنه يواجه صعوبة عندما يتطلب السؤال ربط النقاط عبر قطع مختلفة من المعلومات. تخيل محاولة حل لغز حيث تكون الأدلة مبعثرة عبر صفحات منفصلة من كتاب؛ قد يجد البحث التقليدي الصفحات الصحيحة، لكنه غالباً ما يفشل في رؤية كيفية ربط تلك الأدلة معاً لتشكيل صورة كاملة. ويصبح هذا القصور عقبة رئيسية عند التعامل مع مواضيع معقدة وكثيفة المعرفة حيث يكون فهم العلاقات بين الأشخاص والأحداث والمفاهيم لا يقل أهمية عن الحقائق نفسها.
ولسد هذه الفجوة، اقترح باحثون من جامعة ميريلاند، بالتيمور كوليدج، نهجاً جديداً يسمى SelfGraphRAG. الفكرة الجوهرية هي تنظيم المعلومات ليس فقط كمجموعة من الوثائق، بل كشبكة من الحقائق المتصلة، المعروفة باسم "رسم بياني معرفي" (knowledge graph). في هذه الشبكة، تمثل كل قطعة من المعلومات "عقدة" (node)، وتمثل العلاقات بينها الخطوط التي تربط تلك العقد. وبينما تستطيع الأنظمة الحالية بناء هذه الشبكات من الوثائق الخاصة، إلا أنها واجهت تاريخياً صعوبة في استخدامها بفعالية لأنها تفتقر إلى وسيلة لتعليم الكمبيوتر كيفية التنقل في الشبكة للإجابة على أسئلة محددة. عادةً، يتطلب تعليم الكمبيوتر إيجاد المسار الصحيح أن يكتب إنسان آلاف الأسئلة الأمثلة ويحدد الإجابات الصحيحة، وهي عملية بطيئة ومكلفة ومستحيلة بالنسبة للبيانات الخاصة التي لا توجد لها مثل هذه الأسئلة. وقد طرح الباحثون سؤالاً بسيطاً ولكنه عميق: هل يمكن للكمبيوتر أن يعلم نفسه من خلال توليد أسئلة تدريبية خاصة به من هيكل الشبكة التي بناها للتو؟
قام الفريق بتطوير مسار عمل يبدأ بتحويل مجموعة من الوثائق إلى رسم بياني معرفي مهيكل، وتحديد الكيانات مثل الأشخاص أو الأماكن والعلاقات فيما بينها. وبدلاً من انتظار كتابة إنسان للأسئلة، يستخدم النظام نموذجاً لغوياً كبيراً لإنشاء مجموعة ضخمة من الأسئلة التدريبية تلقائياً مباشرة من هيكل الرسم البياني. وهو يفعل ذلك من خلال النظر في كيفية اتصال العقد ببعضها البعض. على سبيل المثال، إذا أظهر الرسم البياني أن الشخص (أ) يعرف الشخص (ب)، وأن الشخص (ب) يعرف الشخص (ج)، يمكن للنظام تلقائياً إنشاء سؤال يسأل عن العلاقة بين الشخص (أ) والشخص (ج). كما ينشئ أسئلة تتطلب تلخيص "الجوار المباشر" لعقدة واحدة. تشكل هذه الأسئلة الاصطناعية وإجاباتها الصحيحة مجموعة بيانات تدريبية، مما يسمح للنظام بتعلم كيفية استرجاع الأجزاء المحددة من الرسم البياني اللازمة للإجابة على استعلام ما. هذه العملية تغلق الحلقة فعلياً، محولةً الرسم البياني نفسه إلى مصدر ذاتي للإشراف لا يتطلب أي تصنيف يدوي.
عندما اختبر الباحثون هذه الطريقة، وجدوا أن النظام تعلم التنقل في الرسم البياني المعرفي بشكل أفضل بكثير من النهج السابقة التي اعتمدت على مطابقة التشابه البسيط. في الأنظمة القياسية، يبحث الكمبيوتر عن كلمات في السؤال تطابق كلمات في الوثائق، وهو ما يفشل غالباً عندما تتطلب الإجابة ربط أفكار تستخدم مفردات مختلفة تماماً. أما النظام الجديد، المدرب على أسئلته المولدة ذاتياً، فقد تعلم اتباع المسارات المنطقية عبر الرسم البياني. وفي اختبار تصميم لقياس القدرة على الاستنتاج متعدد الخطوات، حققت الطريقة الجديدة درجة 24.62، وهو تحسن كبير مقارنة بدرجة 2.60 للنظام القياسي و0.98 للمنافس الرائد القائم على الرسم البياني. وتشير النتائج إلى أن النظام لم يجد المزيد من المعلومات فحسب، بل وجد المعلومات "الصحيحة"، حيث قام بتصفية التفاصيل غير ذات الصلة التي غالباً ما تشتت النماذج الأخرى. وفي اختبار تضمن ملخصات لأبحاث طبية، أجاب النظام الجديد على 55.2% من الأسئلة بشكل صحيح، متفوقاً على طرق البحث القياسية والأنظمة الأخرى القائمة على الرسم البياني، لا سيما في الحالات التي كانت فيها الإجابة سلبية أو غير مؤكدة، وهي حالات يصعب على الآلات التعامل معها عادةً.
كما سلطت الدراسة الضوء على نقطة ضعف حرجة في الأنظمة الحالية القائمة على الرسم البياني والتي تعتمد على تشابه التضمين (embedding similarity). فبينما تسترجع هذه الأنظمة غالباً كمية كبيرة من المعلومات، فإنها كثيراً ما تغرق الكمبيوتر بتفاصيل غير ذات صلة، مما يؤدي إلى دقة ضعيفة. في المقابل، تعلم النهج الجديد أن يكون دقيقاً، حيث يسترجع رسوماً بيانية فرعية (subgraphs) كانت كاملة وذات صلة وثيقة. وأشار الباحثون إلى أن نجاح النظام اعتمد على جودة الرسم البياني الذي بناه؛ فإذا كان الاستخراج الأولي للحقائق معيباً، فإن بيانات التدريب سترث تلك الأخطاء. ومع ذلك، فإن القدرة على توليد بيانات التدريب من الرسم البياني نفسه تعني أنه يمكن للمؤسسات الآن تطبيق استدلال مهيكل ومتطور على وثائقها الخاصة دون الحاجة إلى توظيف فرق لتصنيف البيانات. إن هذا العمل يشير إلى أن الإشراف الاصطناعي المستمد من التمثيلات المهيكلة يمكن أن يطلق العنان للإمكانات الكاملة للاستدلال القائم على الرسم البياني، مما يسمح للنماذج اللغوية الكبيرة بالانتقال من مجرد استرجاع الحقائق البسيطة إلى فهم حقيقي متعدد الخطوات للمعلومات المعقدة.
ملخص تقني لـ SelfGraphRAG
بيان المشكلة يعمل نظام التوليد المعزز بالاسترجاع (RAG) على تحسين النماذج اللغوية الكبيرة (LLMs) من خلال دمج المعرفة الخارجية دون الحاجة لإعادة التدريب، ومع ذلك، تعتمد أنظمة RAG القياسية على قطع وثائق مسطحة. هذا التمثيل يفشل في دعم الاستدلال عبر علاقات الكيانات، وهو أمر بالغ الأهمية للاستعلامات المعقدة وكثيفة المعرفة. وبينما تواجه أساليب RAG القائمة على الرسوم البيانية (مثل GraphRAG وLightRAG) فجوة "إشرافية" جوهرية، حيث يتطلب استرجاع الرسم البياني الفعال نموذجاً خاضعاً للإشراف تم تدريبه على أزواج (سؤال-إجابة) مصنفة ومستندة إلى الرسم البياني المستهدف. ومع ذلك، عندما يتم بناء الرسم البياني للمعرفة تلقائياً من مجموعات بيانات خاصة غير مصنفة (مثل الملاحظات السريرية أو التقارير التقنية)، لا توجد مثل هذه المجموعة المصنفة. ولا يمكن تدريب نماذج استرجاع الرسوم البيانية الحالية (مثل G-Retriever) في هذه الإعدادات، مما يضطر النظام للعودة إلى الاسترجاع القائم على تشابه التضمين (embedding-based similarity retrieval)، والذي غالباً ما يفشل في الاستعلامات متعددة الخطوات (multi-hop) حيث تكون عقد الإجابة بعيدة دلالياً عن نص الاستعلام.
المنهجية: SelfGraphRAG يقترح المؤلفون إطار عمل SelfGraphRAG، الذي يسد هذه الفجوة الإشرافية عبر توليد بيانات تدريب اصطناعية مباشرة من بنية الرسم البياني للمعرفة المستخرجة. يعمل خط الإنتاج عبر ثلاث مراحل متتالية:
Doc2Graph (الفهرسة): تحاكي هذه المرحلة خط إنتاج فهرسة GraphRAG. يتم تقسيم الوثائق إلى قطع، ويقوم نموذج لغوي كبير (LLM) باستخراج ذكر الكيانات والعلاقات الخام. يتم تلخيص هذه العناصر في عقد وحواف معيارية لبناء رسم بياني للمعرفة عالمي G=(V,E). ويشير المؤلفون إلى أن هذه المرحلة ترث من GraphRğu افتقارها لعملية حل الكيانات عبر القطع (cross-chunk entity resolution)، مما يعني احتمال وجود عقد منفصلة لنفس الكيان في الواقع.
SynthGen (توليد البيانات الاصطناعية): هذا هو الابتكار الجوهري. بدلاً من الاعتماد على التوسيم البشري، يقوم النظام بتوجيه نموذج لغوي كبير لتوليد نوعين متكاملين من أزواج (سؤال-إجابة) من بنية الرسم البياني:
أسئلة متعددة الخطوات (Thop): يتم توليدها من مسارات مكونة من خطوتين في الرسم البياني (vp→vo→vs). يُطلب من النموذج اللغوي إنشاء سؤال يتطلب الاستدلال بين عقد غير متجاورة (vp و vs) بوساطة عقدة متوسطة (vo).
أسئلة تلخيص العقد (Tsum): يتم توليدها من الجوار المباشر لعقدة مستهدفة. يُطلب من النموذج اللغوي إنشاء سؤال يتطلب دمج الأدلة من ثلاث حواف داخلة متميزة لعقدة مستهدفة. يشكل اتحاد هذه المجموعات مجموعة التدريب الاصطناعية T.
GraphLM (التدريب والاستدلال): يتم تدريب نموذج استرجاع الرسم البياني (fθ)، والمتمثل في G-Retriever (وهو محول رسوم بيانية - graph transformer)، على مجموعة البيانات الاصطناعية T. يقلل هدف التدريب من خسارة الإنتروبيا المتقاطعة (cross-entropy loss) بين الإجابة التي ولدها النموذج اللغوي (بناءً على الرسم البياني الفرعي المسترجع) والإجابة الذهبية الاصطناعية. ومن الأهمية بمكان أن النموذج اللغوي المستخدم لتوليد الإجابات يكون "مجمدًا" (frozen)، لضمان عزو مكاسب الأداء إلى نموذج الاسترجاع. في وقت الاستدلال، يختار المسترجع المدرب رسماً بيانياً فرعياً ذا صلة بالمهمة لاستعلام معين، والذي يتم بعد ذلك التعبير عنه لفظياً وتمريره إلى النموذج اللغسي المجمد للحصول على الإجابة النهائية.
المساهمات الرئيسية
الإشراف الاصطناعي لاسترجاع الرسم البياني: يثبت البحث أن أزواج (سؤال-إجابة) الاصطناعية المولدة من بنيات الرسم البياني للمعرفة توفر إشارات تدريب كافية لتدريب مسترجع رسوم بيانية خاضع للإشراف، مما يلغي الحاجة إلى التوسيم اليدوي في حالات المجموعات الخاصة.
مكاسب الأداء: تظهر النتائج التجريبية أن النماذج المدربة بهذا الإشراف الاصطناعي تتفوق على كل من RAG التقليدي (ذات القطع المسطحة) وRAG القائم على التضمين (LightRAG) في اختبارات الاستدلال متعدد الخطوات والتصنيف.
النشر المحلي القابل للتوسع: يحقق إطار العمل هذه المكاسب باستخدام حزمة نماذج مدمجة وقابلة للتشغيل محلياً (مثل Llama2-7b وMistral-7b) دون الاعتماد على واجهات برمجة التطبيقات المملوكة لجهات خارجية، مما يجعله قابلاً للتطبيق في المؤسسات التي تمتلك بيانات خاصة.
النتائج التجريبية قيم المؤلفون SelfGraphRAG على ثلاثة اختبارات مرجعية: MoreHopQA (سؤال-إجابة متعدد الخطوات)، وMultiHop-RAG (توليد متعدد الخطوات)، وPubMedQA (تصنيف طبي حيوي).
MultiHop-RAG: حقق SelfGraphRAG درجة F1 كبيرة بلغت 24.62، متفوقاً بفارق هائل على RAG القياسي (2.60) وLightRAG (0.98). ويعزو المؤلفون ذلك إلى فشل الاسترجاع القائم على التضمين في ربط العقد البعيدة دلالياً، بينما يتعلم المسترجع المدرب اتباع المسارات العلاقاتية.
MoreHopQA: أظهر SelfGraphRAG تحسينات متسقة عبر جميع المقاييس (F1: 12.59) مقارنة بـ LightRAG (9.23) وGraphRAG (9.24)، وإن كان الهامش أصغر بسبب تنوع أنواع الإجابات في مجموعة البيانات.
PubMedQA: حقق SelfGraphRAG دقة إجمالية بلغت 55.2%، متفوقاً على RAG (51.6%) وLightRAG (25.6%). ومن الملاحظ أنه حسن الأداء بشكل كبير في فئات "لا" (No) و"ربما" (Maybe)، والتي تتطلب دمج أدلة دقيقة، بينما عانى LightRAG بسبب عدم التطابق في مجال التخصص في نموذج التضمين الخاص به.
الدقة مقابل الاستدعاء (Precision vs. Recall): تشير النتائج إلى أنه بينما قد تحقق الطرق القائمة على التضمين (LightRAG) استدعاءً أعلى عبر استرجاع جيران واسعين، إلا أنها تعاني من انخفاض الدقة بسبب إغراق النموذج اللغوي بسياقات غير ذات صلة. أما نهج SelfGraphRAG الخاضع للإشراف فيحقق دقة أعلى من خلال تقييم مدى صلة الرسم البياني الفرعي بشكل تمييزي.
الأهمية والادعاءات يزعم البحث أن SelfGraphRag نجح في سد الفجوة بين قدرة نماذج استرجاع الرسوم البيانية التعبيرية وقابليتها للتطبيق العملي على المجموعات الخاصة غير المصنفة. ومن خلال معاملة بنية الرسم البياني نفسها كمصدر مستقل للإشراف، تمكنت الطريقة من تحقيق تعلم قابل للتوسع للاسترجاع الهيكلي دون توسيم يدوي. ويخلص المؤلفون إلى أن البيانات ذات البنية الرسومية يمكن أن تعمل كنموذج عام لفتح آفاق الاستدلال القائم على الرسوم البيانية في أنظمة LLM، مما يشير إلى أن الاسترجاع الهيكلي المتعلم يتعامل مع الاستعلامات المعقدة متعددة الخطوات بشكل أفضل من التشابه الدلالي السطحي.
تغطية SynthGen: قد لا تتطابق توزيعات البيانات الاصطناعية تماماً مع استعلامات المستخدمين في العالم الحقيقي، مما قد يؤدي إلى تحيز المسترجع نحو أنماط محلية محددة في الرسم البياني.
حل الكيانات (Entity Resolution): يرث خط الإنتاج نقص GraphRAG في دمج الكيانات عبر القطع، مما قد يؤدي إلى تفتيت الرسم البياني وإضعاف الاسترجاع.
المعلمات الفائقة (Hyperparameters): لم يتم اختبار القيود المحددة لطول المسار (خطوتان) وحجم الجوار (ثلاث جيران) مقابل بدائل أخرى.
التقييم: تقتصر الدراسة على ثلاثة اختبارات مرجعية بسبب التكاليف الحسابية، كما أن مجموعات بيانات التدريب والتقييم متطابقة (لا يوجد تقسيم للمجموعات المستبعدة)، وهو ما يطابق سيناريو النشر ولكنه يحد من اختبار التعميم.
لا يدعي البحث حل جميع تحديات استرجاع الرسوم البيانية، بل يضع الإشراف الاصطناعي كمسار قابل للتطبيق لجعل استرجاع الرسوم البيانية الخاضع للإشراف ممكناً للمجموعات الخاصة غير المصنفة.