The Reasoning Bottleneck in Graph-RAG: Structured Prompting and Context Compression for Multi-Hop QA

إليك ملخص تقني مفصل للورقة البحثية بعنوان "عنق زجاجة الاستدلال في Graph-RAG: التلقين المهيكل وضغط السياق لأسئلة الإجابة متعددة القفزات."

1. بيان المشكلة

تتناول الورقة البحثية عدم كفاءة حرج في أنظمة Graph-RAG (التوليد المعزز بالاسترجاع)، وتحديداً في الإجابة على الأسئلة متعددة القفزات (Multi-Hop QA). وبينما تتفوق أنظمة Graph-RAG (مثل KET-RAG) في استرجاع المعلومات ذات الصلة عبر فهرسة المستندات في رسوم بيانية معرفية، إلا أن هناك فجوة كبيرة بين نجاح الاسترجاع ودقة الإجابة.

• فجوة الاسترجاع والاستدلال: يوضح المؤلفون أن الإجابة "الذهبية" (الصحيحة) موجودة في السياق المسترجع لـ 77% إلى 91% من الأسئلة في أنظمة Graph-RAG الرائدة. ومع ذلك، تظل دقة النموذج منخفضة (35%–78%).
• عنق الزجاجة: يكشف تحليل الأخطاء أن 73% إلى 84% من حالات الفشل هي فشل في الاستدلال، وليست فشلاً في الاسترجاع. تفشل النماذج في ربط الحقائق معاً داخل السياق المسترجع الضخم (الذي يصل غالباً إلى ~10,000 توكن)، مما يخلق مشكلة "إبرة في كومة قش" حيث لا يستطيع النموذج تحديد أو تركيب العلاقات بين الكيانات الضرورية.
• التكلفة مقابل الأداء: تعمل النماذج الكبيرة (مثل Llama-70B) بشكل أفضل ولكنها مكلفة. تتساءل الورقة عما إذا كانت عمليات التعزيز أثناء الاستنتاج يمكن أن تسمح للنماذج الأصغر والأقل تكلفة (مثل Llama-8B) بمطابقة أو تجاوز أداء النماذج الأكبر دون الحاجة لإعادة التدريب أو إعادة الفهرسة.

2. المنهجية

يقترح المؤلفون نوعين من التعزيزات المتآزرة التي تُطبق في مرحلة الاستنتاج لأنظمة Graph-RAG (تحديداً KET-RAG و LightRAG) دون الحاجة لتدريب.

أ. تلقين سلسلة الأفكار (CoT) باستخدام لغة SPARQL

بدلاً من مطالبة النموذج بـ "التفكير خطوة بخطوة" بلغة طبيعية، يستفيد المؤلفون من بنية (الكيان-العلاقة) المتأصلة في سياق Graph-RAG المسترجع.

• الآلية: يوجه التلقين النموذج لتفكيك السؤال إلى استعلام SPARQL (وهي لغة استعلام قياسية لرسوم المعرفة البيانية RDF).
• العملية:
  1. يولد النموذج استعلام SPARQL يتضمن أنماط الثلاثيات (مثلاً: ?x tributaryOf ?y) والتي ترتبط مباشرة بالعلاقات الموجودة في السياق.
  2. يتتبع النموذج ارتباطات المتغيرات عبر السياق للعثين على الإجابة.
  3. يتم استخراج الإجابة النهائية عبر التعبيرات النمطية (regex).
• الفائدة: يحول هذا العملية من بحث مفتوح عبر 10,000 توكن إلى مهمة مطابقة قالب مهيكل، مما يضيق نطاق البحث لكل قفزة استدلالية.

ب. ضغط السياق عبر المسار البياني (Graph-Walk)

هذه خطوة تصفية ما بعد الاسترجاع مصممة لتقليل عدد التوكنات والضجيج دون استخدام نماذج لغوية كبيرة (LLMs).

• الآلية: تقوم بعملية بحث بالعرض أولاً (BFS) بدءاً من الكيانات المذكورة في السؤال، عبر التنقل في الرسم البياني المعرفي حتى 3 قفزات.
• العملية:
  1. تحديد البذور: مطابقة كيانات السؤال مع الرسم البياني.
  2. التنقل: جمع الكيانات المتصلة هيكلياً.
  3. التوسع عبر التواجد المشترك: إضافة قطع النصوص التي تذكر كلاً من الكيانات التي وصل إليها الـ BFS وكيانات أخرى (جسر دلالي).
  4. تجميع الأولويات: إعادة بناء السياق ضمن ميزانية توكن محددة (~4,000 توكن)، مع إعطاء الأولوية للكيانات الأقرب إلى "البذرة".
• الفائدة: يقلل عدد التوكنات المدخلة بنسبة ~60% (من ~10 آلاف إلى ~4 آلاف) دون أي تكلفة من نماذج LLM، مما يعالج مباشرة مشكلة فرط السياق.

ج. توجيه نوع السؤال

إدراكاً بأن أنواع الأسئلة المختلفة تستفيد من استراتيجيات مختلفة، طبق المؤلفون سياسة توجيه:

• أسئلة الجسر/السلسلة (Bridge/Chain) تُوجه إلى SPARQL CoT.
• أسئلة المقارنة/الاستدلال (Comparison/Inference) تُوجه إلى Generic CoT (تفكيك باللغة الطبيعية).
• إذا امتنع أحد الأساليب عن الإجابة، يحاول النظام مجدداً باستخدام الطريقة البديلة.

3. المساهمات الرئيسية

1. تفكيك كمي للأخطاء: تثبت الورقة أن الاستدلال، وليس الاسترجاع، هو العائق المهيمن في Graph-RAG، حيث تحدث 73-84% من الأخطاء حتى عندما تكون الإجابة موجودة في السياق.
2. فعالية SPARQL CoT: توضح أن التلقين المهيكل يحسن الدقة بمقدار +2 إلى +14 نقطة مئوية (pp)، مع تحقيق أكبر المكاسب في مجموعات البيانات المعقدة.
3. تآزر الضغط والهيكلة: تكشف أن ضغط المسار البياني (Graph-Walk) يكون أكثر فعالية عند اقترانه بالتلقين المهيكل (SPARQ CoT) مع النماذج الصغيرة، مما يوفر زيادة متوسطة قدرها +6 نقاط مئوية.
4. توسيع نطاق التكلفة بكفاءة: تظهر أن نموذج Llama-8B المعزز بالكامل (باستخدام SPARQL CoT + GW + Routing) يضاهي أو يتجاوز أداء نموذج Llama-70B غير المعزز عبر جميع الاختبارات الثلاثة بتكلفة أقل بنحو 12 ضعفاً.
5. عمومية النظام: تثبت الورقة أن SPARQL CoT ينتقل إلى أنظمة Graph-RAG أخرى (LightRAG)، مع ملاحظة أن فعالية ضغط المسار البياني تعتمد على "تدرج الصلة" (relevance gradient) في مسار الاسترجاع.

4. النتائج التجريبية

تم تقييم الدراسة على ثلاث اختبارات مرجعية: HotpotQA، MuSiQue، و 2WikiMultiHopQA.

• أداء الـ 8B المعزز مقابل الـ 70B الأساسي:

  • 2WikiMultiHopQA: حقق الـ 8B المعزز دقة 55.8% مقابل 48.8% لنموذج 70B الأساسي.
  • MuSiQue: حقق الـ 8B المعزز 35.6% مقابل 35.2% لنموذج 70B.
  • HotpotQA: حقق الـ 8B المعزز 79.8% مقابل 78.0% لنموذج 70B.
  • التكلفة: يعمل حل الـ 8B بتكلفة لكل توكن تبلغ حوالي 1/12 من تكلفة نموذج 70B.

• تأثير المكونات الفردية:

  • SPARQL CoT: قلل معدلات الامتناع عن الإجابة بشكل كبير (على سبيل المثال، -31.4 نقطة مئوية في MuSiQue لنموذج 8B) من خلال إجبار النموذج على الانخراط في سلسلة الاستدلال.
  • ضغط المسار البياني (Graph-Walk Compression):
    • إيجابياً: عندما يقترن بـ SPARQL CoT على نموذج 8B (+6.0 نقاط مئوية متوسط) أو عند استخدامه مع نموذج 70B الأساسي (+3.5 نقاط مئوية متوسط).
    • سلبياً: عند استخدامه مع نموذج 8B الأساسي (-2.9 نقطة مئوية)، حيث افتقر النموذج الصغير إلى التوجيه الهيكلي للملاحة في السياق المضغوط.

• تحليل الأخطاء: في الأسئلة "المغطاة" (حيث تكون الإجابة موجودة في السياق)، كانت فجوة الاستدلال هائلة (أكثر من 50 نقطة في MuSiQue). نجح SPARQL CoT في سد حوالي نصف هذه الفجوة لنموذج 70B.

5. الأهمية والآثار المترتبة

• إعادة تعريف عنق الزجاجة: تنقل الورقة التركيز في تحسين Graph-RAG من جودة الاسترجاع (التي هي عالية بالفعل) إلى كفاءة الاستدلال داخل السياق المسترجع.
• دمقرطة الإجابة عالية الأداء: تثبت الورقة أن النماذج الضخمة ذات المعاملات الكبيرة ليست ضرورية بالضرورة للحصول على إجابات عالية الجودة للأسئلة متعددة القفزات. فمع توفير السقالات (scaffolding) المناسبة وقت الاستنتاج (التلقين المهيكل وتقليم السياق)، يمكن للنماذج الأصدة ذات الأوزان المفتوحة تحقيق نتائج تضاهي النماذج الكبيرة بتكلفة أقل بكثير.
• النشر العملي: يقدم المؤلفون قاعدة قرار واضحة:
  • للانتشار ذو الميزانية المحدودة: استخدم (8B + Routing + SPARQL CoT + Graph-Walk Compression).
  • للانتشار الذي يركز على الجودة القصوى: استخدم (70B + SPARQL CoT) دون ضغط (لأن تكلفة الضغط على الدقة تفوق فوائد توفير التوكنات بالنسبة للنماذج الكبيرة).
• رؤى عامة للنظام: تشير النتائج إلى أن التلقين المهيكل هو رافعة عالمية لأنظمة Graph-RAG التي تحافظ على هياكل الكيان-العلاقة، بينما يتطلب ضغط السياق خصائص محددة لمسار الاسترجاع (تدرجات الصلة) ليكون فعالاً.

في الختال، توضح الورقة أن "عنق زجاجة الاستدلال" في Graph-RAG يمكن حله بفعالية من خلال التلقين المهيكل وضغط السياق الطوبولوجي، مما يتيح إجابة على الأسئلة متعددة القفزات بدقة عالية وتكلفة اقتصادية دون الحاجة لإعادة تدريب النماذج.