Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "الشجرة التجريدية الهرمية لاسترجاع التوليد المعزز عبر المستندات" (Ψ-RAG).

1. بيان المشكلة

يعمل نظام "التوليد المعزز بالاسترجاع" (RAG) على تعزيز النماذج اللغوية الكبيرة (LLMs) بالمعرفة الخارجية. وبينما تقوم أساليب Tree-RAG (مثل RAPTOR) بتنظيم المستندات في فهارس هرمية لدعم الاستعلامات متعددة المستويات، إلا أنها تواجه قيوداً حرجة عند التوسع للتعامل مع الأسئلة متعددة الخطوات عبر المستندات (cross-document multi-hop questions):

1. ضعف القدرة على التكيف مع التوزيع: تعتمد الأساليب الحالية على التجميع من نوع $k$-means (مثل نماذج الخليط الغاوسي). تفترض هذه الخوارزميات توزيعات بيانات كروية وتعاني من "تأثير التوحيد" (uniform effect)، مما يجبر المجموعات (clusters) على أن تكون متساوية الحجم. يؤدي هذا إلى إدخال الضجيج عبر دمج المواضيع الثانوية أو المنحرفة في مجموعات رئيسية، مما يتسبب في تجاهل المسترجع للمعلومات المتخصصة (niche information).
2. العزل الهيكلي: تفتقر فهارس الأشجار عادةً إلى روابط صريحة بين العقد الورقية (leaf nodes) عبر الفروع المختلفة. وبخلاف Graph-RAG، الذي ينتقل بين الكيانات عبر الحواف، تظل أوراق الشجرة معزولة. وهذا يمنع المسترجع من التقاط التبعيات السببية الضمنية المطلوبة للاستدلال متعدد الخطوات.
3. التجريد الخشن: غالباً ما تخلق عمليات التجريد القياسية في الأشجار ملخصات عالية المستوى تحجب التفاصيل الدقيقة. ويواجه المطابقة المتجهة الكثيفة (dense vector matching) صعوبة في ربط الكيانات المحددة في استعلام المستخدم بهذه المفاهيم المجردة، مما يؤدي إلى فشل الاسترجاع في الأسئلة الواقعية ذات مستوى الرموز (token-level).

2. المنهجية: Ψ-RAG

يقترح المؤلفون Ψ-RAG، وهو إطار عمل يتكون من مكونين أساسيين: فهرس الشجرة التجريدية الهرمية ومسترجع وكيل متعدد المستويات.

أ. فهرسة الشجرة التجريدية الهرمية

بدلاً من تجميع $k$-means، يستخدم Ψ-RAG عملية "دمج وانهيار" (merging and collapse) تكرارية مستوحاة من التجميع الهرمي التجميعي (AHC)، ولكن دون افتراضات مسبقة للتوزيع.

• ترتيب التشابه: يتم تشفير جميع قطع المستندات إلى متجهات كثيفة، وتُحسب أوجه التشابه الزوجي وتُرتّب.
• الدمج والانهيار:
  • الدمج: يتم ربط أكثر زوج من القطع (أو العقد) تشابهاً تحت عقدة تجريدية جديدة.
  • انهيار العقدة الورقية: إذا كانت العقدة مرتبطة بالفعل بوالد (parent)، يتم إلحاق العقدة المعزولة بنفس ذلك الوالد.
  • انهيار العقدة التجريدية: إذا كانت عقدتان تنتميان إلى والدين مختلفين في نفس المستوى، يتم دمج جذورهما تحت عقدة جديدة. إذا اختلفت المستويات، يتم ربط الجذر الأقل عمقاً بمسار الجذر الأعمق لتحقيق التوازن في الشجرة.
• التجريد: يقوم وكيل (agent) يعتمد على نموذج لغوي كبير (LLM) بتوليد نوعين من الملخصات لكل عقدة غير ورقية:
  • الملخص التلخيصي (Summative Abstract): فقرة متماسكة تلخص المنطق وعلاقات الكيانات.
  • ملخص الكلمات المفتاحية (Keyword Abstract): كلمات أو عبارات عالية الكثافة تحافظ على التزامن بين الكيانات.
• إعادة التوازن: يتم تقسيم العقد التي تحتوي على عدد مفرط من الأبناء لضمان عدم تجاوز نافذة السياق الخاصة بوكيل التجريد.

ب. الاسترجاع الوكيلي متعدد المستويات

لمعالجة العزل الهيكلي والتجريد الخشن، يستخدم Ψ-RAG وكيل الاسترجاع والإجابة (R&A Agent) الذي يتفاعل مع فهرس هجين متعدد المستويات (شجرة + فهرس كلمات مفتاحية متفرق).

• الاستدلال التكراري: يقيم الوكيل ما إذا كانت المعلومات الحالية كافية. إذا لم تكن كذلك، فإنه يولد استعلاماً مُعاد تنظيمه (مُعزز بالسياق، مثل إضافة أوصاف توضيحية) ويطلق خطوة استرجاع جديدة.
• الاسترجاع الهجين:
  • استرجاع الشجرة: بحث متجه كثيف من الأعلى إلى الأسفل يبدأ من الجذر وصولاً إلى طبقة الأوراق.
  • الاسترجاع المتفرق (Sparse Retrieval): بحث بالكلمات المفتاحية يعتمد على BM25.
  • الدمج: تُدمج النتائج عبر إعادة التصنيف (parametric reranker) أو دمج الرتب المتبادل (Reciprocal Rank Fusion - غير معلمي).
• إعادة تنظيم الاستعلام: يقوم الوكيل بإعادة كتابة الاستعلامات ديناميكياً لتشمل كلمات مفتاحية موضوعية، مما يساعد المسترجع المتفرق (لإيجاد كيانات محددة) ومسترجع الشجرة (لتحديد الملخصات التجريدية ذات الصلة).

3. المساهمات الرئيسية

1. القدرة على التكيف مع التوزيع: يثبت Ψ-RAG نظرياً (عبر تحليل تكلفة Dasgupta) أن عملية الدمج الهرمي الخاصة به تتجنب "تأثير التوحيد" لـ $k$-means. فهو يحافظ بشكل تكيفي على توزيعات البيانات المنحرفة، مما يضمن بقاء المجموعات الصغيرة متميزة بدلاً من امتصاصها من قبل المجموعات الكبرى.
2. أول نظام Tree-RAG عبر المستندات: هو أول إطار عمل Tree-RAG قادر على التعامل مع الاسترجاع متعدد الخطوات على مستوى المجموعة (corpus-level)، محققاً قدرات تضاهي Graph-RAG مع الحفاظ على كفاءة هياكل الأشجار.
3. إطار عمل وكيلي هجين: يحل الصراع بين التجريد الخشن والاسترجاع الدقيق من خلال دمج فهرس كلمات مفتاحية متفرق ووكيل تكراري يعيد تنظيم الاستعلامات بناءً على احتياجات الاستدلال.
4. المرونة: تم بناء الإطار بالكامل على نماذج لغوية كبيرة مفتوحة المصدر وهو نظام معياري، مما يسمح باستبدال المكونات (التضمين، التجريد، الوكيل، إعادة التصنيف) دون الحاجة لإعادة التدريب.

4. النتائج التجريبية

قام المؤلفون بتقييم Ψ-RAG على اختبارات متنوعة تشمل الأسئلة ذات الخطوة الواحدة/متعددة الخطوات (HotpotQA, 2Wiki, MuSiQue, MultiHop-RAG)، والأسئلة السردية (NarrativeQA)، والتلخيص (QMSum, WCEP).

• تحسين الأداء:
  • في اختبارات الأسئلة متعددة الخطوات عبر المستندات، يتفوق Ψ-RAG على RAPTOR بنسبة 25.9% في متوسط درجة F1.
  • يتفوق على HippoRAG 2 (وهو طريقة Graph-RAG) بنسبة 7.4% في متوسط درجة F1.
  • يحقق مكاسب كبيرة في مقاييس الاسترجاع (Recall@5) عبر جميع مجموعات البيانات.
• الكفاءة:
  • الفهرسة: يبني Ψ-RAG شجرة على مستوى المجموعة بسرعة تزيد 10 أضعاف عن Graph-RAG القائم على OpenIE (مثل GraphRAG) وبسرعة تزيد 6.5 ضعفاً عن RAPTOR.
  • الاسترجاع: يوفر البحث من الأعلى إلى الأسفل تعقيداً بمقدار $O(\log n)$، مما يؤدي إلى زمن انتقال أقل من عملية التنقل في Graph-RAG.
• دراسات الاستئصال (Ablation Studies):
  • إزالة وكيل R&A تسبب انخفاضاً بنسبة ~20% في أداء الخطوات المتعددة.
  • إزالة المسترجع المتفرق تضعف الأداء بشكل كبير في الاستعلامات الواقعية (على سبيل المثال، -21.8% في PopQA).
  • إعادة تنظيم الاستعلام بواسطة الوكيل أمر بالغ الأهمية لنجاح الخطوات المتعددة.

5. الأهمية

• سد الفجوة: نجح Ψ-RAG في سد الفجوة بين كفاءة Tree-RAG وقوة الاستدلال في Graph-RAG، مثبتاً أن الهياكل الهرمية يمكن أن تتعامل بفعالية مع الاستدلال المعقد متعدد الخطوات دون العبء الثقيل لبناء الرسوم البيانية (graph construction).
• القابلية للتوسع: من خلال تجنب "تأثير التوحيد" واستخدام خوارزميات دمج فعالة، فإنه يتوسع بفعالية مع مجموعات البيانات الضخمة والمنحرفة حيث تفشل طرق التجميع التقليدية.
• الواقعية: يوضح إطار العمل أن النماذج مفتوحة المصدر يمكنها تحقيق أداء يضاهي أحدث ما توصل إليه العلم في مجال RAG المهيكل، مما يجعل الاستدلال المتقدم متعدد الخطوات متاحاً دون الحاجة إلى واجهات برمجة تطبيقات مملوكة أو تدريب مكثف.
• الاتجاه المستقبلي: يضع معياراً جديداً للتعامل مع الاسترجاع عبر المستندات، مما يشير إلى أن الفهرسة الهرمية المقترنة بالاستدلال الوكيلي هي مسار قابل للتطبيق ومتفوق للجيل القادم من أنظمة RAG.