ملخص تقني: FD-RAG: التوليد المعزز بالاسترجاع ثنائي النظام الموحد (Federated Dual-System RAG)

بيان المشكلة

أصبح "التوليد المعزز بالاسترجاع" (RAG) نموذجًا قياسيًا لتأصيل النماذج اللغوية الكبيرة (LLMs) في المعرفة الخارجية. ومع ذلك، تعتمد أنظمة RAG الحالية على افتراضات تفشل في البيئات الطرفية (Edge Environments): مثل الوصول المركزي للمعرفة، والمشاركة غير المقيدة للبيانات، والموارد الحسابية الوفيرة. في المجالات الواقعية مثل الرعاية الصحية والتمويل، تكون المعرفة مجزأة عبر الأجهزة، وتكون مشاركة البيانات مقيدة بلوائح الخصوصية، ويجب أن يعمل الاستدلال تحت قيود صارمة تتعلق بزمن الاستجابة (Latency) والقدرة الحسابية.

تواجه النهج الحالية ثلاث عقبات رئيسية في هذه الإعدادات:

1. الهشاشة مع النماذج الصغيرة: تعتمد الطرق الحالية غالبًا على النماذج اللغوية الكبيرة (LLMs) لكل من بناء المعرفة والاستدلال. وعند نشرها مع النماذج اللغوية الصغيرة (SLMs) الشائعة في الأجهزة الطرفية، يتدهور بناء المعرفة وتصبح الاستعلامات المعقدة غير موثوقة.
2. زمن الاستجابة والتكلفة: تؤدي الاستدعاءات المتكررة للنماذج اللغوية الكبيرة لعمليات الاسترجاع، وفهم الاستعلام، والاستدلال إلى زمن استجابة وتكاليف حسابية باهظة على الأجهزة الطرفية.
3. تجزؤ المعرفة: تؤدي البيئات اللامركزية إلى تغطية معرفية غير مكتملة عند العقد الفردية. وتكافح الأطر الحالية لتحقيق الكفاءة والاكتمال معًا عندما تكون الأدلة موزعة عبر عدة صوامع (Silos) دون كشف البيانات الخام.

المنهجية

يقترح المؤلفون إطار عمل FD-RAG (الاسترجاء المعزز بالاسترجاع ثنائي النظام الموحد)، والذي يفصل الوصول إلى الذاكرة خفيف الوزن عن الاستدلال القائم على الطلب للنماذج اللغوية الكبيرة. مستلهمًا من "نظرية المعالجة المزدوجة" (النظام 1: سريع، يعتمد على الذاكرة؛ والنظام 2: بطيء، تأملي)، يقوم FD-RAG بفصل الاسترجاع والاستدلال إلى أدوار حسابية متميزة. يتكون إطار العمل من ثلاثة مكونات أساسية:

1. بناء الذاكرة القائم على الهايبرغراف (Hypergraph)

لالتقاط العلاقات الدلالية من الرتب العليا دون استخراج مكلف، يتعلم FD-RAG "هايبرغراف" مدركًا دلاليًا مباشرة من التمثيلات الكثيفة للمتن المحلي (Local Corpus).

• التدرج (Granularity): يتم تقسيم المتن المحلي إلى وحدات على مستوى الفقرة ومستوى الجملة، وتشفيرها باستخدام مشفر كثيف مدرب مسبقًا (مثل BGE-M3).
• تعلم الهايبرغراف: يتعلم النظام مصفوفة احتواء ناعمة (Soft Incidence Matrix) لتعيين العقد إلى حواف الهايبرغراف (Hyperedges)، مع التحسين لضمان التماسك الدلالي داخل الحافة والتمييز العالمي بين الحواف. وقد ثبت أن هذه العملية تتقارب بمعدل $O(1/\epsilon^2)$.
• تقطير ذاكرة السؤال-الجواب (QA Memory Distillation): يتم تقطير الهايبرغراف المتعلم إلى مجموعة مدمجة من ذكريات (السؤال-الجواب). حيث يتم تحويل كل حافة هايبرغراف إلى مجموعات حقائق محددة النوع باستخدام خط معالجة لغوية طبيعية خفيف الوزن (SPACY)، والتي تُستخدم بعد ذلك لتخليق أزواج (سؤال-جواب) مستندة إلى بنية حافة الهايبرغراف. وهذا يخلق طبقة وصول مهيكلة بدلاً من مجرد تجمع QA اصطناعي.

2. الاستدلال ثنائي النظام

عند الاستدلال، يقوم إطار العمل بتوجيه الاستعلامات بناءً على مدى تغطيتها في ذاكرة (السؤال-الجواب):

• المُحفظ (The Memorizer - المسار السريع): بالنسبة للاستعلامات المغطاة جيدًا في ذاكرة (السؤال-الجواب)، يقوم النظام بالمطابقة المباشرة. حيث يحسب درجة موحدة تجمع بين التشابه الدلالي الكثيف والتداخل الهيكلي (معامل Dice لمرتكزات الكيانات). إذا تجاوزت الدرجة عتبة $\delta$، يتم إرجاع الإجابة مباشرة من الذاكرة، متجاوزًا النموذج اللغوي الكبير تمامًا.
• المُدرك (The Cognizer - المسار البطيء): بالنسبة للاستعلامات التي تكون فيها تغطية الذاكرة غير كافية، يقوم النظام باسترجاع أفضل $K$ من الذكريات ذات الصلة. ثم يقوم بتجميع حواف الهايبرغراف الداعمة لهذه الذكريات لتشكيل مجموعة أدلة مهيكلة. بعد ذلك، يتم استدعاء النموذج اللغوي الكبير فقط على مجموعة الأدلة الصغيرة هذه المستندة إلى حافة الهايبرغراف للقيام بالاستدلال التركيبي، بدلاً من البحث في المتن الكامل.

3. تجميع المعرفة الموحد (Federated Knowledge Aggregation)

لمعالجة تجزؤ المعرفة عبر الأجهزة دون مشاركة البيانات الخام:

• التصدير المحلي: يقوم كل جهاز بتقطير الهايبرغراف المحلي الخاص به إلى ذكريات (سؤال-جواب).
• الحفاظ على الخصوصية: قبل المشاركة، يتم تشويه الكيانات الحساسة في الحقائق المحددة النوع باستخدام آلية "الاستجابة العشوائية" لاستيفاء معيار الخصوصية التفاضلية المحلية $\epsilon$-LDP. حيث يتم استبدال الكيانات ببدائل مشابهة دلاليًا من مجموعة مرشحة.
• الدمج العالمي: يتم تجميع الذكريات مجهولة المصدر في بنك ذاكرة عالمي. وهذا يسمح للأجهزة بالتعاون لتحسين التغطية وتحديد الأدلة محليًا للاستعلامات المعقدة مع إبقاء المتون الخام وهياكل الهايبرغراف الكاملة على الجهاز نفسه.

المساهمات الرئيسية

1. إطار عمل FD-RAG: بنية RAG ثنائية النظام للبيئات الطرفية تفصل بين الاسترجاع القائم على الذاكرة والاستدلال الانتقائي للنماذج اللغوية الكبيرة، مما يتيح الاستفادة التعاونية من المعرفة عبر الأجهزة الموزعة.
2. تعلم الهايبرغراف المدرك دلاليًا: نهج مبتكر لبناء هياكل معرفية خفيفة الوزن ومعبرة تلتقط علاقات الرتب العليا، ويتم تقطيرها إلى ذكريات (سؤال-جواب) مدمجة للاستدلال الفعال.
3. الضمانات النظرية: إثبات يؤكد معدل تقارب قدره $O(1/\epsilon^2)$ لإجراء تعلم الهايبرغراف المقترح، مما يدعم نشره القابل للتطبيق.
4. التوحيد الحفاظ على الخصوصية: آلية لتجميع الذكريات المجهولة عبر الأجهزة للتخفيف من تجزؤ المعرفة مع الالتزام بقيود الخصوصية الصارمة.

النتائج التجريبية

قيم المؤلفون FD-RAG على ثلاثة اختبارات متعددة الخطوات (Multi-hop QA): HotPotQA و2WikiMQA وMuSiQue، تحت كل من الإعدادات المحلية والموحدة.

• الأداء مقابل النماذج المرجعية: في الإعداد المحلي، حقق FD-RAG-Local أعلى دقة عبر جميع الاختبارات، متفوقًا على النماذج المرجعية القوية مثل HippoRAG 2 بنسبة 7.8% في الدقة، مع تقليل زمن الاستجابة بمقدار 8.4 ضعفًا. كما قلل بشكل كبير من متوسط عدد استدعاءات النموذج اللغوي الكبير لكل استعلام (أقل من 0.6).
• الأداء الموحد: في الإعداد الموحد، استعاد FD-RAG بشكل كبير فجوة الدقة الناتجة عن تجزؤ المعرفة. فقد تفوق على النموذج المرجعي الموحد RAGRoute بمقدار 13.6 نقطة في الدقة مع كونه أسرع بمقدار 2.6 ضعفًا.
• تحليل النظام الثنائي: أظهرت التجارب أن "المُحفظ" (Memorizer) حل 68.0% من الاستعلامات بثقة عالية (دقة شرطية 77.7%)، مما سمح بتجاوز النموذج اللغوي الكبير لمعظم الحالات بفعالية. وكان "المُدرك" (Cognizer) ضروريًا للاستعلامات المعقدة المتبقية، حيث فشل نهج "المُحفظ فقط" في التعامل مع الاستدلال متعدد الخطوات، بينما تسبب نهج "المُدرك فقط" في زمن استجابة أعلى بـ 5 مرات ودقة أقل.
• المفاضلة بين الخصوصية والمنفعة: قللت آلية تشويه $\epsilon$-LDP المقترحة من قدرة المهاجم على استعادة الكيانات الحساسة من 92.4% (بدون حماية) إلى 8.8%، مع الاحتفاظ بـ 98.3% من منفعة (سؤال-جواب) مقارنة بالمشاركة الخام.
• الكفاءة: أظهر FD-RAG تكاليف بناء غير متصلة (وقت، ذاكرة، واستخدام توكنات LLM) أقل مقارنة بطرق RAG المهيكلة الأخرى مثل GraphRAG وHyperGraphRAG.

الأهمية والادعاءات

يزعم البحث أن FD-RAG يوفر أساسًا مبدئيًا لنشر RAG في سيناريوهات الحافة الواقعية حيث تكون محلية البيانات وقيود الموارد هي الأهم. ومن خلال معاملة الاسترجاع والاستدلال كعمليتين متميزتين، يحقق إطار العمل توازنًا مثاليًا (Pareto-optimal) بين الدقة وزمن الاستجابة.

يؤكد المؤلفون أن فعالية النظام تنبع من:

1. الفصل (Decoupling): فصل مطابقة الذاكرة السريعة عن الاستدلال البطيء للنماذج اللغوية الكبيرة يسمح للنظام بالتوسع بكفاءة على الأجهزة الطرفية.
2. الهيكلية (Structure): استخدام الهايبرغراف لالتقاط علاقات الرتب العليا يتيح تحديد الأدلة بدقة أكبر من استرجاع المتجهات القياسي.
3. التعاون (Collaboration): يسمح تجميع الذاكرة الموحد للأجهزة بتجاوز القيود المعرفية الفردية دون المساس بالخصوصية.

يخلص البحث إلى أنه بينما يعتمد التصميم الحالي على البناء غير المتصل لتنظيم قاعدة المعرفة، فإنه يقدم حلاً قويًا لقيود الحافة الحالية. ويُقترح كعمل مستقبلي التركيز على الآليات التدريجية والتكيفية لتقليل تكلفة إعادة البناء غير المتصل عند التكيف مع مجالات جديدة.