💬 NLP

Predictive Prefetching for Retrieval-Augmented Generation

تقترح هذه الورقة إطار عمل استرجاع غير متزامن متطور لعملية التوليد المعزز بالاسترجاع، يستخدم الجلب المسبق التنبؤي بناءً على السوابق الدلالية لتقليل زمن الاستجابة بشكل كبير وتحسين زمن الوصول إلى أول رمز (time-to-first-token) مع الحفاظ على جودة إجابات مماثلة للنماذج المتزامنة المرجعية.

المؤلفون الأصليون: Wuyang Zhang, Shichao Pei

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wuyang Zhang, Shichao Pei

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "الاسترجاع الاستباقي التنبؤي لتقنيات التوليد المعزز بالاسترجاع" (Predictive Prefetching for Retrieval-Augmented Generation) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة: ازدحام مروري من نوع "التوقف والسؤال"

تخيل كاتباً عبقرياً (الذكاء الاصطناعي) يحاول أن يروي لك قصة. هذا الكاتب ذكي جداً لكنه لا يعرف كل شيء عن العالم. لكي يضبط الحقائق، عليه أن يتوقف عن الكتابة، ويمشي إلى المكتبة، ويبحث عن كتاب، ويقرأ صفحة، ثم يعود ليكمل القصة.

في أنظمة الذكاء الاصطناعي الحالية (المعروفة بـ RAG)، يحدث هذا بشكل متزامن (Synchronous).

الكاتب: "عاصمة فرنسا هي... [يتوقف]... انتظر، دعني أتحقق."
المكتبة: صمت بينما يركض الكاتب إلى المكتبة.
الكاتب: "حسناً، إنها باريس. عاصمة فرنسا هي باريس."

عملية "الركض إلى المكتبة" هذه تستغرق وقتاً (زمن الاستجابة/Latency). إذا كانت القصة طويلة وتتطلب حقائق كثلة، سيتوقف الكاتب عشرات المرات. والنتيجة هي تجربة بطيئة ومتقطعة للقارئ.

الحل القديم "غير المتزامن": تخمين الكتاب التالي

حاول بعض الباحثين إصلاح ذلك بجعل الكاتب يركض إلى المكتبة بينما لا يزال يفكر. وهذا ما يسمى الاسترجاع غير المتزامن (Asynchronous Retrieval).

ومع ذلك، كانت الطريقة القديمة في القيام بذلك تشبه مساعداً أخرق يخمن الكتاب الذي تحتاجه بناءً على ما قلته للتو.

الكاتب: "عاصمة فرنسا هي..."
المساعد: "أوه، أنت تتحدث عن فرنسا! سأذهب لإحضار كتاب عن برج إيفل!"
الكاتب: "... وعاصمة ألمانيا هي برلين."
المساعد: يصل ومعه كتاب برج إيفل. "تفضل!"

لقد أحضر المساعد الكتاب الخطأ لأن الموضوع تغير قبل وصول الكتاب. يضطر الكاتب للانتظار للحصول على الكتاب الخطأ، ثم يرميه، ثم يركض إلى المكتبة مرة أخرى. هذا يهدر الوقت ويسبب الارتباك.

الحل الجديد: المساعد صاحب "الكرة البلورية"

تقترح هذه الورقة نظاماً جديداً يسمى الاسترجاع الاستباقي التنبؤي (Predictive Prefetching). بدلاً من التخمين بناءً على ما قيل للتو، يستخدم النظام "كرة بلورية" للتنبؤ بما سيحتاجه الكاتب قبل أن يدرك هو نفسه أنه بحاجة إليه.

يحتوي النظام على ثلاث أدوات خاصة (مكونات) تعمل معاً:

1. الكرة البلورية (متنبئ الاسترجاع - Retrieval Predictor)

تراقب هذه الأداة أفكار الكاتب الداخلية (تحديداً مدى "عدم اليقين" أو "الارتباك" الذي يشعر به عقل الكاتب).

كيف تعمل: قبل حوالي 8 إلى 16 كلمة من تعثر الكاتب فعلياً، تكتشف الكرة البلورية نمطاً معيناً. الأمر يشبه رؤية يد الكاتب تبدأ في الارتجاف قليلاً قبل أن يسقط القلم.
السحر: تتنبأ بـ: "بعد حوالي 10 كلمات، سيحتاج الكاتب إلى حقيقة حول الأزمة المالية لعام 2008". فترسل طلباً للمكتبة فوراً، بينما لا يزال الكاتب يتحدث بسعادة عن شيء آخر.

2. مدرب الصبر (مراقب السياق - Context Monitor)

أحياناً، يكون الكاتب في منتصف جملة فقط. إذا أحضر المساعد الكتاب مبكراً جداً، فقد يكون الطلب غامضاً (مثلاً: "أحتاج معلومات عن الـ...").

كيف يعمل: تتحقق هذه الأداة: "هل الجملة التي يقولها الكاتب مكتملة بما يكفي لتقديم طلب جيد للمكتبة؟"
السحر: إذا قال الكاتب: "السبب الرئيسي لـ..."، يقول المدرب: "انتظر ثانية واحدة". يترك الكاتب يكمل جملته: "السبب الرئيسي لـ الأزمة المالية لعام 2008". الآن أصبح الطلب محدداً، ويمكن للمكتبة العثور على الكتاب المناسب تماماً.

3. المترجم (مولد الاستعلام - Query Generator)

بمجرد أن يصبح طلب الكتاب جاهزاً، تقوم هذه الأداة بترجمة أفكار الكاتب الحالية إلى استعلام بحث مثالي للمكتبة.

كيف يعمل: بدلاً من مجرد نسخ الكلمات الأخيرة، تعيد كتابة الطلب ليكون واضحاً جداً وذا صلة بما سوف يقوله الكاتب.
السحر: تضمن أن ترسل المكتبة المعلومات الأكثر فائدة، وليس مجرد حقائق عشوائية.

النتيجة: تدفق سلس

مع هذا النظام الجديد، يصل كتاب المكتبة في الوقت المناسب تماماً عندما يحتاجه الكاتب، وغالباً قبل أن يتوقف حتى ليسأل.

الكاتب: "عاصمة فرنسا هي باريس، والسبب الرئيسي للأزمة المالية لعام 2008..."
الكتاب: ينزلق على المكتب في التوقيت المثالي.
الكاتب: "... كان فقاعة الإسكان. السبب الرئيسي للأزمة المالية لعام 2008 كان فقاعة الإسكان."

لا يتوقف الكاتب أبداً. عملية "الركض إلى المكتبة" تحدث في الخلفية، غير مرئية تماماً للقارئ.

ما وجدته الورقة (لوحة النتائج)

اختبر الباحثون هذا النظام على العديد من الأسئلة المختلفة (مثل الأسئلة العامة، الاستنتاج المعقد، وكتابة الأكواد البرمجية). إليكم ما حدث:

السرعة: قلل النظام إجمالي الوقت اللازم للحصول على الإجابة بنسبة 43.5%.
الانطباع الأول: انخفض الوقت المستغرق لرؤية أول كلمة من الإجابة بنسبة 62.4%. لقد بدا النظام أكثر استجابة وسرعة.
الجودة: كانت الإجابات دقيقة تماماً مثل الطريقة القديمة البطيئة. "الكرة البلورية" لم تجعل الكاتب يرتكب أخطاء؛ بل جعلته فقط أسرع.
الكفاءة: قام النظام بعدد أقل من الرحلات غير الضرورية إلى المكتبة (أقل بنسبة 31%) لأنه عرف بالضبط متى يتوقف ومتى يستمر.

ملخص

تقدم هذه الورقة طريقة لجعل الذكاء الاصطناعي أسرع من خلال تعليمه كيف يتنبأ بموعد حاجته للمعلومات الخارجية قبل أن يتعثر فعلياً. ومن خلال استخدام "كرة بلورية" لرؤية المستقبل، و"مدرب صبر" لانتظار اللحظة المناسبة، و"مترجم" لطرح الأسئلة الصحيحة، يمكن للذكاء الاصطناعي جلب الحقائق في الخلفية دون توقف محادثته أبداً.

ملخص تقني: الاستباق التنبؤي في عمليات الاسترجاع لتعزيز التوليد (RAG)

1. بيان المشكلة

يعمل تعزيز التوليد بالاسترجاع (RAG) على تحسين النماذج اللغوية الكبيرة (LLMs) عبر تزويدها بمعرفة خارجية للحد من الهلوسة وتقادم المعرفة. ومع ذلك، تعاني بنيات RAG التقليدية من تأخير كبير في زمن الاستجابة بسبب الاسترجاع المتزامن. ففي التصميمات الحالية، يتم تعليق عملية توليد الرموز (tokens) بالكامل في كل مرة يؤدي فيها عدم اليقين إلى تشغيل عملية استرجاع، مما يخلق صراعاً جوهرياً بين جودة التوليد وأداء النظام.

بينما استكشفت الأعمال الحديثة الاسترجاع غير المتزامن (مثل PipeRAG وTeleRAG)، تعتمد هذه الأساليب على التنسيق القائم على القواعد التجريبية (مثل الفترات الزمنية الثابتة أو استخدام الرموز القديمة كاستعلامات) وتفترض استقرار الطلبات المعلوماتية أثناء عملية فك التشفير. وغالباً ما تفشل هذه الافتراضات في البيئات المعقدة متعددة المجالات حيث تتداخل حدود المواضيع وتتطور مراجع الكيانات أثناء التوليد. وبناءً على ذلك، قد تقوم أساليب الاسترجاع غير المتزامن الحالية باستباق سياق غير ذي صلة، مما يؤدي إلى عدم تطابق بين المحتوى المسترجع والاحتياجات الفعلية للمعلومات، وهو ما يؤدي في النهاية إلى تدهور الكفاءة والموثوقية الواقعية.

2. المنهجية

تقترح الورقة إطار عمل متطور للاسترجاع غير المتزامن يقوم بفصل الاسترجاع عن التوليد من خلال الاستباق التنبؤي. وتتمثل الرؤية الجوهرية في أن الاحتياجات الاسترجاعية تسبقها مقدمات دلالية يمكن تحديدها في ديناميكيات التوليد (مثل مسارات الإنتروبيا، وتخصيص الانتباه، وديناميكيات تمثيل القيم) والتي تظهر قبل حوالي 8 إلى 16 رمزاً من وصول عدم اليقين إلى مرحلة حرجة.

يتكون إطار العمل من ثلاثة مكونات مدربة بشكل مشترك:

أ. متنبئ الاسترجاع (Retrieval Predictor)

الوظيفة: يتنبأ بالاحتياجات المعلوماتية الوشيكة عبر مراقبة إشارات النموذج اللغوي الكبير الداخلية (توزيعات الرموز، أنماط الانتباه، علامات الخطاب) ضمن أفق استشراف يبلغ ( $\Delta$ رمزاً).
الآلية: يقدر احتمال $\hat{p}_t$ بأن تتجاوز إنتروبيا مستوى الرموز عتبة $\theta$ ضمن النافذة المستقبلية $[t+1, t+\Delta]$ .
البنية: يستخدم مشفر ترانسفورمر (Transformer Encoder) خفيف الوزن مكون من طبقتين يعالج الإشارات المدمجة من طبقات الترانسفورمر الوسطى والعليا (30-45% من عمق النموذج)، والحالات الخفية ( $H_t$ )، وأوزان الانتباه ( $A_t$ )، ومتجهات القيم ( $V_t$ ).
الهدف: تحديد متى يتم تفعيل الاستباق، ويفضل أن يكون ذلك قبل 8-16 رمزاً من حاجة النموذج الفعلية للسياق.

ب. مراقب السياق (Context Monitor)

الوظيفة: يقيم ما إذا كان سياق التوليد المتراكم حالياً كافياً لبناء استعلام استرجاع فعال.
الآلية: بدلاً من الاسترجاع الفوري عند ظهور إشارة "الحاجة"، يقيم النظام أفق الانتظار الأمثل $k^* \in \{0, ..., 5\}$ $k^{*} \in {0, ..., 5}$ من الرموز.
- درجة السياق (ContextScore): تتنبأ بجودة الاستعلام المتوقعة بناءً على السياق المتراكم.
- مصنف الكفاية (SufficiencyClassifier): يتحقق مما إذا كانت الوثائق المسترجعة مؤخراً تلبي الحاجة بالفعل (لتجنب التكرار).
- درجة الوضوح (ClarityScore): تقيم الاكتمال النحوي لضمان أن الاستعلام لا يعتمد على عبارة مبتورة.
الهدف: تحديد مدة الانتظار قبل بدء الاسترجاع لتعظيم خصوصية الاستعلام وتقليل النتائج الإيجابية الخاطئة.

ج. مولد الاستعلام (Query Generator)

الوظيفة: يبني استعلام استرجاع متوافقاً مع المتطلبات المعلوماتية المتوقعة بدلاً من مجرد ترديد السياق الأخير.
الآلية: يستخدم نموذج T5-small مضبوط بدقة لتوليد استعلامات بناءً على السياق المتراكم بعد وقت الانتظار الأمثل $k^*$ .
الاستراتيجية: يعدل استراتيجية الاسترجاع بناءً على ثقة التنبؤ (استعلامات مركزة للثقة العالية؛ واستعلامات استكشافية أوسع للثقة المنخفضة).

التعلم والتحسين

يستخدم النظام استراتيجية ما قبل التدريب متعدد المهام باستخدام بيانات موسومة من HotpotQA وNatural Questions، يتبعها تكييف عبر تدرج السياسة عبر الإنترنت (online policy-gradient adaptation) أثناء النشر.

ما قبل التدريب: يعمل على تحسين المتنبئ والمراقب والمولد بشكل مشترك باستخدام دالة خسارة تجمع بين دقة التنبؤ، والتوقيت (وقت الانتظار)، والكفاية، ووضوح الاستعلام، وجودة توليد الاستعلام.
التكيف عبر الإنترنت: يستخدم هيكل "المقامر السياقي" (contextual-bandit) مع تغذية راجعة خاصة بكل إجراء (مثلاً: +1.0 للاسترجاع الذي يحسن الجودة، و -2.0 للاسترجاءات المتأخرة التي تعيق التوليد) لتنقيح سياسات القرار باستمرار دون الحاجة إلى تسميات ذهبية (gold annotations).

3. المساهمات الرئيسية

استراتيجية الاستباق غير المتزامنة: نهج مبتكر يتنبأ صراحةً بـ متى يتم تفعيل الاسترجاع و ماذا يجب استرجاعه، متجاوزاً الأساليب غير المتزامنة القائمة على رد الفعل أو القواعد التجريبية.
بنية ثلاثية المكونات: تصميم متنبئ استرجاع، ومراقب سياق، ومولد استعلام يتيح استباقاً غير متزامن معلوماتي يتوافق مع الاحتياجات الدلالية المتطورة للنموذج.
تقييم شامل: تجارب واسعة النطاق تثبت انخفاضاً كبيراً في زمن الاستجابة مع الحفاظ على جودة الإجابة مقارنة بالنماذج المتزامنة الأساسية.

4. النتائج التجريبية

تم تقييم إطار العمل على ستة معايير مرجعية (HotpotQA, 2WikiMultiHopQA, Natural Questions, TriviaQA, RepoBench-P, QSum) باستخدام Llama-3.1-8B وعائلات نماذج أخرى.

تقليل زمن الاستجابة: حقق انخفاضاً بنسبة 43.5% في زمن الاستجابة من النهاية إلى النهاية (E2E) (من 9.2 ثانية إلى 5.2 ثانية) وتحسناً بنسبة 62.4% في زمن الوصول لأول رمز (TTFT) (من 287 مللي ثانية إلى 108 مللي ثانية).
جودة الإجابة: حافظ على جودة الإجابة ضمن نطاق 1% من نماذج RAG المتزامنة (مثلاً: 68.7% EM مقابل 69.2% لـ Sync-RAG في HotpotQA).
الكفاءة: قلل عدد عمليات الاسترجاع لكل 1,000 رمز بنسبة 31% (59 مقابل 86) من خلال الاستباق الذكي وفحص الكفاية.
دقة التنبؤ: حقق متنبئ الاسترجاع مساحة تحت منحنى خصائص التشغيل (AUROC) بلغت 0.81، متفوقاً على عتبة الإنتروبيا البسيطة (0.66) بنسبة 22.7%.
المتانة: أظهر النظام أداءً ثابتاً عبر بنيات نماذج متنوعة (Llama, GPT-OSS, Qwen) وأنواع مهام مختلفة (الأسئلة والأجوبة، توليد الكود، التلخيص). وحتى في سيناريوهات "خطأ التنبؤ"، يعود النظام إلى الاسترجاع المتزامن، مما يضمن بقاء أسوأ حالات زمن الاستجابة تحت مستوى الـ P95 للنموذج المتزامن.

5. الأهمية والادعاءات

تدعي الورقة أن مساهمتها الأساسية تكمن في حل القيد المعماري الجوهري لـ RAG: وهو حظر التوليد المتزامن أثناء الاسترجاع. ومن خلال تعلم التعرف على مقدمات عدم اليقين قبل 8-16 رمزاً، ينجح إطار العمل في إخفاء زمن استجابة الاسترجاع خلف العمليات الحسابية الجارية.

يؤكد المؤلفون أن هذا النهج:

يفصل الاسترجاع عن التوليد، مما يسمح بالتنفيذ المتزامن.
يقلل التكاليف الإضافية (Overhead)، حيث يضيف حوالي 2.7 مللي ثانية لكل رمز (5.1% من التكلفة الأساسية)، وهو ما يتم تعويضه بإلغاء وقت الحظر.
يحسن التأسيس الواقعي دون التضحية بالسرعة، معالِجاً المقايضة بين الدقة وزمن الاستجابة التي تعاني منها عمليات النشر الحالية.
يتعمم عبر المجالات وأحجام النماذج المختلفة، بشرط وصول النظام إلى الحالات الخفية وأوزان الانتباه للنموذج (وهو قيد بالنسبة للنماذج ذات الواجهة البرمجية المغلقة).

يضع هذا العمل الاستباق التنبئي كخطوة حاسمة نحو جعل أنظمة RAG قابلة للتطبيق في التطبيقات الحساسة للزمن والاستجابة مثل التحليل المالي، وتلخيص الأخبار، والاستجابة للطوارئ.