ملخص تقني: LatentRAG

بيان المشكلة

تعتمد أنظمة التوليد المعزز بالاسترجاع (RAG) التقليدية غالبًا على عملية استرجاع أحادية الخطوة، والتي تواجه صعوبة في التعامل مع الأسئلة المعقدة التي تتطلب استدلالًا تكراريًا. وبينما يعالج الـ RAG الوكيل (Agentic RAG) هذه المشكلة من خلال توظيف النماذج اللغوية الكبيرة (LLMs) كوكلاء بحث يقومون بتوليد أفكار واستعلامات فرعية وسيطة بشكل تكراري، إلا أن هذا النهج يتسبب في زمن انتقال (latency) كبير.

تتمثل العقبة الرئيسية في أساليب الـ Agentic RAG الحالية (مثل Search-R1 وAutoRefine) في التوليد التلقائي (autoregressive)، رمزًا تلو الآخر (token-by-token) للأفكار والاستعلامات الفرعية باللغة الطبيعية. وكما أوضح تحليل الورقة البحثية، فإن مراحل التوليد هذه تستحوذ على حوالي 90% من إجمالي زمن انتقال الاستدلال، مما يجعل الـ Agentic RAG أبطأ بـ 15 إلى 20 مرة من الـ RAG أحادي الخطوة البسيط. علاوة على ذلك، فإن التوليد الصريح لتسلسلات نصية طويلة يمنع التوازي الفعال ويعيق التحسين المشترك النهائي (end-to-end joint optimization) للنموذج اللغوي ونموذج الاسترجاع بسبب الطبيعة المنفصلة لرموز المخرجات (output tokens).

المنهجية: LatentRAG

يقترح المؤلفون LatentRAG، وهو إطار عمل ينقل كل من الاستدلال والاسترجاع من فضاء اللغة المنفصل إلى الفضاء الكامن المستمر (continuous latent space). فبدلاً من توليد رموز لغة طبيعية صريحة للأفكار والاستعلامات الفرعية، يعمل النموذج على "رموز كامنة" (latent tokens)—وهي الحالات المخفية للطبقة الأخيرة لرموز نائبة خاصة.

المكونات الأساسية

1. التوليد الكامن (Latent Generation):

   • يتم توجيه النموذج اللغوي الكبير باستخدام رموز خاصة (على سبيل المثال، <think1>...<thinkm> للأفكار و <query1>...<queryn> للاستعلامات الفرعية).
   • خلال مرحلة التعبئة المسبقة (prefill stage)، تتم معالجة هذه الرموز الخاصة بالتوازي. يستخرج النموذج الحالات المخفية الأخيرة لهذه الرموز لتعمل كرموز فكر كامن ($H^\tau_t$) ورموز استعلام فرعي كامن ($H^s_t$).
   • يسمح هذا للنموذج بتخصيص حسابات داخلية دون العبء التسلسلي لتوليد النصوص التلقائي.

2. الاسترجاع الكامن (Latent Retrieval):

   • نظرًا لأن الرموز الكامنة تقع في فضاء مخرجات النموذج اللغوي الكبير، فإن وحدة إسقاط خفيفة الوزن (projector module) ($Proj_{ret}$) تسد الفجوة مع فضاء مدخلات نموذج الاسترجاع.
   • يتم تغذية الاستعلام الفرعي الكامن المُسقط في نموذج استرجاع كثيف قابل للتدريب لتوليد تضمينات (embeddings).
   • هدف التدريب: لمواءمة تضمينات الاستعلام الفرعي الكامن مع سلوك الاسترجاع للاستعلامات الفرعية باللغة الطبيعية دون الحاجة إلى تسميات توضيحية للوثائق لكل خطوة وسيطة، قدم المؤلفون خسارة تباعد KL (KL-divergence loss). تقلل هذه الخسارة من التباعد بين توزيع تشابه الوثائق الناتج عن الاستعلام الفرعي الكامن وتوزيع التشابه الناتج عن استعلام مرجعي باللغة الطبيعية (مجمد). وهذا يتيح تحسينًا مشتركًا نهائيًا وقابلًا للاشتقاق بالكامل لكل من النموذج اللغوي ونموذج الاسترجاع.

3. فك التشفير الكامن المتوازي (اختياري):

   • لمعالجة الطبيعة "الصندوق الأسود" للاستدلال الكامن وضمان الشفافية، تم دمج آلية فك تشفير متوازية.
   • تقوم وحدات الإسقاط برسم خرائط للرموز الكامنة عائدة إلى فضاء مدخلات النموذج اللغوي الكبير، مما يسمح للنموذذ بفك تشفير الأفكار والاستعلامات الفرعية المقابلة باللغة الطبيعية.
   • ومن الأهمية بمكان أنه نظرًا لأن الرموز الكامنة يتم توليدها في تمريرة أمامية واحدة (single forward pass)، فإن فك التشفير اللاحق للأفكار والاستعلامات عبر خطوات مختلفة يمكن تنفيذه بالتوازي، مما يقلل بشكل كبير من زمن انتقال فك التشفéric مقارنة بالتوليد التلقائي التسلسلي.

المساهمات الرئيسية

1. إطار عمل LatentRAG: نظام RAG وكيل مبتكر يقوم بالاستدلال والاسترجاع بالكامل داخل الفضاء الكامن، مما يلغي عبء زمن الانتقال المرتبط بالتوليد الصريح للرموز (token-by-token) للأفكال والاستعلامات الفرعية.
2. المواءمة في الفضاء الكامن: هدف تدريب يعتمد على تباعد KL الذي يواءم تمثيلات الاستعلام الفرعي الكامن للنموذج اللغوي مع نموذج استرجاع كثيف مدرب مسبقًا. يسهل هذا التحسين المشترك النهائي ويسمح للرموز الكامنة بالعمل كاستعلامات استرجاع فعالة رغم ندرة البيانات في الخطوات الوسيطة.
3. آلية فك التشفير المتوازي: طريقة لترجمة الرموز الكامنة إلى لغة طبيعية من أجل الشفافية. تدعم هذه الآلية فك التشفير المتوازي عبر خطوات الاستدلال المتعددة، مما يوفر مقايضة بين الكفاءة والقابلية للتفسير مع الحفاظ على ميزة سرعة كبيرة مقارنة بالطرق الصريحة.

النتائج التجريبية

قام المؤلفون بتقييم LatentRace على سبعة مجموعات بيانات مرجعية (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, Musique, Bamboogle) باستخدام نماذج استرجاع وأحجام مختلفة من النماذج اللغوية الكبيرة.

• الأداء: يحقق LatentRAG أداءً مشابهًا لطرق الـ Agentic RAG الصريحة المتطورة (مثل Search-R1 وAutoRefine)، حيث تقع فروق الأداء النسبية عمومًا ضمن نطاق 5%.
• الكفاءة: يقلل هذا الأسلوب زمن انتقال الاستدلال بنسبة تقارب 90% مقارنة بنماذج الـ Agentic RAG الصريحة.
  • في المتوسط، يقلل LatentRAG زمن الانتقال من ~5,000 مللي ثانية (Search-R1) إلى ~600 مللي ثانية.
  • هذا يهبط بزمن انتقال الـ Agentic RAG إلى مستويات مقاربة للـ RAG أحادي الخطوة التقليدي (حوالي ~400–500 مللي ثانية).
• القابلية للتوسع: تظل مكاسب الكفاءة ثابتة عبر أحجام النماذج المختلفة (نماذج لغوية من 3B إلى 14B، ونماذج استرجاع من 0.6B إلى 8B). يؤدي توسيع حجم النموذج اللغوي إلى زيادة زمن الانتقال بشكل كبير للطرق الصريحة بسبب تسلسلات فك التشفير الطويلة، بينما يحافظ LatentRAG على كفاءته.
• دراسات الاستئصال (Ablation Studies): أظهر هدف استرجاع تباعد KL تفوقًا على خسارة جيب التمام (cosine loss) أو خسارة InfoNCE. أدى حذف نموذج الاسترجاع المدرب مسبقًا أو خسارة فك التشفير إلى تدهور الأداء، مما يؤكد ضرورة الانحياز الاستقرائي (inductive bias) من نموذج الاسترجاع والتنظيم الذي يوفره فك التشفير.

الأهمية والادعاءات

تزعم الورقة أن LatentRAG ينجح في سد الفجوة بين الأداء العالي للـ Agentic RAG متعدد الخطوات وكفاءة الـ RAG أحادي الخطوة. ومن خلال نقل الاستدلال والاسترجاع إلى الفضاء الكامن، يتجنب إطار العمل عدم الكفاءة الحسابية لتوليد النصوص التلقائي مع الحفاظ على القدرة على تفكيك الأسئلة المعقدة.

يؤكد المؤلفون أنه بينما تم استكشاف الاستدلال الكامن لمهام التوليد فقط، فإن تطبيقه على الـ Agentic RAG يفرض تحديات فريدة تتعلق بندرة البيانات والشفافية. يعالج LatentRAG ذلك من خلال اقتراح استراتيجية تحسين مشتركة وآلية فك تشفير متوازية اختيارية. يشير العمل إلى تحول من محركات البحث القائمة على النصوص والموجهة للبشر نحو محركات بحث قائمة على التضمين وموجهة للوكلاء، مما يقدم نموذجًا أكثر كفاءة لوكلاء البحث عن المعلومات في عصر النماذج اللغية الكبيرة. ويشير المؤلفون بتواضع إلى أن نهجهم الحالي يعتمد على التعلم الفائق الموجه (SFT) باستخدام مسارات من الوكلاء الحاليين، ويمكن أن يستكشف العمل المستقبلي التعلم التعزيزي لتحسين سياسات الاسترجاع بشكل أكبر.