In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

ملخص تقني: التحسين داخل السياق للنماذج التوليدية المعززة بالاسترجاع

بيان المشكلة
تعالج عملية التوليد المعزز بالاسترجاع (RAG) القصور في نماذج اللغات الكبيرة (LLMs) المتمثل في امتلاكها مجموعات بيانات تدريب مسبق ثابتة، وذلك من خلال ربط عملية التوليد بوثائق خارجية مسترجعة. ومع ذلك، غالبًا ما تتعامل أنظمة RAG الحالية مع الوثائق المسترجعة كأدلة ثابتة، وتفتقر إلى آلية لتكييف كيفية استخدام المولد لهذه الأدلة لمهام جديدة أو توزيعات استعلام مختلفة. وبينما يسمح التعلم داخل السياق (ICL) للنماذج بالتكيف عبر أمثلة قليلة (few-shot)، لا يزال من غير الواضح ما إذا كانت هذه الأمثلة تُحدث تحديثًا منهجيًا لآلية استخدام الأدلة أم أنها مجرد توضيحات إضافية. علاوة على ذلك، فإن طرق التكيف عند وقت الاختبار القياسية (مثل الضبط الدقيق أو التدريب عند وقت الاختبار) مكلفة حاسوبيًا للنماذج اللغوية الكبيرة، بينما يحد إبقاء النماذج مجمدة من قدرتها على التكيف.

المنهجية
تقترح الورقة البحثية RAG-GD، وهي طريقة تكيف تعتمد على التمرير الأمامي فقط (forward-only)، وتستند إلى المنظور النظري الذي يرى أن RAG يمكن اعتباره عملية تحسين داخل السياق. تسير المنهجية عبر ثلاث مراحل:

1. الأساس النظري (النظام الخطي):
   يضع المؤلفون إطارًا خطيًا مضبوطًا لربط تنبؤ RAG بالانحدار الاشتقاقي (gradient descent). وقد أثبتوا أن طبقة انتباه ذاتي خطية واحدة (LSA) يمكنها تنفيذ خطوة واحدة بدقة من خطوات الانحدار الاشتقاقي على هدف RAG خطي موحد. يغطي هذا الهدف واجهات الاسترجاع القائمة على الإسقاط (projection-based) والمنتج النقطي (dot-product). في هذا النظام، يتوافق تحديث LSA على رمز الاستعلام (query token) بدقة مع إزاحة التنبؤ الناتجة عن تحديث أوزان واجهة الاسترجاء عبر الانحدار الاشتقاقي على أمثلة السياق.

2. تحليل الحدود:
   تستقصي الورقة حدود هذا التوافق. تؤكد التجارب على مهام خطية اصطناعية أن طبقات LSA المدربة تطابق متنبئ الانحدار الاشتقاقي المنشأ تحت ظروف تغير التوزيع وعدد وثائق متغير. ومع ذلك، تحت البنى غير الخطية وبيانات الانحدار الواقعية، يصبح التوافق حساسًا لتوزيع الميزات (على سبيل المثال، الميزات المائلة أو ذات الذيول الثقيلة تضعف هذا التوافق). يشير هذا إلى أن الرؤية الخطية تعمل كدليل تصميم أكثر من كونها نموذجًا حرفيًا لحسابات النماذج اللغوية الكبيرة.

3. التكيف على مقياس النماذج اللغوية الكبيرة (RAG-GD):
   بالاستفادة من منظور التحسين، صمم المؤلفون طريقة تكيف خفيفة الوزن وتعتمد على التمرير الأمامي فقط لنماذج RAG اللغوية الكبيرة المجمدة.

• الإعداد: يتم الإبقاء على المسترجع الخارجي ونموذج LLM الأساسي مجمدين. يتم تدريب محول استرجاع أساسي (نماذج LoRA على إسقاطات Q/K/V) لتعديل كيفية استخدام المولد للأدلة المسترجعة.
• هدف الإشراف: يتم تدريب متنبئ خفيف الوزن ($g_\phi$) بطريقة "الميتا" (meta-trained) للتنبؤ بالتحديث الذي ستحدثه $K$ من خطوات الانحدار الاشتقاقي (SGD) على واجهة الاسترجاع من جانب المولد، بناءً على سياق دعم RAG بأسلوب الأمثلة القليلة. يتم حساب هدف الإشراف عبر (autograd) أثناء التدريب ولكن مع فصله عن المتنبئ.
• الاستدلال: عند وقت الاستدلال، يأخذ المتنبئ سياق دعم، وينتج تحديث الأوزان في تمريرة أمامية واحدة، ويطبقه على واجهة المولد. لا يتطلب الأمر إجراء انتشار عكسي (backpropagation) عبر النموذج اللغوي الكبير أثناء الاستدلال.

المساهمات الرئيسية

• منظور التحسين داخل السياق لـ RAG الخطي: توسع الورقة منظور "ICL كانحدار اشتقاقي" ليشمل التنبؤ المعزز بالاسترجاع، وتثبت أن طبقة انتباه ذاتي خطية واحدة تنفذ خطوة واحدة من الانحدار الاشتقاقي على هدف RAG خطي موحد.
• تحليل الحدود: تحدد الدراسة أنه بينما يتحقق التوافق الخطي في الإعدادات المنضبطة، فإنه يتدهور تحت تأثير اللاخطية وتوزيعات الميزات المحددة، مما يضع الحدود التجريبية للنظرية.
• التكيف المجمّع عند وقت الاختبار: قدم المؤلفون RAG-GD، وهي طريقة تكيف واجهة استخدام الأدلة من جانب المولد دون إعادة تدريب النموذج الأساسي أو المسترجع. وهي تعمل على تجميع تكلفة تحديثات الانحدار الاشتقاقي عند وقت الاختبار عبر تعلم متنبئ يقرب التحديث في تمريرة أمامية واحدة.

النتائج
من خلال التقييم عبر سبعة معايير للأسئلة والأجوبة (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle)، ونموذجين من LLM (Qwen 2.5-7B, Llama 3.1-8B)، ومسترجعين (BM25, E5)، أظهر RAG-GD ما يلي:

• مكاسب الأداء: يحسن RAG-GD باستمرار درجات المطابقة التامة (EM) ودرجة F1 مقارنة بالنموذج المرجعي ذي الواجهة المشتركة (Base adapter) وVanilla RAG.
• القابلية للنقل: تنتقل قواعد التحديث المتعلمة بفعالية إلى المهام المحجوبة (PopQA, Bamboogle) التي لم تُشاهد أثناء التدريب الميتا.
• كفاءة التكلفة: يقترب RAG-GD من أداء الانحدار الاشتقاقي عند وقت الاختبار (TT-SGD)، الذي يقوم بعملية الانتشار العكسي الفعلية عند الاستدلال، ولكن بتكلفة أقل بكثير لكل استعلام (تمريرة أمامية واحدة عبر متنبئ صغير مقابل الانتشار العكسي عبر النموذج اللغوي الكبير).
• المتانة: الأداء غير حساس إلى حد كبير لعدد خطوات الانحدار الداخلي ($K$) المستخدمة في هدف الإشراف، حيث يعتبر $K=5$ ممثلاً للواقع.

الأهمية والادعاءات
تدعي الورقة أن الأدلة المسترجعة يجب أن تُعامل ليس فقط كسياق خارجي، بل أيضًا كإشارة للتكيف المستحث بالسياق. ومن خلال تأطير RAG عبر عدسة التحسين داخل السياق، يوفر المؤلفون تبريرًا نظريًا لتكييف كيفية استخدام المولد المجمد للوثائق المسترجعة. تكمن الأهمية في تقديم بديل عملي ومنخفض التكلفة للانتشار العكسي عند وقت الاختبار لأنظمة RAG. يذكر المؤلفون صراحة أن البناء الخطي الخاص بهم هو نقطة انطلاق تحليلية ودليل للتكيف، وليس وصفًا حرفيًا لكيفية حساب نماذج RAG اللغوية العميقة وغير الخطية الحديثة. تمكن هذه الطريقة من التكيف مع المجالات أو المهام الجديدة دون تعديل المسترجع أو نموذج LLM، مما يقلل من البصمة الطاقية لخطوط أنابيب التكيف عند وقت الاختبار.