One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States

إليك ملخص تقني مفصل لورقة البحث "One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States" للباحث Bo Jiang.

1. بيان المشكلة

تتبع أنظمة التوليد المعزز بالاسترجاع (RAG) الحالية لوكلاء النماذج اللغوية الكبيرة (LLM) عادةً مسار نموذج مزدوج:

1. التوليد: يقوم النموذج اللغوي الكبير بتوليد استعلام بحث نصي بناءً على سياق المحادثة.
2. الترميز (Encoding): يقوم نموذج تضمين (Embedding) منفصل ومخصص بترميز هذا النص إلى متجه كثيف لعملية الاسترجاع.

التبعية (Redundancy): هذه البنية غير فعالة لأن النموذج اللغوي الكبير قد قام بالفعل بمعالجة سياق المحادثة الكامل (نية المستخدم، التاريخ، متطلبات المهمة) ورمز هذا الفهم في حالاته الخفية (Hidden States) الداخلية. النص المولد ليس سوى "إسقاط نصي منفصل وفاقد للمعلومات" لهذا التمثيل الداخلي الغني. ثم يقوم نموذج التضمين المنفصل بإعادة معالجة هذا النص من الصفر، مما يؤدي إلى التخلص من الفهم الداخلي للنموذج اللغوي الكبير ومحاولة تقريبه مرة أخرى. هذا يضيف تعقيداً في البنية التحتية، وزمن انتقال (Latency)، وتكلفة حوسبية.

الهدف: إلغاء نموذج التضمين المنفصل من خلال تمكين وكيل النموذج اللغوي الكبير من إجراء عملية الاسترجاع بشكل أصلي (Natively) باستخدام حالاته الخفية الخاصة، مما يقلل من زمن الانتقال ويبسط مسار الاستدلال (Inference Pipeline).

2. المنهجية

يقترح المؤلفون رأس إسقاط (Projection Head) خفيف الوزن يقوم برسم خرائط الحالات الخفية للنموذج اللغوي الكبير مباشرة إلى فضاء التضمين لنموذج تضمين "معلم" (Teacher) مُدرب مسبقاً.

أ. البنية (Architecture)

يقوم رأس الإسقاط $f$ بتحويل تسلسل الحالات الخفية متغير الطول $H = [h_1, \dots, h_n]$ (المستخرجة أثناء التوليد التكراري للنموذج اللغوي) إلى متجه ثابت الأبعاد:

1. إسقاط المدخلات (Input Projection): طبقة خطية تحول الحالات الخفية ($d_h$) إلى بُعد داخلي ($d_m$).
2. مشفر المحولات (Transformer Encoder): مكدس من طبقات المحولات ($L$) مع آلية الانتباه الذاتي لتجميع المعلومات عبر تسلسل الرموز المولدة.
3. التجميع (Pooling): يتم تطبيق متوسط التجميع (Mean pooling) على المواضع غير المعبأة (Non-padding) لضغط التسلسل في متجه واحد.
4. إسقاط المخرجات والتقييس (Output Projection & Normalization): طبقة خطية نهائية تسقط المتجه إلى بُعد التضمين المستهدف ($d$)، متبوعة بتقييس L2 لضمان أن تشابه الضرب النقطي يساوي تشابه جيب التمام (Cosine Similarity).

ملاحظة: يتم استخراج الحالات الخفية كمنتج ثانوي لعملية التوليد، مما يضيف عبئاً ضئيلاً جداً.

ب. أهداف التدريب (تقطير المعرفة - Knowledge Distillation)

يتم تدريب رأس الإسقاط عبر تقطير المعرفة من نموذج تضمين "معلم" ($E$) باستخدام مزيج من ثلاثة خسائر متكاملة:

1. خسارة المحاذاة ($L_{align}$): تقلل المسافة الزاوية (مسافة جيب التمام) بين المتجه المسقط وتضمين المعلم لنفس الاستعلام. هذا يثبت مخرجات "الطالب" في فضاء المعلم.
2. الخسارة التباينية ($L_{contra}$): هي خسارة InfoNCE تضمن أن التضمينات المسقطة تحافظ على البنية التمييزية النسبية بين الاستعلامات المختلفة داخل الدفعة الواحدة (Batch).
3. خسارة تقطير الرتبة ($L_{rank}$): تنقل تفضيلات ترتيب المستندات الخاصة بالمعلم. تستخدم تباعد KL لمحاذاة توزيع رتب المستندات للطالب (بناءً على الضرب النقطي مع أفضل $K$ من المستندات المرشحة) مع توزيع المعلم.

إجمالي الخسارة: $L = \lambda_a L_{align} + \lambda_c L_{contra} + \lambda_r L_{rank}$

3. الإعداد التجريبي

• مجموعة البيانات: QReCC (إعادة كتابة الأسئلة في السياق الحواري)، وهي مقيما بحث حواري واسع النطاق.
• النماذج:
  • وكيل النموذج اللغوي الكبير (الطالب): Qwen3-8B.
  • المعلم: Qwen3-Embedding-8B (إعداد من نفس العائلة).
• الخط المرجعي (Baseline): مسار "التوليد ثم الترميز" القياسي (النموذج اللغوي يولد نصاً $\leftarrow$ نموذج تضمين منفصل يرمز النص).
• المقاييس: Recall@10، MRR@10، nDCG@10، وزمن انتقال الاستدلال (Inference Latency).

4. النتائج الرئيسية

يحقق الأسلوب المقترح تقارباً شبه تام مع الخط المرجعي القياسي المكون من نموذجين، بينما يقلل زمن الانتقال بشكل جذري.

المقياس	الخط المرجعي (نموذجين)	اقتراحنا (الإسقاط الأصلي)	التحسن
Recall@10	0.637	0.607	-3.0%
MRR@10	0.329	0.293	-3.6%
nDCG@10	0.402	0.367	-3.5%
زمن الانتقال (p50)	43.5 مللي ثانية	2.0 مللي ثانية	أسرع بـ 21.8 ضعفاً

• الجودة: يحتفظ الأسلوب بـ 97% من جودة استرجاع الخط المرجعي.
• الأهمية: الفجوة في الأداء ذات دلالة إحصائية (اختبار McNemar، $p=0.0005$)، لكن الطريقتين تتفقان في 84.2% من محفزات الاسترجاع.
• الكفاءة: يضيف رأس الإسقاط حوالي 25 مليون معلمة فقط (وهو عدد ضئيل مقارنة بـ 8 مليارات معلمة في النموذج اللغوي) ويلغي عملية التمرير الأمامي لنموذج التضمين تماماً.

5. دراسات الاستئصال والرؤى (Ablation Studies & Insights)

• مكونات الخسارة:
  • المحاذاة (Alignment) هي المكون الأكثر أهمية (الخسارة المنفردة تحقق 0.567 في Recall@10).
  • تقطير الرتبة (Rank Distillation) يفشل تماماً بدون المحاذاة (ينخفض Recall إلى 0.001) لأنه يفتقر إلى مرساة في فضاء التضمين.
  • الدمج: استخدام جميع الخسائر الثلاث يعطي أفضل النتائج.
• ديناميكيات التدريب:
  • المهمة حساسة للغاية لمعدلات التعلم. معدل مرتفع ($5 \times 10^{-4}$) يسبب انهيار التدريب.
  • التدريب الممتد (80 حقبة/epoch) مع معدل تعلم أقل ($2 \times 10^{-4}$) وفر أكبر دفعة في الأداء، مما يشير إلى أن الخريطة الهندسية بين الحالات الخفية وفضاء التضمين تتطلب تقارباً بطيئاً ودقيقاً.
• تحليل الفشل: تميل حالات الفشل إلى التكتل في أنماط حوارية معينة تتضمن مصطلحات نادرة، أو سلاسل مرجعية معقدة، أو مفردات خاصة بمجال معين، مما يشير إلى أن رأس الإسقاط يعاني مع "الذيل الطويل" (Long Tail) لأنواع الاستعلامات.

6. المساهمات الرئيسية

1. صياغة التبعية (Redundancy): تحديد وصياغة عدم كفاءة مسار RAG القياسي المكون من نموذجين حيث يتم التخلص من الفهم الداخلي للنموذج اللغوي الكبير.
2. آلية استرجاع أصلية: اقتراح رأس إسقاط خفيف الوزن يسمح لوكلاء النماذج اللغوية الكبيرة بالبحث باستخدام حالاتهم الخفية، مما يلغي الحاجة إلى نموذج تضمين منفصل أثناء الاستدلال.
3. هدف تدريب ثلاثي الخسارة: تصميم استراتيجية تدريب قوية تجمع بين خسائر المحاذاة، والتباين، وتقطير الرتبة لترجمة الحالات الخفية بفعالية إلى فضاء التضمين.
4. التحقق التجريبي: إثبات (عبر تجارب شاملة تضم 12 تكويناً للاستئصال) أن الاسترجاع الأصلي يمكن أن يحقق أداءً تنافسياً (97% من الخط المرجعي) مع تقليل زمن الانتقال بمقدار 21.8 ضعفاً.

7. الأهمية والقيود

الأهمية:
يتحدى هذا العمل النموذج السائد لـ RAG من خلال إثبات أن نموذج تضمين منفصل ليس ضرورياً بالضرورة للحصول على استرجاع عالي الجودة. إنه يقدم مساراً نحو أنظمة RAG أبسط، وأسرع، وأقل تكلفة، خاصة للمؤسسات التي تنشر عائلات نماذج موحدة.

القيود:

• التعميم: تم التقييم فقط على QReCC؛ ولم يتم إثبات التعميم على مجالات أخرى.
• الاعتماد على "نفس العائلة": يعتمد النجاح على إعداد "نفس العائلة" (Qwen LLM + Qwen Embedding). قد يكون الإسقاط بين عائلات مختلفة (مثل Llama LLM إلى BERT embedding) أكثر صعوبة.
• متطلبات التدريب: لا يزال نموذج التضمين مطلوباً خلال مرحلة التدريب لتوليد إشارات المعلم، رغم أنه يُزال أثناء الاستدلال.
• الفجوة الإحصائية: رغم صغرها، إلا أن الفجوة في الأداء ذات دلالة إحصائية، مما يعني أن الطريقة ليست بديلاً كاملاً للخط المرجعي بعد.