ملخص تقني: DiffRetriever

بيان المشكلة

أظهرت الأعمال الحديثة، وتحديداً PromptReps (Zhuang et al., 2024)، أن النماذج اللغوية ذات التوليد الذاتي (AR LMs) يمكنها العمل كمسترجعات (retrievers) في وضع الصفر-خطوة (zero-shot) عبر توجيهها لتوليد رموز تمثيلية (متجهات كثيفة ولوجيتات متفرقة) للاستعلامات والممرات (passages). ومع ذلك، فإن توسيع هذا النهج ليشمل الاسترجاع متعدد الرموز (multi-token) (توليد $K$ من الرموز التمثيلية بدلاً من رمز واحد) أثبت عدم كفاءته وغالباً ما كان غير فعال مع نماذج التوليد الذاتي. ولأن نماذج التوليد الذاتي تولد الرموز بشكل متسلسل، فإن إنتاج $K$ من الرموز يتطلب $K$ من عمليات التمرير الأمامي (forward passes)، مما يؤدي إلى زيادة زمن استجابة الترميز (encoding latency) بشكل خطي مع $K$. فشلت المحاولات السابقة لـ PromptReps متعدد الرموز في إظهار مكاسب أداء ثابتة مقارنة بتوليد الرمز الواحد رغم هذه التكلفة العالية في زمن الاستجابة، مما ترك تساؤلاً حول ما إذا كان القصور ناتجاً عن مفهوم تعدد الرموز نفسه أم عن عقبة التوليد المتسلسل.

المنهجية

يقترح المؤلفون DiffRetriever، وهو إطار عمل للاسترجاع مصمم خصيصاً لنماذج لغة الانتشار (Diffusion Language Models - DiffLMs) للتغلب على عقبة التوليد المتسلسل.

الآلية الجوهرية

على عكس نماذج التوليد الذاتي التي تولد الرموز واحداً تلو الآخر، تقوم نماذج DiffLMs بملء المواضع المقنعة (masked positions) بشكل مشترك تحت انتباه ثنائي الاتجاه (bidirectional attention). يستفيد DiffRetriever من ذلك عبر:

1. بناء التوجيه (Prompt Construction): إضافة $K$ من المواضع المقنعة ([MASK]) إلى توجيه الرمز التمثيلي (مثلاً: "...The words are [MASK]").
2. التوليد المتوازي (Parallel Decoding): تغذية التسلسل الكامل (التوجيه + $K$ من الأقنعة) في نموذج DiffLM في تمريرة أمامية واحدة ثنائية الاتجاه.
3. استخراج التمثيل (Representation Extraction): استخراج $K$ من الحالات الخفية الكثيفة (dense hidden states) و$K$ من متجهات اللوجيت المتفرقة (sparse logit vectors) من مواضع الأقنعة الـ $K$ في آن واحد.

التقييم والتدريب

• التقييم (Scoring): يتبنى إطار العمل وصفة التقييم الهجين الخاصة بـ PromptReps:
  • الدرجة الكثيفة (Dense Score): تُحسب عبر التفاعل المتأخر (MaxSim) بأسلوب ColBERT بين الحالات الخفية للاستعلام والممر.
  • الدرجة المتفرقة (Sparse Score): تُحسب عبر اللوجيتات التي تم تطبيق دالة ReLU عليها مع تجميع الحد الأقصى (max-pooled).
  • الدرجة الهجينة (Hybrid Score): هي استكمال خطي (linear interpolation) للدرجات الكثفة والمتفرقة المعيارية.
• الضبط الدقيق (Fine-Tuning): يستخدم المؤلفون الضبط الدقيق التبايني (contrastive fine-tuning) باستخدام خسارة InfoNCE على كل من الدرجات الكثفة والمتفرقة، وهي قابلة للتطبيق على كل من هياكل AR وDiffLM.

الإعداد التجريبي

تقارن الدراسة أربعة هياكل (بمعلمات تتراوح بين 7 إلى 8 مليار):

• التوليد الذاتي (AR): LLaMA3-8B، Qwen2.5-7B.
• الانتشار (Diff): Dream-7B (المُهيأ من Qwen2.5)، LLaDA-8B (المدرب من الصفر).
• النماذج المرجعية (Baselines): BM25، PromptReps (AR)، DiffEmbed (استخدام DiffLM كمشفر متوسط - mean-pooled encoder)، و RepLLaMA (نموذج AR مضبوط تباينياً).
• مجموعات البيانات: MS MARCO، TREC DL 2019/2020، و BEIR-7 (سبع مجموعات بيانات متنوعة خارج النطاق).

النتائج الرئيسية

1. كفاءة وفعالية تعدد الرموز

• الانتشار مقابل التوليد الذاتي: يحقق DiffRetriever متعدد الرموز تحسناً جوهرياً على DiffRetriever أحادي الرمز في كل هيكل انتشار تم اختباره. وفي المقابل، تظهر نماذج AR متعددة الرموز مكاسب مسطحة أو سلبية مقارنة بنماذج AR أحادية الرمز.
• زمن الاستجابة (Latency): تظل تكلفة الترميز لـ DiffRetriever متعدد الرموز ثابتة تقريباً بغض النظر عن قيمة $K$ (تمريرة أمامية واحدة)، بينما تزداد تكلفة تعدد الرموز في نماذج AR بشكل خطي. في إعداد الصفر-خطوة ($K \le 20$)، يتحمل نموذج AR متعدد الرموز عقوبة زمن استجابة تصل إلى $\approx 15\times$ مقارنة بنموذج الانتشار دون تحقيق مكاسب أداء ثابتة.
• انعكاس الأداء: في إعدادات الصفر-خطوة، تتفوق نماذج AR مبدئياً على نماذج DiffLMs عند $K=1$. ولكن عند $K>1$، تتجاوز نماذج DiffLMs (تحديداً Dream و LLaDA) نظيراتها من نماذج AR. على سبيل المثال، يضاعف نموذج Dream متعدد الرموز أداءه على MS MARCO تقريباً مقارنة بنسخته أحادية الرمز، متفوقاً بذلك على Qwen2.5.

2. الأداء الرائد (State-of-the-Art)

• الصفر-خطوة (Zero-Shot): يحقق DiffRetriever على نموذج LLaDA أعلى متوسط درجة في BEIR-7 بين الأنظمة التي تعمل في وضع الصفر-خطوة، متفوقاً على PromptReps في هياكل AR وعلى نموذج DiffEmbed المرجعي.
• الضبط الدقيق (Fine-Tuned): بعد الضبط الدقيق الخاضع للإشراف، يصبح DiffRetriever على Dream هو أقوى مسترجع في BEIR-7 بشكل عام، متفوقاً على PromptReps المضبوط دقيقاً، و DiffEmbed، و RepLLaMA المضبوط تباينياً.
• تآزر الهياكل (Backbone Synergy): يُظهر هيكل Dream (المُهيأ من Qwen2.5) قفزة أداء أكبر من الصفر-خطوة إلى الضبط الدقيق مقارنة بـ LLaDA، مما يشير إلى أن مقدمات التدريب المسبق للنماذج ذات التوليد الذاتي (AR) مدمجة مع فك تشفير الانتشار ثنائي الاتجاه فعالة للغاية لمهام الاسترجاع.

3. تحليل الميزانية وسقف النموذج المثالي (Oracle Headroom)

• الثابت مقابل المتكيف: حددت الدراسة أن استخدام ميزانية ثابتة $(K_q, K_p)$ لجميع الاستعلامات يترك الكثير من الأداء الضائع.
• تحليل النموذج المثالي (Oracle Analysis): يتفوق "النموذج المثالي لكل استعلام" (الذي يختار $K$ الأمثل لكل استعلام باستخدام الحقيقة الأرضية) على الضبط الدقيق التبايني عند ميزانية ثابتة عبر جميع التوليفات.
• القابلية للتنبؤ: يرتبط الميزان الأمثل إيجابياً بميزات الاستعلام الرخيصة (الطول وإنتروبيا شانون)، مما يشير إلى أن وجود موجه (router) متعلم للاختيار المتكيف للميزانية هو اتجاه مستقبلي واعد.

الأهمية والادعاءات

يدعي البحث أنه حل الغموض المحيط بالاسترجاع متعدد الرموز:

1. العقبة هي التوليد المتسلسل: لم يكن فشل مسترجعات AR متعددة الرموز السابقة بسبب مفهوم تعدد الرموز نفسه، بل بسبب تكلفة التوليد المتسلسل. يثبت DiffRetriever أن الاسترجاع متعدد الرموز فعال ورخيص عندما يتم فصله عن التوليد المتسلسل عبر نماذج الانتشار.
2. الأهداف المتوافقة مع التدريب: إن استعلام نموذج الانتشار في شكله المدرب مسبقاً (التنبؤ بالمواضع المقنعة بالتوازي) ينتقل بشكل أفضل إلى مهام الاسترجاع مقارنة بإعادة توظيف النموذج كمشفر قياسي من نوع BERT (كما في DiffEmbed).
3. الإمكانات التكيفية: يسلط وجود فجوة كبيرة بين أداء الميزانية الثابتة وأداء النموذج المثالي لكل استعلام الضوء على أن الاختيار المتكيف للميزانية هو مسار حيوي وغير مستغل لتحسين كفاءة وفعالية الاسترجاع.

يخلص المؤلفون إلى أن DiffRetriever يضع معياراً جديداً للأداء الرائد للاسترجاع القائم على الانتشار، مُثبتاً أن الرموز التمثيلية المتوازية يمكن أن تتفوق على كل من الانتشار أحادي الرمز ونماذج التوليد الذاتي المتسلسلة مع الحفاظ على زمن استجابة منخفض.