💬 NLP

RARe: Retrieval Augmented Retrieval with In-Context Examples

تُعد RARe طريقةً تعمل على تعزيز أداء نماذج استرجاع النصوص المعتمدة على المشفر فقط (encoder-only) وقدرتها على التعميم خارج النطاق، وذلك من خلال ضبطها بدقة لاستخدام أزواج الاستعلام والوثائق المتشابهة دلالياً كأمثلة ضمن السياق.

المؤلفون الأصليون: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Atula Tejaswi, Yoonsang Lee, Sujay Sanghavi, Eunsol Choi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك أمين مكتبة في مكتبة ضخمة ولانهائية. يسير شخص نحوك ويسألك سؤالاً غامضاً للغاية: "حدثني عن ذلك الشيء المتعلق بالتوزيع الاقتصادي (economic dispatch)."

إذا كنت مسترجعاً عادياً (Standard Retriever)، فستنظر إلى هذه الجملة الواحدة، وتبحث في عقلك، وتحاول العثوا على كتاب. قد تجد شيئاً ما، ولكن لأن سؤالك كان مبهماً بعض الشيء، فقد تلتقط كتاباً عن "الاقتصاد العام" بدلاً من "طرق البحث المباشرة" التي كنت تقصدها بالفعل.

لقد ابتكر الباحثون الذين كتبوا هذه الورقة طريقة تجعل أمين المكتبة أكثر ذكاءً بكثير. أطلقوا عليها اسم RARe.

التشبيه: أمين المكتبة الذي "يعرض ولا يكتفي بالإخبار"

فكر في RARe كأمين مكتبة لا يستمع لسؤالك فحسب، بل ينظر أيضاً إلى "ورقة غش" تحتوي على أسئلة مشابهة طرحها أشخاص آخرون في وقت سابق من ذلك اليوم.

1. الطريقة القديمة (الاسترجاع القياسي):
المستخدم يسأل: "كيف أقوم بحل التوزيع الاقتصادي؟"
يفكر أمين المكتبة: "حسناً، 'التوزيع الاقتصادي'... دعني أبحث..." (النتيجة: غالباً ما يخطئ الهدف).

2. طريقة "السياق" (طريقة RARe):
قبل أن يجيبك أمين المكتبة، يلقي نظرة سريعة على دفتر ملاحظات صغير يحتوي على تفاعلات ناجحة أخيرة:

مثال 1: سأل أحدهم عن "طرق البحث المباشرة"، وكانت الإجابة هي "الطريقة X".
مثال 2: سأل أحدهم عن "التوزيع الديناميكي"، وكانت الإجابة هي "الطريقة Y".
الآن، ينظر أمين المكتبة إلى سؤالك أنت: "كيف أقوم بحل التوزيع الاقتصادي؟"

لأن أمين المكتبة رأى تلك الأمثلة المشابهة قبل سؤالك مباشرة، فإن عقله "ينتقل" إلى الوضع الصحيح. يدرك قائلاً: "آه! نحن نتحدث عن طرق تحسين رياضية محددة!" وهو الآن أكثر قدرة على منحك الكتاب الدقيق الذي تحتاجه.

ماذا فعل الباحثون حقاً؟

من الناحية التقنية، هم يطبقون التعلم داخل السياق (In-Context Learning - ICL) — وهي خدعة تجعل نماذج الذكاء الاصط์ناعي الضخمة (مثل ChatGPT) أكثر ذكاءً عبر إعطائها أمثلة في "المطالبة" (prompt) — على نماذج الاسترجاع (Retrieval Models) (وهي نماذج الذكاء الاصطناي المتخصصة في إيجاد مستندات محددة).

إليك تفصيل "وصفتهم":

المشكلة: عادةً، إذا قمت فقط بإلقاء أمثلة على نموذج استرجاع دون تدريبه خصيصاً للتعامل معها، فسيصاب النموذج بالارتباك ويؤدي أداءً أسوأ. الأمر يشبه إعطاء وصفة لطاهٍ مع رمي مكونات عشوائية على الطاولة أيضاً؛ قد يتشتت انتباهه.
الحل (RARe): لقد قاموا بـ ضبط النموذج (Fine-tuning). لقد دربوا الذكاء الاصطناعي خصيصاً للنظر في أمثلة "ورقة الغش" تلك (أزواج الاستعلام والمستند) واستخدامها لفهم السؤال المستهدف بشكل أفضل.
"الخلطة السرية": لم يختاروا أمثلة عشوائية فحسب. بل استخدموا أداة بحث بسيطة (BM25) للعثور على أمثلة متشابهة دلالياً مع سؤال المستخدم. إذا سألت عن الرياضيات، فإن "ورقة الغش" ستظهر أمثلة رياضية.

لماذا يهم هذا الأمر؟ (النتائج)

دقة أفضل: شهدوا زيادات في الأداء تصل إلى 2.72%. وفي عالم معايير الذكاء الاصطناعي الضخمة، تعد هذه قفزة كبيرة.
تفكير أفضل "من الصندوق": أصبح النموذج أفضل في التعامل مع المواضيع التي لم يراها كثيراً أثناء التدريب. لقد تعلم نمط كيفية استخدام الأمثلة، مما ساعده على التعميم لمواضيع جديدة وغريبة.
قدرة على الاستنتاج: نجح الأمر بشكل خاص في مهام "الاستنتاج" — الأسئلة التي تتطلب القليل من المنطق بدلاً من مجرد مطابقة الكلمات المفتاحية.

الملخص في جملة واحدة:

يحول RARe "مطابق الكلمات المفتاحية" إلى "خبير مدرك للسياق" عبر تدريبه على التعلم من الأمثلة المشابهة المقدمة جنباً إلى جنب مع سؤالك.

ملخص تقني: RARe: الاسترجاع المعزز بالاسترجاع مع الأمثلة داخل السياق

نُشر في: COLM 2025

1. بيان المشكلة

بينما أحدثت التعلم داخل السياق (In-Context Learning - ICL) ثورة في النماذج اللغوية الكبيرة (LLMs) القائمة على فك التشفير (decoder-only)، مما سمح لها بأداء مهام جديدة عبر أمثلة قليلة دون تحديث المعلمات، فإن تطبيقها على نماذج التضمين (embedding models) القائمة على الترميز (encoder-only) (المستخدمة في الاسترجاع الكثيف) ظل أقل استكشافاً بشكل ملحوظ.

تتضمن المحاولات الحالية لتطبيق ICL على المسترجعات غالباً إضافة أمثلة يتم اختيارها عشوائياً إلى الاستعلام. ومع ذلك، يلاحظ المؤلفون مشكلتين رئيسيتين:

تدهور الأداء: على عكس نماذج فك التشفير، فإن مجرد إلحاق أمثلة داخل السياق بنموذج ترميز مُدرب مسبقاً عند الاستدلال غالباً ما يؤدي إلى انخفاض كبير في أداء الاسترجاع.
الافتقار إلى التوجيه الدلالي: لا توفر الأمثلة المختارة عشوائياً بالضرورة السياق الدلالي الخاص بالمهمة أو الاستعلام اللازم لتحسين متجه التضمين بفعالية.

2. المنهجية: RARe

يقترح المؤلفون RARe (الاسترجاع المعزز بالاسترجاع مع الأمثلة داخل السياق)، وهي طريقة تعمل على ضبط نماذج المسترجع بدقة للاستفادة بفعالية من أزواج (الاستعلام-المستند) المتشابهة دلالياً كـ "سياق".

سير عمل RARe:

اختيار الأمثلة داخل السياق: بالنسبة لاستعلام مستهدف $q$ معين، يستخدم النظام مسترجعًا متفرقًا (BM25) للعثور على $k$ من الاستعلامات الأكثر تشابهاً دلالياً من مجموعة بيانات التدريب.
بناء المثال: لكل استعلام مسترجع، يتم إقران المستند الإيجابي المقابل له $d^+$ مع الاستعلام لتشكيل نموذج مثالي $(q_{ic}, d^+_{ic})$ .
تعزيز الاستعلام: يتم تعزيز الاستعلام المستهدف إلى مطالبة مهيكلة:
- التعليمات: {task_instruction}; الاستعلام: {q_ic1}; المستند: {d+_ic1} ... الاستعلام: {target_q}.
الضبط الدقيق التبايني (Contrastive Fine-Tuning): يتم تدريب النموذج باستخدام فقد تبايني قياسي، حيث يتم دفع تضمين هذا الاستعلام المعزز ليكون أقرب إلى المستند الإيجابي المستهدف وأبعد عن السلبيات الصعبة (hard negatives).

اختبر الباحثون هذا النهج عبر نظامين للتدريب:

من نقاط تفتيش (Checkpoints) قائمة على فك التشفير: البدء بنماذج مثل Llama-3 وتدريبها خصيصاً للاسترجاع.
من نقاط تفتيش المسترجع: الضبط الدقيق المستمر لنماذج عالية الأداء موجودة بالفعل (مثل E5-Mistral-Instruct و LLM2Vec).

3. المساهمات الرئيسية

نموذج جديد لـ ICL في نماذج الترميز: يثبت أن التعلم داخل السياق يمكن تكييفه بنجاح للمسترجعات الكثيفة إذا تم تدريب النموذج خصيصاً لمعالجة التنسيق المعزز.
استراتيجية الاختيار الدلالي: يوضح أن استخدام BM25 لاختيار أمثلة متشابهة دلالياً يتفوق على العينات العشوائية.
تحليل تصميم شامل: يقدم تحليلاً عميقاً لكيفية تأثير عدد الأمثلة ( $k$ )، وتنسيق المطالبة (استعلام فقط مقابل مستند فقط)، ومدى تشابه الأمثلة على الأداء.
المصدر المفتوح: أطلق المؤلفون كود المصدر ونقاط التفتيش الخاصة بنماذجهم لتسهيل الأبحاث المستقبلية.

4. النتائج الرئيسية

مكاسب الأداء: يحقق RARe تحسينات كبيرة مقارنة بالاسترجاع القياسي و ICL العشوائي. في اختبار BeIR، أظهر مكاسب تصل إلى +1.41% في مقياس nDCG@10. وفي اختبار RAR-b الذي يعتمد على الاستنتاج، حقق مكاسب أكبر تصل إلى +2.72% في مقياس nDCG@10.
التعميم خارج النطاق (OOD): من النتائج البارزة أن RARe يظهر قدرة أقوى على التعميم لمجموعات البيانات التي لم تُشاهد أثناء التدريب، محاكياً بذلك السلوك الملاحظ في النماذج اللغوية الكبيرة الضخمة القائمة على فك التشف see.
الحساسية للتشابه: يتناسب الأداء طردياً مع التشابه بين الأمثلة داخل السياق والاستعلام المستهدف؛ فعندما يكون المثال الأقرب متشابهاً للغاية، يمكن أن تتجاوز المكاسب 10% في مجموعات بيانات معينة (مثل NFCorpus).
التنسيق والمحتوى: وجدت الدراسة أن تضمين المستندات في المطالبة أكثر فائدة من الاستعلامات وحدها، وأن إضافة المستندات السلبية إلى المطالبة داخل السياق تؤدي في الواقع إلى خفض الأداء قليلاً.

5. الأهمية

تكمن أهمية الورقة في أنها تسد الفجوة بين القدرة التوليدية للنماذج اللغوية الكبيرة وكفاءة المسترجعات الكثيفة. فهي تثبت أن "السياق" في التعلم داخل السياق للمسترجعات يعمل بمثابة معلومات متعلقة بالمهمة/توسيع للاستعلام بدلاً من مجرد زيادة سعة النموذج. ومن خلال تقديم وصفة لجعل نماذج التضمين "متعلمة بلقطات قليلة" (few-shot learners)، يضع RARe الأساس لأنظمة استرجاع أكثر تكيفاً وإدراكاً للاستعلامات، قادرة على التعامل مع الاستنتاج المعقد والمجالات المتنوعة بفعالية أكبر من نماذج التضمين الثابتة.