💬 NLP

Can Small Language Models Use What They Retrieve? An Empirical Study of Retrieval Utilization Across Model Scale

تكشف هذه الدراسة التجريبية أن النماذج اللغوية الصغيرة (≤7 مليار معلمة) تعاني بشكل جوهري من صعوبة في استخدام المعلومات المسترجعة، حيث تفشل غالباً في استخراج الإجابات الصحيحة حتى مع جودة الاسترجاع المثالية وتفقد تكراراً المعرفة السابقة المعروفة لديها بسبب التشتت، مما يشير إلى أن توظيف السياق — وليس جودة الاسترجاع — هو العائق الأساسي لتقنية التوليد المعزز بالاسترجاع (RAG) عند هذا النطاق.

المؤلفون الأصليون: Sanchit Pandey (BITS Pilani, Hyderabad, India)

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sanchit Pandey (BITS Pilani, Hyderabad, India)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

السؤال الكبير: هل يمكن لعقل صغير أن يقرأ كتاباً كبيراً؟

تخيل أن لديك طالباً ذكياً جداً ولكن ذاكرته صغيرة ("نموذج لغوي صغير"، أو SLM). تريد مساعدته في الإجابة على الأسئلة الصعبة، فتعطيه بطاقة مكتبة (التوليد المعزز بالاسترجاع، أو RAG). الفكرة هي: "إذا لم تكن تعرف الإجابة، ابحث عنها في المكتبة".

هذا البحث يطرح سؤالاً بسيطاً ولكنه صادم: إذا أعطيت طالباً صغيراً كتاباً يحتوي على الإجابة الدقيقة، فهل سيقرؤها ويستخدمها حقاً؟

وجد الباحثون أنه بالنسبة للنماذج الصغيرة (أقل من 7 مليارات "خلية دماغية")، كانت الإجابة هي لا قاطعة. في الواقع، منحهم الكتاب غالباً ما يجعل أداءهم أسوأ مما لو لم يكن لديهم كتاب على الإطلاق.

التجربة: اختبار "أمين المكتبة المثالي"

لمعرفة ما إذا كانت المشكلة في المكتبة أم في الطالب، صمم الباحثون اختباراً خاصاً:

الطلاب: اختبروا خمسة "طلاب" مختلفين، تتراوح قدراتهم من طفل صغير (360 مليون معلمة) إلى مراهق ذكي (8 مليارات معلمة).
الكتب: قدموا لهم أربعة أنواع من المساعدة:
- بدون مساعدة: السؤال فقط.
- أمين مكتبة سيء: أمين مكتبة يجلب صفحات عشوائية (BM25).
- أمين مكتبة ذكي: أمين مكتبة يستخدم الذكاء الاصطناعي لإيجاد الصفحات ذات الصلة (Dense).
- أمين المكتبة "الخارق" (Oracle): أمين مكتبة سحري يضمن وجود الإجابة في الصفحة الأولى التي يسلمها لك.

الهدف: إذا فشل الطالب حتى مع وجود الكتاب "الخارق" (المثالي)، فإن المشكلة ليست في أمين المكتبة، بل في قدرة الطالب على القراءة.

الاكتشافات الثلاثة الصادمة

1. الطالب "الأعمى" (عنق زجاجة الاستخدام)

حتى عندما سلم أمين المكتبة "الخارق" الطالب الصفحة التي تحتوي على الإجابة بالضبط، فشلت النماذج الصغيرة (أقل من 7 مليارات) في العث/إيجادها بنسبة 85% إلى 100% من الوقت.

التشبيه: تخيل أنك أعطيت طفلاً خريطة عليها علامة "X" حمراء كبيرة تحدد مكان الكنز. ينظر الطفل إلى الخريطة، يهز كتفيه، ويقول: "لا أعرف"، أو يخترع موقعاً خاطئاً تماماً. إنه يتجاهل الخريطة تماماً.
النتيجة: خطوة "الاستخدام" معطلة. النموذج يسترجع المعلومات ولكنه يعاملها كضوضاء في الخلفية.

2. تأثير "التشتت" (لماذا تضر المساعدة؟)

هذا هو الجزء الأكثر إثارة للدهشة. عندما كانت النماذج تعرف الإجابة من ذاكرتها الخاصة (المعرفة البارامترية)، فإن إعطاءها كتاباً -حتى لو كان مثالياً- جعلها تنسى الإجابة.

التشبيه: تخيل طالباً يؤدي اختباراً في الرياضيات. هو يعرف أن الإجابة هي "42". فجأة، يدخل معلم ويهمس له: "مهلاً، إليك صفحة نص قد يساعدك". يتشتت الطالب بوجود الورقة، فيصاب بالذعر، وينسى "42"، ويكتب "17" بدلاً منها.
النتيجة: بالنسبة للنماذج الصغيرة، فإن أي نص إضافي هو مصدر تشتت. لا يهم إذا كان النص مثالياً أو مجرد هراء؛ مجرد وجوده هناك يربك النموذج ويفسد الإجابات التي كان يعرفها بالفعل.

3. المقايضة "السلبية الصافية"

عند جمع الجوانب الإيجابية (إيجاد إجابات جديدة) مع الجوانب السلبية (نسيان الإجابات المعروفة)، تكون النتيجة سلبية.

الحسابات: بالنسبة لنموذج بـ 7 مليارات معلمة، قد يساعده استخدام RAG في الحصول على 8% أكثر من الإجابات الجديدة، ولكنه يتسبب في فقدان 51% من الإجابات التي كان يحصل عليها بشكل صحيح بالفعل.
الحكم: نشر هذا النظام يشبه توظيف مستشار يحل مشكلة واحدة ولكنه يكسر عشر مشاكل أخرى عن طريق الخطأ. إنها خسارة صافية.

لماذا يحدث هذا؟

نظر الباحثون في "الأخطاء" التي ارتكبتها النماذج ووجدوا أن الخطأ المهيمن كان التوليد غير ذي الصلة (Irrelevant Generation).

ماذا يعني ذلك: يرى النموذج النص، ولكن بدلاً من قراءته، يستمر فقط في التحدث عما كان يفكر فيه من قبل. الأمر يشبه شخصاً ينظر إلى قائمة الطعام ولكنه يطلب الطبق الذي أكله بالأمس لأنه لا ينظر فعلياً إلى القائمة.
العتبة: كانت النماذج المتناهية الصغر (360 مليون) غير مترابطة تماماً. أما النماذج الأكبر قليلاً (1.5 مليار فأكثر) فقد حاولت التفاعل ولكنها فشلت. يبدو أنك تحتاج إلى عقل بحجم معين (غالباً أكثر من 7 مليارات أو حتى 10 مليارات) لتمتلك فقط "مدى انتباه" كافٍ للتركيز على وثيقة أثناء الإجابة على سؤال.

الخلاصة للعالم الحقيقي

إذا كنت تبني تطبيقاً أو أداة تستخدم نماذج ذكاء اصطناي صغيرة، رخيصة، وسريعة (وهو أمر رائع للخصوصية والتكلفة)، فلا تكتفِ فقط بوضع زر "ابحث في الويب" وتتوقع أن يعمل الأمر.

عنق الزجاجة: المشكلة ليست في إيجاد المعلومات؛ بل في عدم قدرة النموذج على معالجة المعلومات التي يجدها.
النصيحة:
1. لا تستخدم RAG على النماذج الصغيرة إلا إذا كان لديك سبب محدد جداً.
2. استخدم نماذج أكبر إذا كنت بحاجة لقراءة الوثائق.
3. دربهم خصيصاً: إذا كان لزاماً عليك استخدام النماذج الصغيرة، فأنت بحاجة إلى "تعليمهم" كيفية القراءة (ضبط دقيق/Fine-tuning) قبل أن تطلق سراحهم على الإنترنت.

باخت lập: إعطاء نموذج لغوي صغير بطاقة مكتبة لا يجعله أذكى؛ بل يجعله أكثر ارتباكاً. يحتاج النموذج إلى أن "يكبر" (يزداد حجماً) قبل أن يتمكن من تعلم القراءة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "هل تستطيع النماذج اللغوية الصغيرة استخدام ما تسترجعه؟ دراسة تجريبية حول استغلال الاسترجاع عبر مقاييس النماذج."

1. بيان المشكلة

يعد التوليد المعزز بالاسترجاع (RAG) تقنية قياسية لتحسين الدقة الواقعية للنماذج اللغوية الكبيرة (LLMs) من خلال ربط عملية التوليد بوثائق خارجية. وبينما تعد هذه التقنية فعالة للنماذج الكبيرة (أكبر من 10 مليارات معلمة)، إلا أنه لا يزال من غير الواضح ما إذا كانت النماذج اللغوية الصغيرة (SLMs) (أقل من أو تساوي 7 مليارات معلمة) قادرة على استغلال المعلومات المسترجعة بفعالية.

غالباً ما تخلط التقييمات الحالية بين نمطي فشل متميزين:

فشل الاسترجاع (Retrieval Failure): حيث يقوم النظام باسترجاع فقرات غير ذات صلة أو غير مفيدة.
فشل الاستغلال (Utilization Failure): حيث يفشل النموذج في استخراج الإجابة الصحيحة حتى عند تزويده بالفقرة المثالية (الذهبية).

تعالج هذه الورقة الفجوة الحرجة في فهم ما إذا كان عنق الزجاجة بالنسبة للنماذج الصغيرة يكمن في جودة الاسترجاع أم في عدم قدرة النموذج المتأصلة على معالجة السياق المسترجع وتأصيل توليده عليه.

2. المنهجية

أجرى المؤلفون دراسة تجريبية محكومة شملت خمسة نماذج مضبوطة التعليمات (instruction-tuned) تتراوح أحجامها من 360 مليون إلى 8 مليارات معلمة عبر ثلاث عائلات معمارية (SmolLM2، Qwen2.5، Llama 3.1).

التصميم التجريبي

مجموعات البيانات: 1,000 سؤال من Natural Questions (خطوة واحدة/single-hop) و HotpotQA (متعدد الخطوات/multi-hop).
ظروف الاسترجاع: قارنت الدراسة أربعة ظروف:
1. بدون استرجاع (No Retrieval): خط الأساس باستخدام المعرفة البارامترية فقط.
2. BM25: استرجاع متفرق (Sparse retrieval).
3. كثيف (Dense): استرجاع كثيف (E5-large-v2).
4. الاسترجاع المثالي (Oracle Retrieval): حالة "المعيار الذهبي" حيث يُضمن احتواء الفقرة المسترجعة على نص الإجابة. هذا يعزل سلوك الاستغلال عن دقة الاسترجاع.
تقسيم المعرفة البارامترية: تم تصنيف الأسئلة إلى معلومة (KNOWN) (يجيب النموذج عنها بشكل صحيح بدون استرجاع) و غير معلومة (UNKNOWN) (يفشل النموذج في الإجابة عنها بدون استرجاع) بناءً على خط الأساس "بدون استرجاع". وهذا يسمح بتحليل منفصل لـ فائدة الاسترجاع (للمجهولات) و ضرر الاسترجاع (التشتت للمعلومات).
المقاييس: المقياس الأساسي هو المطابقة التامة (Exact Match - EM) مع التطبيع القياسي. تم اختبار المتانة عبر ثلاثة قوالب للأوامر (مفروضة، مرنة، دنيا) وطرق استرجاع مختلفة.

3. المساهمات الرئيسية

عزل عنق زجاجة الاستغلال: من خلال تقديم شرط "الاسترجاع المثالي" (Oracle)، تثبت الدراسة أن النماذج الصغيرة تفشل حتى مع وجود استرجاع مثالي، مما يحدد استغلال السياق كعنق زجاجة رئيسي، وليس جودة الاسترجاع.
تكميم التشتت: توضح الدراسة أن إضافة أي سياق (حتى لو كان سياقاً مثالياً) يدمر جزءاً كبيراً من الإجابات التي كان بإمكان النموذج الإجابة عنها سابقاً، مما يشير إلى "تأثير التشتت" الناتج عن مجرد وجود السياق.
تصنيف الأخطاء: يكشف التحليل المنهجي لـ 2,588 حالة فشل في حالة الـ Oracle أن نمط الفشل المهيمن هو التوليد غير ذي الصلة (تجاهل السياق تماماً)، بدلاً من الهلوسة أو أخطاء الاستخراج.
صافي المقايضة السلبية: توفر الدراسة إطاراً رياضياً يظهر أن صافي الربح من RAG يكون سالباً للنماذج الأقل من 7 مليارات معلمة في الظروف القياسية، لأن الخسارة في الدقة في الأسئلة "المعلومة" تفوق المكسب في الأسئلة "غير المعلومة".

4. النتائج الرئيسية

أ. فشل الاستغلال (فجوة الـ Oracle)

حتى مع الاسترجاع المثالي (Oracle Retrieval) (فقرة مضمونة الصحة):

نموذج 7 مليار: يحقق 14.6% فقط من المطابقة التامة (EM) في الأسئلة غير المعلومة (UNKNOWN). هذا يعني أن 85%+ من جهد الاسترجاع يضيع سدى.
نموذج 3 مليار: يحقق حوالي 12.8% EM.
نموذج 1.5 مليار: يحقق حوالي 10.0% EM.
نموذج 360 مليون: يحقق 0.0% EM في جميع الظروف.
الاستنتاج: القيد الأساسي هو قدرة النموذج على التكيّف مع النص، وليس قدرة نظام الاسترجاع على إيجاده.

ب. تأثير التشتت (الضرر بالمعرفة المعلومة)

عند إضافة الاسترجاع إلى الأسئلة التي يعرفها النموذج بالفعل (مجموعة KNOWN):

انهيار الأداء: يتسبب الاسترجاع في انخفاض كارثي في الدقة.
- نموذج 7 مليار: يفقد 51.2 نقطة مئوية مع الاسترجاع المشوش و 41.6 نقطة مئوية مع استرجاع الـ Oracle.
- نموذج 1.5 مليار: يفقد 64.0 نقطة مئوية (مشوش) و 57.0 نقطة مئوية (Oracle).
عدم صلة الجودة: بالنسبة للنماذج ≤ 3 مليار، لا يوجد فرق ذو دلالة إحصائية بين التشتت الناتج عن الاسترجاع المشوش واسترجاع الـ Oracle. وجود السياق، وليس جودته، هو ما يدفع التدهور.

ج. تحليل صافي المقايضة

يتم حساب صافي التغيير المتوقع في الدقة ( $\Delta EM_{net}$ ) كالتالي:
$\Delta EM_{net} = (P_{unk} \times \Delta EM_{unk}) + (P_{kn} \times \Delta EM_{kn})$

بالنسبة لنموذج 7 مليار، النتيجة الصافية هي -2.9 نقطة مئوية (مع الاسترجاع المشوش) و +4.2 نقطة مئوية فقط (مع استرجاع الـ Oracle المثالي).
الآثار المترتبة: نشر RAG مع النماذج الأقل من 7 مليارات معلمة تحت ظروف التلقين القياسية غالباً ما يقلل من الدقة الإجمالية.

د. تحليل الأخطاء

التوليد غير ذي الصلة: نمط الفشل المهيمن (61–100% من حالات الفشل). يتجاهل النموذج السياق المقدم تماماً ويولد نصاً بناءً على بارامتراته الداخلية أو ضوضاء عشوائية.
الرفض: غالباً ما تتهرب النماذج مضبوطة التعليمات أو ترفض الإجابة حتى عندما تكون الإجابة موجودة (يصل إلى 24% لنموذج 7 مليار).
العتبة: يحدث تحول نوعي بين 360 مليون و 1.5 مليار؛ فالنماذج التي تقل عن مليار معلمة تنتج مخرجات غير متماسكة، بينما تحاول النماذج الأكبر على الأقل التفاعل مع الفقرة.

5. الأهمية والآثار المترتبة

إعادة التفكير في RAG للأجهزة الطرفية (Edge Devices): تتحدى الدراسة جاذبية الجمع بين النماذج الصغيرة والفعالة والاسترجاع القوي للنشر على الأجهزة الطرفية. تشير الدراسة إلى أنه بدون تغييرات معمارية محددة أو ضبط دقيق، فإن RAG يعد صافي خسارة للنماذج ≤ 7 مليارات معلمة.
تحول التركيز: يجب أن تعطي الأبحاث المستقبلية الأولوية لـ استغلال السياق (تعليم النماذج كيفية القراءة وتأصيل الإجابات) بدلاً من تحسين خوارزميات تضمين الاسترجاع أو ترتيب النتائج للنماذج الصغيرة.
توصيات عملية:
1. الاسترجاع التكيفي (Adaptive Retrieval): استخدم الاسترجاع فقط عندما تكون واثقاً من أن النموذج لا يعرف الإجابة (يتطلب ذلك تقديراً موثوقاً للثقة).
2. زيادة الحجم (Scale Up): قد يتطلب الاستغلال القوي للسياق نماذج أكبر بكثير من 7 مليارات (ربما > 10 مليارات).
3. الضبط الدقيق المتخصص: الضبط الدقيق القياسي للتعليمات غير كافٍ. تحتاج النماذج إلى ضبط دقيق مدرك للـ RAG (مثل RAFT) لتعلم كيفية استخدام السياق بفعالية.

الخاتمة

تخلص الورقة إلى أنه بالنسبة للنماذج اللغوية الصغيرة، فإن عنق زجاجة RAG هو استغلال السياق، وليس جودة الاسترجاع. في ظل ظروف التقييم القياسية، غالباً ما يؤدي نشر RAG مع النماذج الأقل من 7 مليارات معلمة إلى تدهور الأداء عن طريق تشتيت النموذج عن معرفته البارامترية مع الفشل في الاستفادة بفعالية من المعلومات المسترجعة. وتدعو هذه النتيجة إلى إعادة تقييم جوهرية لاستراتيجيات RAG في البيئات محدودة الموارد.