Evaluating Prompt Engineering Techniques for RAG in Small Language Models: A Multi-Hop QA Approach

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تقييم تقنيات هندسة الأوامر لنظم التوليد المعزز بالاسترجاع (RAG) في نماذج اللغات الصغيرة: نهج الإجابة على الأسئلة متعدد الخطوات (Multi-Hop QA)."

1. بيان المشكلة

بينما تحظى أنظمة التوليد المعزز بالاسترجاع (RAG) بدراسة واسعة في نماذج اللغات الكبيرة (LLMs)، إلا أن تحسينها لنماذج اللغات الصغيرة (SLMs) لا يزال يمثل فجوة بحثية حرجة. فنماذج اللغات الصغيرة (مثل النماذج ذات 3 إلى 4 مليارات معلمة) تتميز بالكفاءة الحسابية، لكنها تعاني في مهام الاستنتاج المعقدة، وتحديداً في "الإجابة على الأسئلة متعددة الخطوات" (Multi-Hop QA)، والتي تتطلب تركيب المعلومات من عدة وثائق منفصلة.

تتمثل المشكلة الجوهرية التي تعالجها الورقة في أن أوامر (prompts) الـ RAG القياسية غالباً ما تفشل في توجيه نماذج اللغات الصغيرة عبر خطوات الاستنتاج اللازمة لربط الحقائق عبر الوثائق المسترجعة. وبينما يُعرف أن هندسة الأوامر تؤثر على الأداء، إلا أن هناك نقصاً في البيانات التجريبية المنهجية واسعة النطاق حول:

• أي استراتيجيات الأوامر المحددة تعمل بشكل أفضل مع نماذج اللغات الصغيرة في سيناريوهات تعدد الخطوات.
• المقايضات بين الدقة، وزمن الاستجابة (Latency)، والكفاءة عند استخدام تقنيات الأوامر المتقدمة على النماذج محدودة الموارد.
• ما إذا كانت استراتيجيات الأوامر "الموحدة للجميع" موجودة أم أنها تعتمد على نوع النموذج.

2. المنهجية

أجرى المؤلفون دراسة تجريبية واسعة النطاق شملت 18,720 حالة اختبار من مجموعة بيانات HotpotQA (وهي معيار قياسي للأسئلة متعددة الخطوات).

الإعداد التجريبي

• النماذج المختبرة: نموذجان من أحدث نماذج اللغات الصغيرة (SLMs):
  • Qwen2.5-3B-Instruct (3 مليارات معلمة)
  • Gemma3-4B-It (4 مليارات معلمة)
• متغيرات الأوامر (Prompt Variants): تم تقييم إجمالي 24 قالب أمر مختلف، صُنفت إلى:
  1. الأساسي (Baseline): أمر RAG قياسي واحد (standard_context_aware).
  2. المستمد من الأدبيات (Literature-Derived): 9 تقنيات مثبتة (مثل: سلسلة الأفكب Chain-of-Thought، التعلم بلقطات قليلة Few-Shot، لعب الأدوار Role-Playing، والتحسين الذاتي Self-Refine).
  3. الهجين المبتكر (Novel Hybrid): 14 أمراً مصمماً خصيصاً يجمع بين تقنيات مثل التفكيك (decomposition)، والتركيب الهرمي (hierarchical synthesis)، وشخصيات الخبراء (expert personas) المصممة خصيصاً لنماذج اللغات الصغيرة.
• خط العمل (Pipeline): استخدم خط عمل RAG وثائق مسترجعة مسبقاً من مجموعة بيانات RAGBench لعزل تأثير هندسة الأوامر عن جودة الاسترجاع. قام المولد (SLM) بإنتاج الإجابات، والتي تم تقييمها لاحقاً.

مقاييس التقييم

تجاوزت الدراسة مجرد مطابقة النصوص (التي فشلت في رصد الصحة الدلالية في المهام التي تعتمد على الاستنتاج) عبر استخدام إطار تقييم متعدد الأبعاد:

1. جودة الإجابة ($S_{LLM}$): بدلاً من استخدام RAGAS (الذي يعتمد على التداخل اللفظي)، استخدم المؤلفون نهج "النموذج اللغوي كحكم" (LLM-as-a-Judge) باستخدام GPT-4o-mini. قام الحكم بتقييم الإجابات بناءً على خمسة أبعاد موزونة:
   • التوافق الدلالي (35%)
   • دقة المعلومات (25%)
   • التماسك المنطقي (20%)
   • اكتمال الاستجابة (15%)
   • الفائدة العملية (5%)
2. وقت المعالجة: تم قياسه كزمن الاستجابة الفعلي (بالثواني).
3. درجة الكفاءة (Efficiency Score): مقياس مركب يُعرف بـ $Efficiency = S_{LLM} / Processing Time$، والذي يوازن بين الجودة والسرعة.

3. المساهمات الرئيسية

1. تصنيف جديد لاستراتيجيات الأوامر: تقدم الورقة تصنيفاً شاملاً لـ 24 أمراً، بما في ذلك 14 نوعاً هجيناً مبتكراً مصممة خصيصاً لدعم استنتاج تعدد الخطوات في نماذج اللغات الصغيرة.
2. تحليل صارم متعدد الأبعاد: توفر رؤية شاملة للأداء، حيث تقيس المقايضات بين الدقة، وزمن الاستجابة، والكفاءة، بدلاً من التركيز فقط على الدقة.
3. رؤى خاصة بكل نموذج: تثبت الدراسة أن الأمور المثلى تعتمد بشدة على بنية النموذج وعدد المعلمات، مما يدحض فرضية "العمل المباشر دون تعديل" (plug-and-play).
4. إرشادات قابلة للتطبيق: تقدم مصفوفة قرار عملية للممارسين لاختيار الأوامر بناءً على قيودهم المحددة (مثل: زمن الاستجابة في الوقت الفعلي مقابل الدقة العالية).

4. النتائج الرئيسية

كشفت الدراسة عن مكاسب كبيرة في الأداء وأنماط سلوكية متميزة بين النموذجين.

تحسينات الأداء

• التحسين في الدقة: حسنت الأوامر الهجينة المبتكرة الدقة بشكل ملحوظ مقارنة بالأساسي:
  • Qwen2.5-3B: ارتفعت من 76.8% (الأساسي) إلى 83.0% (أفضل أمر هجين).
  • Gemma3-4B: ارتفعت من 78.5% (الأساسي) إلى 84.6% (أفضل أمر هجين).
• مقايضة الكفاءة: بشكل عام، جاءت الدقة الأعلى بتكلفة باهظة. فقد زاد زمن المعالجة في الأوامر الهجينة المبتكرة بمعدل 8 إلى 10 أضعاف مقارنة بالأساسي (على سبيل المثال، من ~1.2 ثانية إلى ~10 ثوانٍ في Qwen).

النتائج الخاصة بكل نموذج

• Qwen2.5-3B (النموذج الأصغر):
  • عانى من سلاسل الاستنتاج المطولة.
  • الأفضل للدقة: optimized_multi_hop_prompting (بنسبة 83.0%).
  • الأفضل توازناً: قدم الأمر multi_hop_compact_prompting دقة قريبة من القمة (82.5%) مع زمن استجابة أكثر قابلية للإدارة.
  • الأفضل للسرعة: كان instruction_tuned (المستمد من الأدبيات) هو البطل في الكفاءة.
• Gemma3-4B (النموذذ الأكبر):
  • أظهر أداءً متفوقاً في جميع المقاييس بسبب عدد المعلمات الأكبر والبنية المتطورة.
  • الاكتشاف الجوهري: حقق الأمر expert_synthesis_prompting أعلى دقة (84.6%) وكان في الوقت نفسه الأسرع (6.98 ثانية) والأكثر كفاءة بين جميع الأوامر المبتكرة. يشير هذا إلى أنه بالنسبة لنماذج اللغات الصغيرة القادرة، فإن تعليمات "شخصية الخبير" عالية المستوى أكثر فعالية من "سلسلة الأفك" الصريحة والخطوة بخطوة، مما يكسر المقايضة التقليدية بين الدقة وزمن الاستجابة.

التحليل المقارن

• الأوامر المستمدة من الأدبيات: تفوقت باستمرار في السرعة والكفاءة (مثل instruction_tuned) مما يجعلها مثالية للتطبيقات في الوقت الفعلي.
• الأوامر الهجينة المبتكرة: تفوقت باستمرار في الدقة، مما يجعلها مناسبة للمجالات عالية المخاطر (الطبية، القانونية، العلمية) حيث تتقدم الدقة على زمن الاستجابة.

5. الأهمية والآثار المترتبة

يوفر هذا البحث خارطة طريق حاسمة لنشر أنظمة RAG في البيئات محدودة الموارد:

• الاختيار الاستراتيجي للأوامر: تثبت الدراسة أن هندسة الأوامر ليست مجرد تعديل طفيف، بل هي عامل حاسم في أداء نماذج اللغات الصغيرة. يجب أن يملي اختيار الأمر نوع النموذج والقدرة على تحمل زمن الاستجابة في التطبيق.
• كسر المقايضة: يشير اكتشاف أن expert_synthesis_prompting يعمل بشكل استثنائي على Gemma3-4B إلى أنه مع توسع نماذج اللغات الصغيرة، قد لا تحتاج إلى دعائم استنتاج لفظية ومفصلة، مما يسمح بالجمع بين الدقة العالية وزمن الاستجابة المنخفض.
• النشر العملي: تقدم الورقة دليلاً واضحاً للممارسين:
  • استخدم الأوامر القصيرة المستمدة من الأدبيات لروبوتات الدردشة في الوقت الفعلي وأجهزة الحافة (edge devices).
  • استخدم الأوامر الهجينة المعقدة للمهام غير المتزامنة (offline) عالية الدقة.
  • خصص الأوامر حسب النموذج: ما يصلح لنموذج 3B قد لا يصلح لنموذج 4B.

في الختام، تؤكد هذه الورقة أنه على الرغم من وجود قيود استنتاج متأصلة في نماذج اللغات الصغيرة، إلا أن هندسة الأوامر الاستراتيجية يمكن أن تطلق القدرات الكامنة، مما يمكنها من منافسة النماذج الأكبر في مهام الاستنتاج متعدد الخطوات المعقدة عند تطبيق بنية الأوامر الصحيحة.