Influence of Prompt Engineering on Small Language Models for Guarded Query Routing
تُثبت هذه الورقة أن تقنيات هندسة الأوامر، ولا سيما تحسين التعلم من أمثلة قليلة (few-shot optimization) وتوقيعات DSPy، تعزز بشكل كبير أداء توجيه الاستعلامات المحروسة للنماذج اللغوية الصغيرة المدمجة، مما يمكنها من الاقتراب من دقة النماذج الرائدة الأكبر حجماً مع الحفاظ على زمن استجابة منخفض.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مكتب بريد عالي التقنية ومزدحمًا لمكتبة ضخمة من المعرفة. كل يوم، تصل ملايين الرسائل (الاستفسارات) التي تطلب المساعدة في كل شيء، من العقود القانونية إلى النصائح الطبية. لكن هناك عقبة: بعض الرسائل خطيرة، وبعضها هراء، وبعضها الآخر يسأل عن أشياء لا تغطيها المكتبة أصلاً. إذا أرسلت رسالة خطيرة إلى أمين مكتبة متخصص في الطب، فقد تحصل على إجابة سيئة أو حتى خطر على السلامة. لذا، قبل أن تصل أي رسالة إلى المتخصص، يجب أن تمر عبر "حارس" عند الباب الأمامي. لهذا الحارس وظيفتان: أولاً، تحديد ما إذا كانت الرسالة آمنة وتنتمي للمكتبة أصلاً؛ وثانياً، إذا كانت آمنة، فإنه يحدد بسرعة الخبير المحدد (قانون، تمويل، أو رعاية صحية) الذي يجب أن يقرأها.
لفترة طويلة، اعتقد الناس أنك بحاجة إلى روبوت ضخم وفائق الذكاء ليكون هذا الحارس لأن المهمة معقدة. لكن الروبوتات الضخمة بطيئة، ومكلفة، وتستهلك الكثير من الكهرباء. تسأل هذه الورقة سؤالاً ممتعاً: هل يمكننا استخدام "روبوتات جيب" أصغر وأرخص وأسرع (تسمى نماذج اللغات الصغيرة - Small Language Models) للقيام بمهمة هذا الحارس؟ العقدة هي أن هذه الروبوتات الأصغر قد ترتبك أحياناً. قد تكون بارعة في اكتشاف الهراء، ولكن عندما ترى سؤالاً حقيقياً، تصبح خجولة جداً لدرجة تمنعها من اختيار خبير محدد، أو تنسى قواعد اللعبة. أراد الباحثون معرفة ما إذا كان بإمكاننا تعليم هذه الروبوتات الأصغر اتباع القواعد بشكل أفضل فقط من خلال تغيير التعليمات التي نعطيها إياها، دون الحاجة إلى إعادة بناء الروبوتات نفسها.
معضلة الحارس
في عالم الذكاء الاصطناعي، لدينا هذه "نماذج اللغات الكبيرة" التي تشبه السحرة العباقرة كلي المعرفة. يمكنهم كتابة القصص، وحل المسائل الرياضية، والدردشة حول أي شيء. لكنهم ثقال وبطيئون. لجعلهم مفيدين للمهام التي تتطلب وقتاً فعلياً، غالباً ما نضع "موجهًا" (Router) أمامهم. فكر في هذا الموجه كأنه حارس بوابة في ملهى ليلي. يجب على الحارس أن يقرر شيئين فوراً: "هل هذا الشخص مسموح له بالدخول؟" (السلامة/خارج النطاق) و"إلى أي صالة VIP يجب أن يذهب؟" (النية/داخل النطاق).
إذا كان الحارس صارماً جداً، فسيطرد الضيوف الجيدين (رفض الأسئلة الصالحة). وإذا كان متساهلاً جداً، فسيسمح بدخول المشاغبين (الأسئلة غير الآمنة). تسمي الورقة هذا "توجيه الاستعلام المحروس" (Guarded Query Routing). الهدف هو العثور على حارس سريع، ورخيص، ودقيق بما يكفي للحفاظ على سلامة النادي مع إيصال الأشخاص المناسبين إلى الغرف الصحيحة.
التجربة: تدريب روبوتات الجيب
جمع الباحثون 22 روبوتاً مختلفاً من "روبوتات الجيب" (نماذج اللغات الصغيرة) بأحجام متنوعة، تتراوح من الروبوتات الضئيلة التي تمتلك 270 مليون "خلية دماغية" (معلمة/Parameter) إلى الأكبر التي تمتلك 70 ملياراً. واختبروها باستخدام اختبار خاص يسمى GMAX-Bench، وهو بمثابة مسار عقبات ضخم مليء بثلاثة أنواع من الأسئلة الصالحة (قانون، تمويل، رعاية صحية) وسبعة أنواع من الأسئلة المخادعة أو الخارجة عن الموضوع أو الخطيرة.
وقاسوا الروبوتات باستخدام درجة خاصة تسمى GQR-Score، وهي توازن بين مدى جودة صيدهم للأسئلة الصالحة ومدى جودة رفضهم للأسئلة السيئة. إذا رفض الروبوت كل شيء، فسيحصل على درجة منخفضة لأنه عديم الفائدة. وإذا قبل كل شيء، فسيحصل أيضاً على درجة منخفضة لأنه غير آمن.
الاكتشاف الكبير: الأمر لا يتعلق بالحجم، بل بالتعليمات
أول شيء وجده الفريق هو أن الحجم ليس كل شيء. الروبوت الأكبر والأقوى (Gemma 3 27B) حصل على درجة رائعة بلغت 96.01. ولكن خمن ماذا؟ روبوت أصغر بكثير (Qwen3.5 9B) حصل على درجة قريبة جداً (94.55) بمجرد استخدام مجموعة قياسية من التعليمات. حتى الروبوت متوسط الحجم (Mistral 7B) قدم أداءً جيداً، حيث سجل 81.79.
ومع ذلك، واجهت الروبوتات الضئيلة مشكلة غريبة. لقد كانوا "بارعين جداً" في قول "لا!" لكل شيء. على سبيل المثال، روبوت Granite 4 Tiny كان خائفاً جداً من ارتكاب خطأ لدرجة أنه رفض 99.75% من جميع الأسئلة، بما في ذلك الأسئلة الجيدة! لقد تمكن فقط من تحديد الأسئلة الصالحة بنسبة 37.29% من الوقت. كان الأمر أشبه بحارس بوابات قرر أن الطريقة الوحيدة الآمنة لإدارة ملهى ليلي هي إغلاق الأبواب وعدم السماح لأحد بالدخول.
الحل السحري: خدعة "المثال"
تساءل الباحثون: "هل يمكننا إصلاح هذه الروبوتات الخجولة فقط عن طريق تغيير التعليمات؟" لم يعيدوا تدريب الروبوتات (وهو ما يشبه إعادة بناء أدمغتها)؛ بل استخدموا تقنية تسمى هندسة الأوامر (Prompt Engineering). هذا يشبه إعطاء الروبوت ورقة غش أو مجموعة من الأمثلة قبل أن يبدأ عمله.
جربوا عدة طرق، لكن النتائج اعتمدت على نوع الروبوت. الطريقة الأكثر فعالية لروبوت Granite 4 Tiny لم تكن في الواقع خدعة "المثال"، بل كانت تنسيق تعليمات أبسط يسمى DSPy Baseline. هذه الطريقة جردت الروبوت من الحشو الزائد وأعطته قالباً صارماً وبسيطاً. لقد انتقل من درجة سيئة بلغت 54.29 إلى درجة رائعة بلغت 83.05. لقد توقف عن رفض كل شيء وبدأ بالفعل في فرز البريد.
بالنسبة للروبوتات الأخرى، مثل Mistral 7B، كانت خدعة "المثال" (المسماة Few-Shot Prompting) هي السحر الحقيقي. تخيل أنك تعلم موظفاً جديداً كيفية فرز البريد. بدلاً من مجرد قول "فرز البريد"، تعرض عليه ثلاثة أمثلة:
- "هذه الرسالة تتعلق بدعوى قضائية -> أرسلها إلى القانون."
- "هذه الرسالة تتعلق بالأسهم -> أرسلها إلى التمويل."
- "هذه الرسالة تتعلق بقطة -> أرسلها إلى سلة 'الرفض'."
عندما أعطوا روبوت Mistral 7B هذه الأمثلة، قفز من 81.79 إلى 90.87. كما تحسن روبوت Qwen3.5 9B بهذه الطريقة، ليصل إلى 95.74، وهو ما يقارب جودة الروبوت العملاق، ولكنه يعمل بسرعة أكبر بكثير.
تشير الورقة إلى أن المشكلة لم تكن في أن الروبوتات الصغيرة لا تعرف الإجابات؛ بل كانت لا تعرف كيف تتبع قواعد اللعبة. الأمثلة (أو القالب الصارم) أظهرت لها بالضبط كيف تبدو الإجابة الصحيحة، وفهمت الأمر فوراً.
المقايضة: السرعة مقابل الدقة
هناك عقبة صغيرة، وهي أنك عندما تعطي الروبوت ورقة غش تحتوي على أمثلة، فإن الرسالة التي يتعين عليه قراءتها تصبح أطول. وهذا يجعل الروبوت أبطأ قلي قليلاً. وجدت الدراسة أن استخدام هذه الأمثلة جعل الروبوتات تستغرق حوالي 2 إلى 6 أضعاف الوقت للإجابة على سؤال واحد. ومع ذلك، ظلت سريعة للغاية (حوالي 0.05 إلى 0.28 ثانية لكل سؤال)، وهو ما يكفي لمعظم التطبيقات في العالم الحقيقي.
جرب الباحثون أيضاً طريقة أكثر تعقيداً تسمى GEPA، وهي تشبه وجود روبوت معلم يعيد كتابة التعليمات تلقائياً. لكن هذا لم يعمل بشكل جيد مثل مجرد إعطاء الروبوت بعض الأمثلة الواضلة. في الواقع، بالنسبة لبعض أصغر الروبوتات، جعلت عملية إعادة الكتابة المعقدة الأمور أسوأ، مما تسبب في إرباكها مرة أخرى.
ماذا يعني هذا للمستقبل
الخلاصة الأساسية هي أنك لا تحتاج دائماً إلى الروبوت الأكبر والأغلى لتكون حارساً جيداً. يمكن لروبوت أصغر وأرخص أن يقوم بالمهمة بشكل جيد إذا أعطيته التعليمات الصحيحة. وتحديداً، فإن إظهار بعض الأمثلة له (Few-Shot) يساعده على التغلب على خجله واتباع القواعد، بينما بالنسبة لبعض الروبوتات المحددة، فإن القالب الصارم والبسيط هو الأفضل.
ومع ذلك، تحذر الورقة أيضاً من أنه إذا كان الروبوت صغيراً جداً (مثل تلك التي تمتلك 0.8 مليار معلمة)، فحتى أفضل الأمثلة قد لا تكون كافية لإنقاذه. وإذا كان الروبوت يقوم بعمل جيد بالفعل، فإن إضافة الأمثلة قد لا تساعد كثيراً بل قد تبطئه دون داعٍ.
باختصار، لبناء نظام ذكاء اصطناعي آمن وسريع، فإن "الخلطة السرية" ليست مجرد شراء أكبر دماغ، بل هي معرفة كيفية التحدث إلى الدماغ الذي تملكه. القليل من "هندسة الأوامر" يمكن أن يحول روبوتاً مرتبكاً وحذراً جداً إلى حارس حاد وفعال.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.