💬 NLP

Revisiting Prompt Sensitivity in Large Language Models for Text Classification: The Role of Prompt Underspecification

تجادل هذه الورقة بأن جزءاً كبيراً من الحساسية الملحوظة في التلقين لدى النماذج اللغوية الكبيرة ينبع من عدم تحديد التلقين بدلاً من عدم الاستقرار المتأصل في النموذج، مما يثبت أن التعليمات المحددة تقلل من تباين الأداء وعدم اليقين في "اللوجيت" (logit) مع تأثيرات هامشية فقط على التمثيلات الداخلية.

المؤلفون الأصليون: Branislav Pecher, Michal Spiegel, Robert Belanec, Jan Cegin

نُشر 2026-02-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Branislav Pecher, Michal Spiegel, Robert Belanec, Jan Cegin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول توجيه روبوت ذكي جداً، ولكنه حرفي في فهم التعليمات، لفرز كومة من البريد إلى "بريد غير هام" و"بريد مهم".

إذا قدمت للروبوت ملاحظة تقول فقط: "إليك رسالة: [محتوى الرسالة]"، وطلبت منه فرزها، فقد يرتبك الروبوت. قد يبدأ بكتابة قصيدة عن الرسالة، أو قد يكتفي بالتحديق فيها بفراغ. إذا غيرت الملاحظة قليلاً لتصبح: "إليك رسالة: [محتوى الرسالة]. يرجى فرزها،" فقد يعمل الروبوت فجأة بشكل مثالي. وإذا غيرتها مرة أخرى لتصبح "افرز هذا: [محتوى الرسالة]"، فقد يفشل مجدداً.

تجادل هذه الورقة البحثية بأن ارتباك الروبوت ليس سببه أنه "سيء" في فرز البريد، بل لأنك لم تعطه تعليمات واضحة بما يكفي.

إليك تفصيل لنتائج الورقة باستخدام تشبيهات بسيطة:

1. المشكلة: "الملاحظات الغامضة" مقابل "التعليمات الواضحة"

وجد الباحثون أن العديد من الدراسات التي تختبر نماذج الذكاء الاصطناوي تستخدم "مطالبات غير محددة" (underspecified prompts). فكر في هذه المطالبات كأنها ملاحظات غامضة مثل "ما هذا؟" أو مجرد لصق نص دون سياق.

النتيجة: عندما تكون التعليمات غامضة، يكون أداء الذكاء الاصطناعي متذبذباً للغاية. في يوم ما يكون عبقرياً، وفي اليوم التالي يكون كمن يخمن عشوائياً. تطلق الورقة على هذه الظاهرة اسم "حساسية المطالبة" (prompt sensitivity).
السبب: الذكاء الاصطناعي في الواقع يعرف كيفية أداء المهمة في أعماقه، ولكن بسبب غموض التعليمات، لم يعرف كيف يظهر لك الإجابة. الأمر يشبه طالباً يعرف الحل الرياضي، لكنه ينسى كتابة الرقم النهائي لأن المعلم لم يطلب منه ذلك بوضوح.

2. الحل: "مطالبات التعليمات"

عندما انتقل الباحثون إلى استخدام "مطالبات التعليمات" (instruction prompts) (أي توجيهات واضحة ومحددة مثل "اقرأ هذا النص وأخبرني ما إذا كان إيجابياً أم سلبياً" )، أصبح الذكاء الاصطناعي أكثر استقراراً ودقة.

التشبيه: إنه الفرق بين تسليم طباخ مكوناً خاماً وتقول له "اصنع شيئاً" وبين قولك له "اصنع شطيرة جبن مشوية". الطباخ (الذكاء الاصطناعي) يمتلك المهارات في كلتا الحالتين، لكن التعليمات الثانية تضمن أن تكون النتيجة هي ما تريده بالفعل.

3. "الخدعة السحرية": التعلم في السياق (In-Context Learning)

اختبرت الورقة عدة طرق لإصلاح ارتباك الذكاء الاصطناعي. وكانت الطريقة الأكثر فعالية هي "التعلم في السياق" (In-Context Learning - ICL).

التشبيه: بدلاً من إعطاء الروبوت قاعدة فقط، تظهر له مثالين أولاً: "إليك مراجعة فيلم سعيدة. وإليك مراجعة فيلم حزينة. الآن، إليك مراجعة جديدة: هل هي سعيدة أم حزينة؟"
النتيجة: نجحت هذه الخدعة البسيطة في العمل بشكل يقارب الحلول الرياضية المعقدة (التي تسمى "المعايرة" أو calibration) والتي تتطلب الغوص في عقل الروبوت. لقد حلت هذه الطريقة الارتباك دون الحاجة لتغيير الكود الداخلي للروبوت.

4. التلصص داخل عقل الروبوت (اللوجيتس والمجسات)

نظر الباحثون تحت الغطاء ليروا أين حدث الارتباك.

اللوجيتس (درجة الثقة): عندما يرتبك الذكاء الاصطناعي بسبب التعليمات الغامضة، تكون "درجات الثقة" الداخلية للإجابة الصحيحة ضئيلة جداً—تكاد تكون صفراً. الأمر يشبه روبوتاً يهمس بالإجابة بصوت منخفض جداً لدرجة أنك لا تستطيع سماعه. وعندما تكون التعليمات واضحة، يصرخ الروبوت بالإجابة بثقة عالية.
المجسات الخطية (فحص الدماغ): قاموا بفحص الطبقات الداخلية للذكاء الاصطناعي (عملية التفكير لديه).
- المفاج المفاجأة: كان دماغ الذكاء الاصطناعي يفهم المهمة بالفعل حتى عندما كانت التعليمات غامضة. "المعرفة" كانت موجودة في الطبقات الوسطى من الدماغ.
- الخلل: المشكلة حدثت فقط في النهاية، عندما حاول الذكاء الاصطناعي ترجمة تلك المعرفة إلى إجابة نهائية. التعليمات الغامضة أفسدت المخرجات، وليس التفكير.

5. ما الذي لم ينجح

اختبرت الورقة بعض الأفكار الأخرى، مثل إضافة "رموز فارغة" (كلمات بلا معنى) إلى المطالبة لـ "معايرة" الذكاء الاصطناعي.

النتيجة: غالباً ما أدى ذلك إلى جعل الأمور أسوأ، مما جعل أداء الذكاء الاصطناعي أسوأ حتى من التخمين العشوائي. إنه يشبه محاولة إصلاح طباخ مرتبك عبر الصراخ بكلمات عشوائية في وجهه؛ فهذا لا يفعل شيئاً سوى إضافة المزيد من الضجيج.

الخلاصة

تخلص الورقة إلى أن جزءاً كبيراً من "عدم الاستقرار" الذي نراه في نماذج الذكاء الاصطناعي ليس بسبب كون النماذج معطلة أو غير قابلة للتنبؤ. بل لأننا نسألهم بطريقة مربكة.

إذا أردنا نتائج موثوقة من الذكاء الاصطناعي، فعلينا التوقف عن استخدام المطالبات المختصرة والغامضة، والبدء في استخدام تعليمات واضحة ومحددة (وربما عرض بعض الأمثلة للذكاء الاصطناعي أولاً). الذكاء الاصطناعي قادر على أداء المهمة؛ هو فقط يحتاج إلى وصف وظيفي أفضل.

ملخص تقني: إعادة النظر في حساسية التلقين في النماذج اللغوية الكبيرة لتصنيف النصوص

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في مهام تصنيف النصوص بنظام "الصفر محاولة" (zero-shot) و"القليل من المحاولات" (few-shot)، حيث يتم تحديد سلوك المهمة بالكامل عبر التلقينات (prompts) ذات اللغة الطبيعية. وقد أرست مجموعة كبيرة من الأدبيات حقيقة أن النماذج اللغوية الكبيرة تظهر حساسية عالية تجاه تنوع التلقينات، حيث يمكن لتغييرات طفيفة في الصياغة أن تغير بشكل جذري ترتيب الأداء والادعاءات المتعلقة بالأداء المتفوق (state-of-the-art). ومع ذلك، تجادل هذه الورقة بأن جزءاً كبيراً من الحساسية الملحوظة ليس عيباً متأصلاً في قدرات الاستدلال لدى النماذج، بل هو نتيجة لـ عدم تحديد التلقين (prompt underspecification).

تعتمد العديد من الدراسات الحالية التي تبحث في حساسية التلقين على تلقينات "أدنى" أو "غير محددة" (مستوحاة من صياغات GPT-3 المبكرة) والتي تقدم القليل من التعليمات حول المهمة أو قيوداً على التسميات (labels). وتفترض الورقة أن هذه التلقينات تتسبب في فشل النماذج اللغوية الكبيرة في مرحلة توليد المخرجات — أي إنتاج نصوص غير منظمة أو تجاهل التسميات المتوقعة — بدلاً من الفشل في فهم المهمة داخلياً. يؤدي هذا إلى قيم لوجيت (logit) منخفضة للرموز (tokens) ذات الصلة وقرارات تصنيفية مبنية على احتمالات موزعة عشوائياً، مما يضخم الحساسية المتصورة للنماذج.

المنهجية

تقارن الدراسة بشكل منهجي بين التلقينات غير المحددة (الأدنى) والتلقينات المحددة جيداً (التعليمات) عبر ثلاث مهام لتصنيف النصوص (SST-2، AG News، MMLU) وستة متغيرات من النماذج اللغوية الكبيرة (LLaMA-2-13B، LLaMA-3.1-8B، LLaMA-3.2-3B، في كل من النسخ الأساسية والمضبوطة للتعليمات).

يوظف إطار التقييم ثلاثة نهج تحليلية متميزة:

تحليل الأداء التجريبي: يقيم المؤلفون متوسط الدقة والانحراف المعياري عبر 10 متغيرات للتلقين لكل إعداد. ويقارنون بين إعداد "الأساس" (Base) وعدة استراتيجيات للتخفيف من حدة المشكلة:
- استراتيجية UNK: إضافة رموز unk إلى التلقين.
- المعايرة (Calibration): تعديل احتمالات التسمية بناءً على تلقينات محايدة لضمان التوزيع الموحد.
- التعلم داخل السياق (ICL): تقديم مثالين لكل فئة داخل التلقين.
- الضبط للتعليمات (Instruction-Tuning): استخدام متغيرات النماذج المضبوطة للتعليمات.
- الوسوم الوصفية/قوالب الدردشة (Meta-Tags/Chat Templates): استخدام المحددات الخاصة بالمحلل اللغوي (tokenizer).
  ويتم إجراء التقييم عبر كل من تقييم اللوجيت (Logit Evaluation) (اختيار الفئة ذات الاحتمالية الأعلى من الرمز النهائي) وتقييم التوليد (Generation Evaluation) (استخراج التسميات من توليد النص الحر).
تحليل اللوجيت (Logit Analysis): يحلل المؤلفون مقدار وتوزيع قيم اللوجيت للفئات. ويستقصون الارتباط بين قيم اللوجيت ودقة التصنيف، وتحديداً بمقارنة التلقينات التي تنتج قيم لوجيت عالية مقابل تلك التي تنتج قيم لوجيت منخفضة.
تحليل المسبار الخطي (Linear Probe Analysis): للتحقيق في التمثيلات الداخلية، يقوم المؤلفون بتدريب مصنفات خطية من نوع (Ridge classifiers) على تنشيطات كل طبقة من طبقات النموذج اللغوي الكبير. تحدد تقنية التفسير الآلي هذه ما إذا كانت الحالة الداخلية للنموذج تحتوي على معلومات كافية لحل المهمة، حتى لو فشلت عملية توليد المخرجات النهائية.

النتائج الرئيسية

1. تأثير عدم تحديد التلقين

تظهر التلقينات غير المحددة باستمرار تبايناً أعلى في الأداء وقيم لوجيت أقل بكثير للرموز ذات الصلة مقارنة بتلقينات التعليمات. وفي كثير من الحالات، تؤدي التلقينات الدنيا إلى قيم لوجيت للتسميات تتراوح بين $10^{-5}$ و $10^{-3}$ ، مما يضع التسميات الصحيحة في النصف الأدنى من توزيع احتمالات المفردات. وبناءً على ذلك، غالباً ما تكون قرارات التصنيف في ظل التلقينات الدنيا مدفوعة بالضجيج بدلاً من الفهم الدلالي.

2. استراتيجيات التخفيف

تلقينات التعليمات (Instruction Prompts): بينما تعمل تلقينات التعليمات عموماً على تحسين متوسط الأداء وتقليل التباين، إلا أنها لا تقضي على الحساسية تماماً بمفردها.
التعلم داخل السياق (ICL): يوفر التعلم داخل السياق (ICL) التخفيف الأكثر اتساقاً وجدوى لحساسية التلقين. فعند دمجه مع النماذج المضبوطة للتعليمات، يحقق (ICL) أعلى دقة وأقل انحراف معياري. ومن الجدير بالذكر أن (ICL) يعالج مشكلات عدم التحديد بفعالية تماثل فعالية المعايرة، ولكن دون الحاجة إلى الوصول إلى مكونات النموذج الداخلية أو التلقينات المحايدة.
المعايرة (Calibration): تقدم المعايرة تحسينات مشابهة لـ (ICL) ولكنها أقل اتساقاً قليلاً. ويؤدي الجمع بين المعايرة و(ICL) إلى فوائد إضافية طفيفة فقط، مما يشير إلى أن كلا الطريقتين تستهدفان نفس المشكلة الأساسية.
استراتيجية UNK: استراتيجية إضافة رموز unk غالباً ما تؤدي إلى تدهور الأداء بشكل كبير، وأحياناً تؤدي إلى أداء أسوأ من الاختيار العشوائي.
متغيرات النماذج: يؤدي الانتقال إلى النسخ المضبوطة للتعليمات من النماذج إلى تحسين الأداء بشكل كبير لكل من التلقينات الدنيا وتلقينات التعليمات، وإن كان هذا قد يُعزى جزئياً إلى تسرب البيانات (data leakage) إذا كانت بيانات التدريب تتداخل مع مجموعات التقييم.

3. رؤى اللوجيت والمسبار الخطي

ارتباط اللوجيت: يوجد ارتباط إيجابي قوي (يصل إلى $r=0.757$ ) بين مقدار قيم لوجيت التسمية ودقة التصنيف. وتعمل قيم اللوجيت العالية كمؤشر موثوق لجودة التلقين وغياب عدم التحديد.
التمثيلات الداخلية: يكشف تحليل المسبار الخطي أن التمثيلات الداخلية (التنشيطات في الطبقات الوسطى) تظل قوية وتحتوي على معلومات كافية لتصنيف المهام بدقة، حتى عندما يكون المخرج النهائي غير صحيح بسبب عدم تحديد التلقين. يحدث تدهور الأداء بشكل أساسي في الطبقات النهائية من الشبكة. وهذا يشير إلى أن النموذج "يعرف" الإجابة داخلياً ولكنه يفشل في صياغتها بشكل صحيح عندما يكون التلقين غير محدد.

المساهمات والأهمية

تقدم هذه الورقة المساهمات الأساسية التالية:

إعادة صياغة حساسية التلقين: تحدد الورقة عدم تحديد التلقين كمحرك رئيسي للحساسية الملحوظة في النماذج اللغوية الكبيرة، وتجادل بأن النماذج غالباً ما تفشل في تنسيق المخرجات بدلاً من فهم المهمة.
الصرامة المنهجية: تدعو الورقة إلى استخدام تلقينات تعليمات محددة جيداً والتعلم داخل السياق لضمان تقييمات موثوقة لقدرات النماذج، والابتعاد عن التلقينات الدنيا التي تسبب تبايناً عالياً.
أدوات التشخيص:
- تثبت تحليل اللوجيت كأداة عملية لتشخيص جودة التلقين، حيث تظهر أن قيم اللوجيت المنخفضة هي مؤشر قوي على ضعف الأداء والحساسية العالية.
- تستخدم المسبار الخطي لإثبات أن مشكلات الحساسية تظهر غالباً في الطبقات النهائية للنموذج، بينما تظل التمثيلات الداخلية مستقرة.
التخفيف العملي: توضح أن التعديلات البسيطة، وتحديداً الجمع بين النماذج المضبوطة للتعليمات والتعلم داخل السياق، يمكن أن تخفف من معظم مشكلات الحساسية بفعالية دون الحاجة إلى إجراءات معايرة معقدة.

الخاتمة

يخلص المؤلفون إلى أن جزءاً كبيراً من عدم استقرار النماذج اللغوية الكبيرة في تصنيف النصوص ينبع من استخدام تلقينات غير محددة وإعدادات تجريبية غامضة، بدلاً من كونه عجزاً جوهرياً في النماذج عن حل المهام. وهم يدعون إلى مزيد من الصرامة المنهجية في الأبحاث المستقبلية، مع التأكيد على ضرة استخدام تلقينات محددة جيداً للتمييز بين القيود الحقيقية للنماذج وبين الآثار الناتجة عن سوء التلقين. وتشير النتائج إلى أنه مع استخدام استراتيجيات تلقين مناسبة (تحديداً صيغ التعليمات وICL)، يمكن التخفيف من الحساسية الملحوظة إلى حد كبير، مما يؤدي إلى تقييمات أكثر موثوقية وقابلية للتكرار للنماذج اللغوية الكبيرة.