Prompt Stability Scoring for Text Annotation with Large Language Models
تتناول هذه الورقة البحثية ضعف تعليق النصوص بواسطة النماذج اللغوية الكبيرة تجاه تغيرات الأوامر (prompts) عبر اقتراح إطار عمل عام يسمى "درجة استقرار الأوامر" (PSS)، والذي يُطوع مقاييس الموثوقية التقليدية لتشخيص مشكلات الاستقرار، ويتضمن حزمة بلغة بايثون للتنفيذ العملي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: هل ذكاؤك الاصطناعي "متقلب"؟
تخيل أنك وظفت مساعداً ذكياً جداً، ولكنه متوتر قليلاً، لفرز كومة من الرسائل في أظرف "نعم" و"لا". أعطيته تعليمات محددة: "إذا ذكرت الرسالة كلمة مال، ضعها في كومة الـ 'نعم'".
طلبت منه القيام بذلك 30 مرة.
- السيناريو أ: وضع نفس الرسائل في نفس الأكوام في كل مرة.
- السيناريو ب: في المحاولة الأولى، وضع رسالة تتحدث عن "المدخرات" في كومة الـ "نعم". وفي المحاولة الثانية، وضع نفس الرسالة في كومة الـ "لا". وفي المحاولة الثالثة، وضعها في الـ "نعم" مرة أخرى.
حتى لو كان المساعد "صحيحاً" في أغلب الأحيان، فإن السيناريو ب يمثل مشكلة. هذا يعني أن عملية اتخاذ القرار لديه غير مستقرة. إذا لم تكن تستطيع الوثوق به ليكون ثابتاً مع نفس التعليمات تماماً، فمن المؤكد أنك لن تستطيع الوثوق به إذا غيرت الصياغة قليلاً (على سبيل المثال: "إذا كانت الرسالة تتحدث عن النقد...").
هذه الورقة البحثية تدور حول بناء اختبار لمعرفة ما إذا كان مساعدك الذكي مستقراً (السيناريو أ) أم متقلباً (السيناريو ب) قبل أن تتركه يقوم بأي عمل حقيقي.
المشكلة: الذكاء الاصطناعي حساس تجاه "سلطة الكلمات"
يوضح المؤلفون أن النماذج اللغوية الكبيرة (الذكاء الاصطناعي) لا تعمل مثل الآلة الحاسبة؛ فهي لا تبحث عن إجابة ثابتة في كتاب، بل تتوقع الكلمة التالية واحدة تلو الأخرى، مثل شخص يخمن ما سيأتي بعد ذلك في جملة ما.
بسبب ذلك، هناك أمران يمكن أن يفسدا استقرارها:
- مشكلة "نفس الأمر" (The Same Prompt Problem): حتى لو كتبت نفس التعليمات مرتين بالضبط، قد يعطي الذكاء الاصطناعي إجابة مختلفة قليلاً بسبب عوامل عشوائية غير مرئية في دماغه الكمبيوتري (مثل رمي عملة معدنية في الخلفية).
- مشكلة "إعادة الصياغة" (The Rephrasing Problem): إذا غيرت تعليماتك قليلاً — مثل قول "صنف هذا" بدلاً من "رتب هذا" — فقد يرتبك الذكاء الاصطناعي ويعطي إجابة مختلفة تماماً.
تجادل الورقة بأن الدقة وحدها لا تكفي. قد يكون الذكاء الاصطناعي صحيحاً بنسبة 90% من المرات، ولكن إذا كان يغير إجابته في كل مرة تعدل فيها صياغة الأمر، فإن نتائج بحثك ستكون غير موثوقة.
الحل: "درجة استقرار الأمر" (PSS)
أنشأ المؤلفون أداة (حزمة برمجية بلغة بايثون تسمى promptstability) تعمل مثل اختبار الضغط لتعليمات الذكاء الاصطناعي الخاصة بك.
فكر في الأمر كاختبار جسر:
- الاستقرار داخل الأمر الواحد (اختبار التكرار): تقوم بتشغيل نفس التعليمات بالضبط 30 مرة على نفس البيانات. الأداة تتحقق: هل أعطى الذكاء الاصطناعي نفس الإجابة في كل مرة؟ إذا كانت الإجابات تتذبذب، فالجسر مهتز.
- الاستقرار بين الأوامر المختلفة (اختبار إعادة الصياغة): تأخذ تعليماتك وتطلب من ذكاء اصطناعي آخر إعادة كتابتها بـ 10 طرق مختلفة (مثلاً: "رتب هذه"، "صنف هذه"، "صنف هذه الفئات"). ثم تقوم بتشغيل النسخ العشر كلها على نفس البيانات. الأداء تتحقق: هل ظل الذكاء الاصطناعي متفقاً مع نفسه، رغم تغير الكلمات؟
تعطيك الأداة درجة (تسمى Krippendorff's alpha، وهي مجرد طريقة معقدة لقول "درجة الاتفاق").
- درجة عالية (قريبة من 1.0): رائع! تعليماتك قوية، والذكاء الاصطناعي متسق.
- درجة منخفضة (أقل من 0.8): تحذير! تعليماتك هشة للغاية، وتغيير بسيط في الصياغة يكسر النظام.
ما وجدوه (نتائج "اختبار الضغط")
اختبر الباحثون هذا على ست مجموعات بيانات مختلفة من الواقع (مثل تغريدات سياسية أمريكية، ووثائق حزبية بريطانية، ومقالات إخبارية). وإليكم ما اكتشفوه:
- البساطة تعني الاستقرار: عندما كانت المهمة سهلة والبيانات واضحة (مثل تحديد ما إذا كانت التغريدة من الحزب الجمهوري أو الديمقراطي)، كان الذكاء الاصطناعي مستقراً جداً. لم يهم إذا أعدت صياغة الأمر؛ فقد أعطى نفس الإجابة.
- التعقيد يعني الهشاشة: عندما كانت المهمة صعبة أو البيانات غير منظمة (مثل تحديد ما إذا كانت التغريدة تستخدم لغة "شعبوية"، أو تصنيف إجابات استبيان إلى 12 فئة متشابهة جداً)، أصبح الذكاء الاصطناعي غير مستقر. التغييرات الصغيرة في الأمر جعلت الذكاء الاصطناعي يتخبط في قراراته.
- فخ "التنسيق": في بعض الأحيان لم يكن الذكاء الاصطناعي مرتبكاً بالفعل؛ بل نسي فقط اتباع قواعد التنسيق (مثل كتابة فقرة بدلاً من رقم). عندما قام الباحثون بتصفية هذه الإجابات "غير الدقيقة"، ارتفعت درجات الاستقرار. علمهم هذا أن المشكلة أحياناً ليست في عقل الذكاء الاصطناعي، بل في عدم قدرته على اتباع قواعد تنسيق صارمة.
- النموذج يفرق: قارنوا بين ذكاء اصطناعي قوي (GPT-4) وآخر أصغر مفتوح المصدر. كان القوي أكثر استقراراً بكثير. هذا يعني أن "التقلب" ليس دائماً خطأك؛ فأحياناً تحتاج فقط إلى ذكاء اصطناعي أكثر ذكاءً.
"كتيب التعليمات": ماذا يجب أن تفعل؟
تقدم الورقة دليلاً بسيطاً للباحثين:
- الخطوة 1: قم بتشغيل اختبار الاستقرار. قبل أن تنفق المال أو الوقت في التحقق من نتائجك، قم بتشغيل أداة
promptstability. - الصبح 2: تحقق من الدرجة.
- إذا كانت الدرجة عالية: أنت في أمان. مسار العمل الخاص بك قوي.
- إذا كانت الدرجة منخفضة: توقف! لا تثق في نتائجك بعد.
- الخطوة 3: حل المشكلة.
- هل يتجاهل الذكاء الاصطناعي التنسيق؟ اجعل الأمر أكثر صرامة.
- هل المهمة غامضة جداً؟ اجعل تعليماتك أكثر وضوحاً.
- هل البيانات فوضوية جداً؟ ربما هذه المهمة تحديداً صعبة جداً على الذكاء الاصطناعي ليكون متسقاً فيها.
- هل الذكاء الاصطناعي ضعيف؟ جرب نموذجاً أكثر قوة.
الخلاصة
لا يمكنك افتراض أنه لمجرد أن الذكاء الاصطناعي أعطاك إجابة، فإن تلك الإجابة موثوقة. توفر هذه الورقة قائمة مراجعة للتأكد من أن ذكاءك الاصطناعي لا يخمن عشوائياً أو يتفاعل بحساسية مفرطة تجاه كيفية صياغة أسئلتك.
الاستقرار هو أساس الثقة. إذا لم يستطع ذكاؤك الاصطناعي الاتفاق مع نفسه عند سؤاله نفس السؤال بطرق مختلفة قليلاً، فلا يمكنك الوثوق بالنتائج التي يقدمها لك في بحثك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.