Why is prompting hard? Understanding prompts on binary sequence predictors
تتقصى هذه الورقة تحديات صياغة الأوامر (prompting) من خلال تأطيرها كعملية بحث عن تسلسلات التكييف المثلى في متنبئات التسلسل، كاشفةً من خلال تجارب منضبطة وتحليل للنماذج الرائدة أن الأوامر المثلى غالباً ما تكون غير بديهية، ويصعب تحديدها حتى مع البحث الشامل، وغالباً ما تكون دون المستوى الأمثل عند استخدام الطرق القياسية القائمة على الأمثلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك ببغاءً فائق الذكاء ومدرباً تدريباً عالياً. هذا الببغاء قد قرأ ملايين الكتب، وشاهد عدداً لا يحصى من الأفلام، واستمع إلى كل البرامج الإذاعية على الإطلاق. إنه يعرف كيف يتوقع الكلمة التالية في الجملة بشكل أفضل من أي شخص آخر. هذا هو نموذج الذكاء الاصطناعي الخاص بك.
الآن، تريد من هذا الببغاء أن يقوم بحيلة محددة: إلقاء نكتة، أو كتابة قصيدة حزينة، أو حل مسألة رياضية. أنت تفعل ذلك عبر إعطائه تلقيناً (Prompt) — وهو بضع كلمات من التعليمات أو مثال للبدء به.
هذه الورقة البحثية تطرح سؤالاً بسيطاً ولكنه عميق: لماذا من الصعب جداً العثور على الكلمات المثالية لإعطائها للببغاء؟ أحياناً، تبدو التعليمات التي تعمل بشكل أفضل غريبة تماماً، أو غير منطقية، أو حتى "خاطئة" بالنسبة للبشر. لماذا يعمل تلقين يبدو كأنه كلام فارغ بشكل أفضل من تعليمات واضحة ومنطقية؟
قرر المؤلفون التوقف عن التخمين والبدء في الاختبار. لقد بنوا عالماً صغيراً ومحكماً لفهم ما يحدث حقاً داخل دماغ الببغاء.
التجربة: ببغاء رمي العملة المعدنية
بدلاً من استخدام ذكاء اصطناعي حقيقي ومعقد، أنشأوا "ببغاءً" بسيطاً لا يفهم سوى "صورة" (Heads) و "كتابة" (Tails) (مثل رمي عملة معدنية).
- التدريب: علموا هذا الببغاء عبر إظهار آلاف رميات العملات له. لكن هنا تكمن الخدعة: لم يكتفوا بإظهار عملات عادلة فقط. بل أظهروا له عملات منحازة بطرق مختلفة. بعض العملات كانت تسقط على "الصورة" بنسبة 20% من الوقت، وأخرى بنسبة 90%، وبعضها كان مزيجاً من كليهما. تعلم الببغاء توقع الرمية التالية بناءً على النمط الذي رآه في تدريبه.
- المهمة: الآن، أرادوا من الببغاء أن يتصرف مثل عملة معينة تسقط على "الصورة" بنسبة 70% من الوقت. سألوا: "ما هي أفضل سلسلة من (الصورة) و(الكتابة) لإظهارها للببغاء لكي يبدأ في توقع "صورة" بنسبة 70%؟"
المفاجأة الكبرى: التلقينات "الخاطئة" هي الأفضل
قد تعتقد أن أفضل طريقة لتعليم الببغاء توقع "صورة" بنسبة 70% هي إظهار قائمة طويلة من "صورة" بنسبة 70% و"كتابة" بنسبة 30%. يبدو هذا منطقياً، أليس كذلك؟
وجدت الورقة البحثية أن هذا غالباً ما يكون خطأ.
في كثير من الحالات، كان التلقين الأمثل (الذي يعمل بشكل أفضل فعلياً) عبارة عن سلسلة لا تشبه المهمة في شيء.
- القياس: تخيل أنك تريد تعليم طالب اعتاد الدراسة في مكتبة هادئة أن يدرس في مقهى صاخب. قد تعتقد أن إظهار تسجيل لمقهى صاخب له هو أفضل طريقة لإعداده. لكن الورقة وجدت أن أفضل طريقة أحياناً هي إظرافه بتسلسل من "الصمت" الذي يخدع دماغه ببراعة ليتوقع الضجيج.
- الواقع: "التلقين الأفضل" يعتمد كلياً على كيف تم تدريب الببغاء (توزيع ما قبل التدريب). إذا تم تدريب الببغاء على مزيج محدد من انحيازات العملات، فإن "الكلمات السحرية" لجعله يتصرف بطريقة معينة قد تكون سلسلة من "الصورة" بالكامل، أو مزيجاً غريباً من 10 "صور" و2 "كتابة". بالنسبة لإنسان ينظر إلى المهمة وحدها، يبدو هذا خطأً. لكن بالنسبة للببغاء، فهو مفتاح مثالي يفتح السلوك الصحيح.
لماذا يعد اكتشاف هذا الأمر صعباً للغاية؟
تسلط الورقة الضوء على ثلاثة أسباب رئيسية تجعل العثور على هذه "الكلمات السحرية" كابوساً:
1. مشكلة "الوصفة المخفية"
يتشكل سلوك الببغاء بواسطة "وصفة سرية" (توزيع ما قبل التدريب) التي لا نعرفها عادةً.
- القياس: تخيل أنك تحاول ضبط راديو على محطة معينة. أنت لا تعرف كيف تبدو المحطة، ولا تعرف كيف تم بناء الراديو. أنت فقط تدير القرص. أحياناً، يؤدي تدويره إلى المكان "المنطقي" إلى سماع ضجيج. عليك تدويره إلى مكان غريب وعشوائي للحصول على صوت واضح. بدون معرفة الأسلاك الداخلية للراديو، لا يمكنك تفسير لماذا يعمل ذلك المكان الغريب.
2. مشكلة "المساحة المسطحة"
قام المؤلفون بتصور البحث عن أفضل تلقين كالمشي في منظر طبيعي تليّ.
- القياس: أنت تبحث عن أعلى قمة (أفضل تلقين). في العالم المثالي، هناك قمة جبل حادة واحدة، ومن السهل العثور عليها. لكن في تجارب هذه الورقة، غالباً ما يكون "المنظر الطبيعي" عبارة عن هضبة مسطحة. هناك مئات التلقينات المختلفة التي تكاد تكون متساوية في الجودة.
- النتيجة: إذا حاولت العثء على أفضل تلقين باستخدام كمية صغيرة من البيانات (مثل دفعة اختبار صغيرة)، فقد تختار بالخطأ تلقيناً "جيداً بما يكفي" ولكنه في الواقع مختلف عن التلقين الأفضل الحقيقي. إذا أجريت الاختبار مرة أخرى مع دفعة مختلفة قليلاً، فقد تختار تلقيناً "جيداً بما يكفي" آخر. هذا يجعل النتائج غير موثوقة ويصعب تفسيرها.
3. فخ "العرض الخبير"
إحدى الطرق الشائعة لتعليم الذكاء الاصطناعي هي إظهار أمثلة لخبير وهو يؤدي المهمة (مثلاً: "هكذا يلعب بطل عالم في الشطرنج").
- النتيجة: أظهرت الورقة أن إظهار أمثلة الخبراء غالباً ما يكون أقل فعالية من استخدام تلقين غريب ومحسن.
- القياس: تخيل أنك تريد من روبوت أن يلعب الشطرنج بشكل مثالي. يمكنك أن تريه 100 مباراة لعبها بطل عالم. أو يمكنك إعطاؤه رمزاً غريباً وقصيراً يجبر دماغه على الدخول في "وضع بطل العالم". وجدت الورقة أن الرمز الغريب غالباً ما يعمل بشكل أفضل من الـ 100 مباراة. أمثلة الخبراء "نمطية" للغاية ولا تأخذ في الاعتبار انحيازات الروبوت المحددة.
ماذا عن الذكاء الاصطناعي الحقيقي (مثل روبوتات الدردشة)؟
اختبر المؤلفون هذه الأفكار على نماذج لغوية كبيرة حقيقية (مثل GPT-2 و Gemma) باستخدام مراجعات الأفلام.
- وجدوا نفس الأنماط: التلقينات الأفضل لتوليد مراجعة "إيجابية" لم تكن دائماً كلمات ذات طابع إيجابي. أحياناً، كانت كلمات قصيرة، غريبة، أو حتى ذات طابع سلبي بطريقة ما، لكنها نجحت في تحفيز الاستجابة الصحيحة.
- وجدوا أيضاً أنه لكي تجد أفضل تلقين بشكل موثوق، فأنت بحاجة إلى كمية هائلة من البيانات (آلاف الأمثلة)، وليس فقط الدفعات الصغيرة (حوالي 200) التي يستخدمها الناس عادةً. مع الدفعات الصغيرة، أنت مجرد تخمن.
الخلاصة
تخلص الورقة إلى أن التلقين (Prompting) أمر صعب لأننا نحاول توجيه آلة دون معرفة تاريخها الكامل.
- "أفضل" تلقين هو أمر نسبي: لا يوجد "أفضل" تلقين عالمي. التلقين الأفضل يعتمد على الانحيازات المحددة والمخفية في بيانات تدريب الذكاء الاصطناعي.
- الحدس يخفق: ما يبدو منطقياً للإنسان (إظهار ما تريده للذكاء الاصطناعي) غالباً ما يفشل لأنه لا يأخذ في الاعتبار "الرياضيات" الداخلية للذكاء الاصطناعي.
- الموثوقية منخفضة: ما لم تبحث بشكل شامل وتستخدم مجموعات بيانات ضخمة، فإن التلقينات التي تجدها قد تكون مجرد تخمينات محظوظة لا تعمل باستمرار.
باخت-الاختصار، تشير الورقة إلى أن "سحر" التلقين ليس مجرد كتابة تعليمات جيدة؛ بل يتعلق باختراق الانحيازات الإحصائية المخفية للذكاء الاصطناعي بطرق تبدو غالباً غير بديهية تماماً بالنسبة لنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.