Less Back-and-Forth: A Comparative Study of Structured Prompting
تُثبت هذه الورقة أن استخدام المطالبات المحسنة بقوائم التحقق يعزز بشكل كبير جودة استجابات النماذج اللغوية الكبيرة عبر مهام متنوعة، مع تقليل جهد المستخدم واستهلاك الرموز مقارنة بالمطالبات الخام أو المطالبات التي تستخدم الأسئلة التوضيحية.
تخيل أنك توظف مساعداً موهوباً جداً، ولكنه حرفي التفكير قليلاً، لمساعدتك في مشروع كبير. تريد منه أن يكتب ملخصاً، أو يخطط لرحلة، أو يشرح فكرة معقدة، أو يكتب بعض الأكواد البرمجية.
هذه الورقة هي في الأساس اختبار لمعرفة كيف يجب أن تتحدث مع هذا المساعد للحصول على أفضل نتيجة بأقل قدر من الأخذ والرد.
قارن الباحثون بين ثلاث طرق مختلفة لإعطاء التعليمات (المعروفة باسم "الأوامر" أو الـ Prompts) بين ثلاثة مساعدين ذكاء اصطناعي مختلفين (ChatGPT وClaude وGrok). إليك تفصيل تجربتهم وما وجدوه، باستخدام تشبيهات بسيطة.
الطرق الثلاث للطلب
الأمر "الخام" (الهمس الغامض):
ما هو: تعطي تعليمات قصيرة وبسيطة، مثل "خطط لإجازة" أو "لخص هذا".
التشبيه: هذا يشبه الذهاب إلى طاهٍ وقول: "اصنع لي عشاءً". لم تخبره بما تحب، أو ميزانيتك، أو ما إذا كان لديك حساسية من أطعمة معينة. على الطاهي أن يخمن. قد يصنع شيئاً لذيذاً، أو قد يصنع شيئاً تكرهه، مما يضطرك لإعادته إلى المطبخ.
أمر "قائمة التحقق" (الوصفة التفصيلية):
ما هو: تعيد كتابة طلبك باستخدام قائمة تحقق بسيطة تضيف ثلاثة أشياء: الدور (من هو الذكاء الاصطناعي)، السياق (لمن هذا ولماذا)، والتنسيق (كيف يجب أن يبدو الرد).
التشبيه: هذا يشبه إعطاء الطاهي بطاقة وصفة محددة: "أنت طاهٍ فرنسي متخصص في الحلويات. أنا نباتي وميزانيتي 50 دولاراً. أحتاج إلى حلوى تبدو كزهرة وتوضع في طبق صغير". هنا يعرف الطاهي تماماً ما يجب فعله فوراً.
أمر "الأسئلة الاستيضاحية" (المقابلة):
ما هو: تطلب من الذكاء الاصطناعي أن يتوقف ويطرح عليك سؤالاً أو ثلاثة أسئلة قبل أن يعطي الإجابة.
التشبيه: هذا يشبه قول الطاهي: "انتظر، قبل أن أطبخ، هل يمكنك إخباري بميزانيتك والقيود الغذائية لديك؟" تجيب أنت، ومن ثم يطبخ هو. هذا يضمن حصوله على المعلومات الصحيحة، لكنه يستغرق وقتاً إضافياً من المحادثات.
ماذا حدث في الاختبار؟
اختبر الباحثون هذه الطرق الثلاث في أربعة أنواع من المهام: تلخيص النصوص، التخطيط للرحلات، شرح المفاهيم، وكتابة الأكواد. وقاموا بتقييم النتائج بناءً على مدى صحتها، ووضوحها، وفائدتها.
الفائز: أمر "قائمة التحقق"
الجودة: أنتج أسلوب "قائمة التحقق" أعلى جودة من الإجابات. لقد فهم الذكاء الاصطناعي المهمة تماماً واتبع جميع القواعد.
الجهد: كان أيضاً الأسرع. نظرًا لأن التعليمات كانت واضحة جداً، فقد أصاب الذكما الاصطناعي الهدف من المرة الأولى. لم تكن بحاجة إلى إجراء محادثة طويلة أو إرساله مجدداً إلى المطبخ.
النتي_جة: كان هو "النقطة المثالية". حصلت على وجبة مثالية دون انتظار الطاهي ليسألك الأسئلة، ودون الحصول على طبق سيء تضطر لإعادته.
الوصيف: الأسئلة الاستيضاحية
الجودة: كانت هذه الإجابات أفضل من الأوامر "الخام" الغامضة، لكنها لم تبلغ مستوى طريقة "قائمة التحقق".
الجهد: استغرقت هذه الطريقة أكبر قدر من الجهد. لأن الذكاء الاصطناي كان عليه أن يتوقف، ويطرح أسئلة، وينتظر ردك، ثم يجيب، مما استغرق تقريباً ضعف عدد "الدورات" (المحادثات) للحصول على نتيجة جيدة.
النتيجة: كانت مفيدة، لكنها بدت كأنها محادثة أطول وأكثر إرهاقاً.
الخاسر: الأمر "الخام"
الجودة: كانت هذه أضعف الإجابات. غالباً ما كانت ناقصة، أو غامضة، أو تفتقر إلى الجوهر.
الجهد: من المثير للدهشة أن البيانات أظهرت أن هذه الأوامر استغرقت دورة واحدة فقط، لكن الباحثين أشاروا إلى أنه في الواقع، ستضطر على الأرجح إلى الاستمرار في طلب التعديلات لأن الإجابة الأولى عادة ما تكون سيئة.
النتيجة: حصلت على إجابة سريعة، ولكنها على الأرجح لم تكن ما تريده حقاً.
الخلاصة الكبرى
تخلص الورقة إلى أن قضاء وقت إضافي بسيط في كتابة أمر مهيكل (باستخدام قائمة تحقق بسيطة) يوفر عليك الكثير من الوقت لاحقاً.
فكر في الأمر كأنك تجهز حقيبة سفر:
الأمر الخام: ترمي الملابس بشكل عشوائي. تصل إلى وجهتك وتدرك أنك نسيت حذاءك. عليك الاتصال بالمنزل لإصلاح الأمر (جهد إضافي).
الأسئلة الاستيضاحية: تتصل بالمنزل قبل أن تبدأ في التعبئة لتسأل: "هل أحتاج إلى أحذية؟". ثم تعبئ الحقيبة. هذا ينجح، لكنه يستغرق وقتاً لإجراء المكالمة.
أمر قائمة التحقق: تستخدم قائمة تعبئة قبل البدء. تعرف بالضبط ما ستأخذه معك. تصل إلى وجهتك، ويكون كل شيء مثالياً على الفور.
تشير الدراسة إلى أنه بالنسبة لمعظم الناس ومعظم المهام، فإن مجرد تنظيم طلبك بهيكل واضح (الدور، السياق، التنسيق) هو الطريقة الأكثر كفاءة للحصول على نتائج رائعة، وتجنب الحاجة إلى عمليات التصحيح المستمرة ذهاباً وإياباً.
ملخص تقني: تقليل الأخذ والرد: دراسة مقارنة للتحفيز المهيكل
بيان المشكلة
يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لمهام مفتوحة مثل التلخيص، والتخطيط، والشرح، والبرمجة. ومع ذلك، فإن المحفزات (prompts) غير المحددة بدقة أو الغامضة تؤدي غالبًا إلى استجابات منخفضة الجودة، مما يستلحزم تفاعلاً إضافيًا من المستخدم لتصحيح الأخطاء أو تحسين المخرجات. هذا "الأخذ والرد" يزيد من جهد المستخدم وتكلفة التفاعل. وبينما يُفهم ضمنيًا أن المحفزات الأفضل تعطي نتائج أفضل، إلا أن هناك فجوة عملية في الأدلة المتعلقة بالفعالية المقارنة لاستراتيجيات التحفيز المختلفة. وتحديدًا، لا يزال من غير الواضح ما إذا كانت فوائد إعادة كتابة المحفز ببساطة (التحفيز المهيكل) تفوق أو تختلف عن نهج التوضيح التفاعلي (حيث يطرح النموذج أسئلة أولاً)، وما إذا كانت هذه التأثيرات متسقة عبر أنواع المهام المختلفة وبنيات النماذج اللغوية الكبيرة المختلفة.
المنهجية
تستخدم الدراسة تصميمًا مقارنًا صغير النطاق لتقييم ثلاث حالات تحفيز متميزة عبر أربع فئات من المهام (التلخيص، والتخطيط، والشرح، والبرمجة) وثلاثة أنظمة من النماذج اللغوية الكبيرة (ChatGPT وClaude وGrok).
الظروف التجريبية
المحفز الخام (Raw Prompt): حالة أساسية حيث يكتب الإنسان محفزًا قصيرًا ومباشرًا كما يفعل المستخدم العادي، مع تعمد إغفال التفاصيل المحددة أو الأدوار أو قيود التنسيق.
المحفز المحسن بقائمة التحقق (Checklist-Improved Prompt): تتم إعادة كتابة المحفز الخام باستخدام قائمة تحقق مهيكلة تتكون من ثلاثة عناصر:
الأدوار/القواعد: تحديد شخصية النموذج أو قيوده.
السياق: شرح الجمهور والغرض من المهمة.
تنسيق الإجابة: تحديد هيكل المخرجات المطلوب.
محفز الأسئلة التوضيحية (Clarifying-Question Prompt): يتم توجيه النموذج لطرح 1-3 أسئلة توضيحية قبل توليد الإجابة النهائية. يستمر التفاعل حتى يستجيب المستخدم، وبعد ذلك يقدم النموذج المخرج النهائي.
مقاييس التقييم
جودة المخرجات: يتم تقييمها باستخدام نموذج تقييم موحد يقيس أربعة أبعاد (إكمال المهمة، الصحة، الامتثال، الوضوح) على مقياس من 0 إلى 2، مما يعطي إجمالي درجة من 0 إلى 8. يتم رسم الدرجات على خمس مستويات تفسيرية (من الفشل التام إلى المثالية).
جهد التفاعل: يُقاس بـ "عدد الدورات للقبول" (حيث تعادل الدورة الواحدة رسالة مستخدم واحدة وردًا واحدًا من النموذج) وإجمالي استخدام الرموز (tokens).
الإجراء: تم تنفيذ كل حالة في جلسة جديدة لمنع انتقال السياق. قام ثلاثة مشغلين بشريين بتقييم النماذج (مشغل واحد لكل نموذج) باستخدام نفس المعيار. تم تسجيل عدد الرموز باستخدام أدوات الترميز الخاصة بكل نموذج.
المساهمات الرئيسية
تقدم الورقة ثلاث مساهمات رئيسية:
إطار عمل مقارن: تقدم إطار عمل محكم لمقارنة ثلاث استراتيجيات تحفيز شائعة (الخام، قائمة التحقق، والتوضيح التفاعلي) عبر نماذج متعددة ومهام متنوعة.
تحليل استقرار النماذج المتعددة: تختبر ما إذا كانت فعالية التحفيز المهيكل تظل مستقرة عبر أنظمة النماذج اللغوية الكبيرة المختلفة (ChatGPT وClaude وGrok) وأنواع المهام المختلفة.
التقييم مزدوج المقاييس: تقيم كلاً من جودة الإجابة النهائية وتكلفة التفاعل في آن واحد، بدلاً من معاملتهما كشأنين منفصلين، مما يوفر رؤية شاملة للمقايضة بين الجودة والجهد.
النتائج
أسفرت الدراسة عن النتائج التالية:
أداء الجودة: حققت المحفزات المحسنة بقائمة التحقق أعلى متوسط لدرجة المعيار (7.50/8)، متفوقة بشكل كبير على المحفزات الخام (5.67/8) والمحفزات التوضيحية (6.67/8).
كفاءة التفاعل: تطلبت المحفزات التي تستخدم قائمة التحقق متوسط 1.00 دورة للقبول، وهو ما يطابق الحالة الأساسية للمحفز الخام ولكن بجودة فائقة جدًا. في المقابل، تطلبت المحفزات التوضيحية متوسط 1.96 دورة بسبب تبادل الأسئلة والأجوبة الأولي.
استخدام الرموز (Tokens): أظهرت محفزات قائمة التحقق أفضل مقايضة بين الجودة والجهد فيما يتعلق باستخدام الرموز، بمتوسط 683.42 رمزًا، مقارنة بـ 962.25 للمحفزات الخام و936.50 للمحفزات التوضيحية.
تباين المهام والنماذج:
أنواع المهام: أظهر شرط قائمة التحقق أقوى المكاسب في البرمجة (التحسن من 4.67 إلى 7.83) والتخطيط. بالنسبة للتلخيص، كان أداء قائمة التحقق والمحفزات التوضيحية متساويًا.
اختلافات النماذج: حقق ChatGPT وGrok أعلى درجاتهما مع محفزات قائمة التحقق. أدى Claude أداءً أفضل قليلاً مع المحفزات التوضيحية مقارنة بقوائم التحقق، رغم أن قوائم التحقق كانت تتطلب عدد دورات أقل بشكل عام.
H2 (التوضيحي > الخام وقائمة التحقق): مدعومة جزئيًا. أدى التوضيح إلى تحسن عن المحفزات الخام ولكنه لم يتفوق على محفزات قائمة التحقق بشكل عام.
H3 (تقليل الجهد): مدعومة لقوائم التحقق (جودة عالية في دورة واحدة) ولكن ليس للمحفزات التوضيحية (التي زادت من دورات التفاعل).
الأهمية والادعاءات
تدعي الورقة أن قائمة تحقق بسيطة للمحفز —تحدد الأدوار، والسياق، وتنسيق الإجابة— يمكن أن تحسن جودة استجابة النماذج اللغوية الكبيرة بشكل كبير مع تقليل التفاعل غير الضروري. تشير النتائج إلى أن التحفيز المهيكل يوفر توازنًا أفضل بين جودة المخرجات وجهد التفاعل مقارنة بكل من المحفزات الخام غير المهيكلة واستراتيجيات التوضيح التفاعلي.
يؤكد المؤلفون أنه بينما يُفترض غالبًا أن "المحفزات الأفضل" مفيدة، فإن هذه الدراسة توفر دليلاً تجريبيًا على أن المحفزات المحسنة بقائمة التحقق هي استراتيجية أكثر كفاءة من الاعتماد على النموذج لطرح أسئلة توضيحية. وتخلص الدراسة إلى أن التوجيه الهيكلي الأساسي يمكن أن يجعل استجابات النماذج أكثر قابلية للاستخدام والقبول في دورة واحدة، مما يقلل من "الأخذ والرد" المعتاد في التفاعل بين الإنسان والذكاء الاصطناعي.
القيود
يقر المؤلفون بعدة قيود:
الدراسة محدودة النطاق (أربع مهام، ثلاثة نماذج) ولا ينبغي تعميمها على جميع سيناريوهات التحفيز.
تعتمد درجات الجودة على تقييم المؤلفين بدلاً من المقيمين المستقلين المجهولين أو دراسات المستخدمين الخارجية، مما يدخل احتمالية الذاتية.
قد لا تمثل مهام الاختبار بالكامل البيئات المعقدة في الشركات أو الواقع العملي.
قد يوجد تباين خاص بالمشغلين نظرًا لأن كل نموذج تمت معالجته بواسطة مقيم بشري واحد.
يُقترح للعمل المستقبلي تضمين مشاركين بشريين خارجيين، وتقييمات زوجية مجهولة، ودراسات الاستئصال (ablation studies) لتحديد أي مكونات قائمة التحقق (الدور، السياق، أو التنسيق) تساهم أكثر في التحسينات الملحوظة.