Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
تقدم هذه الورقة أنطولوجيا مهيكلة لتحليل مجموعة ضخمة تضم 57,500 مطالبة معاملات فريدة من GitHub، وتحويلها إلى كائنات لغوية مهيكلة بغنى للكشف عن أنماط استخدام متنوعة عبر اللغات والمجالات مع التحقق من جودة التوسيم من خلال تحليل شامل للأخطاء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية القيام بمهمة محددة، مثل كتابة قصيدة أو إصلاح خطأ في برنامج كمبيوتر. أنت لا تعطي الروبوت كوداً برمجياً رسمياً؛ بل تكتب له مجموعة من التعليمات باللغة الإنجليزية العادية. هذه المجموعة من التعليمات تسمى "المطالبة" (Prompt). فكر في "المطالبة" كأنها بطاقة وصفة لطاهٍ؛ إذا كانت الوصفة غامضة ("اصنع شيئاً لذيذاً")، فقد يخطئ الطاهي في التقدير. أما إذا كانت الوصفة مفصلة ("قطع بصلتين، شوحهما لمدة خمس دقائق، أضف الملح")، فإن الطاهي سيعرف تماماً ما يجب فعله. لفترة طويلة، درس العلماء "الطاهي" (نموذج الذكاء الاصطناعي) بدقة، محاولين جعله أكثر ذكاءً، لكنهم لم يولوا اهتماماً كبيراً لـ "بطاقات الوصفات" (المطالبات) نفسها، حيث تعاملوا معها كملاحظات غير منظمة وغير رسمية بدلاً من اعتبارها شيئاً يستحق الدراسة الجادة. تجادل هذه الورقة بأن هذه المطالبات هي في الواقع نوع جديد من "اللغة" التي يستخدمها البشر لبرمجة الذكاء الاصطناعي، وهي تستحق التحليل تماماً مثل أي لغة أو كود آخر.
قرر الباحثون وراء هذه الدراسة التعامل مع المطالبات ككائن علمي. لقد بحثوا في مستودعات الكود العامة على GitHub، وهو يشبه مكتبة ضخمة حيث يشارك مطورو البرمجيات أعمالهم. كانوا يبحثون عن نوع محدد من المطالبات يسمى "المطالبة المعاملاتية" (Transactional Prompt). ولكي تفهم الفرق، تخيل محادثة عابرة مع صديق تسأله فيها "ما هي حالة الطقس؟" فيجيبك. هذه مطالبة "تفاعلية". أما المطالبة المعاملاتية فهي مختلفة؛ إنها تشبه تعليمات مكتوبة مسبقاً ومثبتة على آلة تعمل تلقائياً في كل مرة يتم فيها الضغط على زر. إنها مصممة لتكون قابلة للتكرار، وقوية، وجزءاً من نظام برمجيات أكبر. جمع الفريق 57,500 من هذه المطالبات الفريدة من واقع العالم الحقيقي ليروا كيف تبدو، وكيف يتم هيكلتها، وما الذي يطلبه الناس من الذكاء الاصطناعي فعلياً.
ولإضفاء معنى على هذا الكم الهائل من النصوص، بنى المؤلفون "خريطة" خاصة أو "أنطولوجيا" (Ontology). تخيل أنك تحاول تنظيم علية فوضوية مليئة بأشياء عشوائية؛ بدون نظام، ستكون مجرد فوضى. الأنطولوجيا هي مثل مجموعة من الصناديق والبطاقات المصنفة التي تسمح لهم بفرز المطالبات إلى فئات: بأي لغة كُتبت؟ ما هي المهمة؟ هل هناك تنسيق محدد مطلوب؟ هل تخبر المطالبة الذكاء الاصطناعي بما لا يجب فعله؟ من خلال تحويل النصوص غير المنظمة إلى نقاط بيانات غنية ومنظمة، استطاعوا البدء في طرح أسئلة جادة.
ماذا وجدوا؟ أولاً، تظهر البيانات تنوعاً هائلاً، لكنها تتبع نمطاً يُعرف بـ "توزيع زيبف" (Zipf-like distribution). فكر في هذا مثل عدد سكان مدينة: بضع مدن كبرى (مثل الإنجليزية) لديها ملايين السكان، بينما توجد آلاف القرى الصغيرة (لغات أخرى) لديها عدد قليل جداً. في عالم المطالبات، الإنجليزية هي المدينة العملاقة، حيث تشكل حوالي 84.66% من المطالبات. ومع ذلك، لا تزال هناك 62 لغة مختلفة ممثلة، وحتى في هذه المطالبات الإنجليزية، يذكر الناس لغات أخرى باستمرار (مثل طلب "الترجمة إلى الإسبانية")، مما يظهر طبقة خفية من التنوع اللغوي.
كشفت الدراسة أيضاً أن هذه المطالبات معقدة بشكل مثير للدهشة. فهي ليست مجرد جمل بسيطة؛ ففي المتوسط، تحتوي كل مطالبة على حوالي 6.85 من "كتل التعليمات" المتميزة. هذه الكتل تشبه الخطوات في الوصفة. الخطوات الأكثر شيوعاً هي أشياء مثل "إليك السياق"، أو "لا تجعل الإجابة طويلة جداً"، أو "أخرج النتيجة كملف JSON". ومن المثير للاهتمام أن حوالي 31% من المطالبات تحتوي على "تعليمات سلبية" — أي إخبار الذكاء الاصطناعي بما لا يجب فعله، مثل "لا تهلوس" أو "لا تستخدم نصاً إضافياً". وهذا يشير إلى أن المطورين يحاولون باستمرار كبح ميل الذكاء الاصطناعي ليكون ثرثاراً جداً أو لتأليف معلومات من عنده.
نظر الباحثون أيضاً في كيفية هيكلة الناس لهذه المطالبات. ووجدوا أن الإعداد الأكثر شيوعاً هو محادثة من جزأين: رسالة "النظام" (System) (التي تضع القواعد، مثل "أنت مساعد مفيد") ورسالة "المستخدم" (User) (التي تعطي المهمة المحددة). هذا الثنائي "النظام-المستخدم" أصبح هو المعيار للمطالبات المعاملاتية، حيث ظهر في 64% من الحالات. يبدو أن المطورين ينظرون إلى دور "النظام" كطبقة تكوين ثابتة ودور "المستخدم" كمدخل ديناميكي، بدلاً من استخدام الذكاء الاصطناعي في ألعاب تقمص أدوار معقدة متعددة الخطوات ضمن نص برمجي واحد.
وفيما يتعلق بما يفعله الناس فعلياً، فإن مهام معالجة اللغات الطبيعية (NLP) (مثل تلخيص النصوص أو الإجابة على الأسئلة) هي الأكثر شعبية، حيث تغطي أهم أربع مهام ما يقرب من نصف البيانات الإجمالية. ومع ذلك، يظهر "الذيل الطويل" للبيانات أن الناس يستخدمون الذكاء الاصطناعي لأشياء متنوعة وغريبة، من استراتيجيات الألعاب إلى توليد السياسات. كما تشير البيانات إلى أن معظم هذه المطالبات "مرتكزة" (Grounded)، مما يعني أنها تعتمد على سياق محدد مقدم في المطالبة (مثل وثيقة أو قطعة برمجية) بدلاً من مجرد الذاكرة الداخلية للذكاء الاصطناعي. حوالي 89.25% من الحالات تستخدم هذا النوع من الارتكاز.
يلاحظ المؤلفون بعناية أن نتائجهم تأتي من شريحة محددة من الإنترنت (مشاريع GitHub العامة التي تستخدم مكتبات Python معينة)، لذا قد لا تمثل كل مطالبة موجودة. كما استخدموا الذكاء الاصطناعي للمساعدة في تصنيف وتحليل البيانات، مما يعني وجود بعض الأخطاء، رغم أنهم فحصوا الجودة ووجدوا أن الدقة كانت عالية جداً لمعظم الفئات (غالباً فوق 90%).
في النهاية، هذه الورقة لا تقدم لنا مجرد قائمة من المطالبات؛ بل تقدم لنا "أدوات". لقد أطلق المؤلفون مجموعة البيانات وموقعاً خاصاً حيث يمكن لأي شخص تصفح والبحث واستكشاف هذه المطالبات من خلال ميزاتها. ويأملون أن يساعد هذا العلماء والمهندسين واللغويين على فهم كيف يتفاعل البشر حقاً مع الذكاء الاصطناعي. من خلال معاملة المطالبات كأشياء علمية ذات قيمة، يمكننا البدء في رؤية الأنماط، و"الأعراف غير المعلنة"، والطرق الإبداعية التي يشكل بها البشر سلوك هذه الآلات القوية. إنها خطوة نحو فهم اللغة الجديدة التي نخترعها للتحدث مع شركائنا الرقميين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.