Spurious Prompts: Can Irrelevant Prompts Steer Large Language Models?
تُثبت هذه الورقة أن المحفزات "الزائفة" غير المرتبطة دلالياً يمكنها توجيه النماذج اللغوية الكبيرة بشكل منهجي إما لتحسين أداء المهام أو لإحداث سلوكيات غير مقصودة، مما يكشف عن شكل جديد من الحساسية للمحفزات يمكن استغلاله عبر البحث في الصندوق الأسود.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه غريب الأطوار قليلاً. عادةً، لكي تجعله يحل مسألة رياضية، تقول له: "يرجى حل هذه المعادلة". ولكي تجعله يكتب قصة، تقول له: "اكتب حكاية عن تنين". هكذا نتحدث مع الذكاء الاصطناني عادةً: نعطيه تعليمات واضحة وذات صلة.
لقد اكتشفت هذه الورقة البحثية شيئاً غريباً ومثيراً للدهشة: أنت لا تحتاج فعلياً لإعطاء الروبوت التعليمات الصحيحة لكي يعمل. في الواقع، يمكنك إعطاؤه تعليمات لا علاقة لها بالمهمة على الإطلاق، وقد يظل يحل المشكلة بشكل أفضل مما لو أعطيته تعليمات عادية.
يطلق الباحثون على هذه التعليمات اسم "المطالبات الزائفة" (Spurious Prompts).
الخدعة السحرية: تشبيه "الرمز السري"
فكر في نموذج الذكاء الاصطناعي كأنه بيانو كبير. عادةً، لكي تعزف أغنية محددة (المهمة)، تضغط على مفاتيح محددة (تعليمات المهمة).
وجد الباحثون أنك إذا عزفت لحناً مختلفاً تماماً وعشوائياً على البيانو (مطالبة عن ضبط أوتار القيثارة أو نسج النسيج)، فقد يبدأ البيانو "بالصدفة" في عزف الأغنية الصحيحة التي أردتها، وأحياناً يعزفها بشكل أفضل مما لو حاولت عزف الأغنية مباشرة.
المطالبة لا تقول "حل هذه المسألة الرياضية". بدلاً من ذلك، قد تقول:
"أنت نساج لستة خيوط متميزة في نول. يحدد المصمم نمطاً. يجب عليك اختيار الخيط الذي يشكل ذلك الملمس. لا تأخذ في الاعتبار انسدال القماش. دورك هو المحاذاة الهيكلية فقط. بمجرد تحديد النمط، توقف عن النسج وقل: [الحرف]."
على الرغم من أن هذا الكلام يدور حول النسيج ولا يحتوي على أي كلمات رياضية، إلا أنه عندما تغذي الذكاء الاصطناعي بسؤال رياضي مع هذه المطالبة، فإنه غالباً ما يحل المسألة الرياضية بشكل صحيح.
كيف وجدوا هذه المطالبات
لم يخمن الباحثون هذه المطالبات؛ بل استخدموا "بحث الصندوق الأسود" (مثل رحلة البحث عن الكنز حيث لا يمكنك رؤية ما بداخل الصندوق، بل ترى النتائج فقط).
- المولد (The Generator): طلبوا من ذكاء اصطناعي فائق الذكاء كتابة مئات القصص الغريبة وغير المرتبطة (عن المنارات، أو الأجراس، أو الأرشيفات السرية).
- المصفاة (The Filter): استبعدوا أي قصة تذكر المهمة بالخطأ (مثل كلمات مثل "رياضيات"، "احسب"، أو "تشخيص").
- الاختبار (The Test): جربوا هذه القصص الغريبة على الذكاء الاصطناعي لمعرفة أي منها جعله يجيب على الأسئلة الحقيقية بشكل صحيح.
- التطور (The Evolution): أخذوا أفضل القصص الغريبة، وخلطوها قليلاً، ثم جربوها مرة أخرى، لتتطور ببطء إلى "مطالبات غريبة مثالية".
ما الذي اكتشفوه
- إنها تعمل: هذه المطالبات غير ذات الصلة غالباً ما جعلت الذكاء الاصطناعي يؤدي بشكل جيد مثل، أو حتى أفضل من، التعليمات القياسية مثل "فكر خطوة بخطوة" أو "حل هذا بعناية".
- الأمر لا يتعلق بالطول: قد تعتقد أن المطالبات الأطول والأكثر تفصيلاً تعمل بشكل أفضل. لكن هذه "المطالبات الزائفة" كانت في الواقع أقصر بكثير من المطالبات المحسّنة، ومع ذلك كانت هي الفائزة.
- الأمر لا يتعلق بالمعنى: عندما فحص الباحثون "معنى" المطالبات، وجدوا أن هذه المطالبات الغريبة كانت غير ذات صلة بالمهمة تماماً مثل الهراء العشوائي. لم يكن الذكاء الاصطناعي يفهم القصة؛ بل كان يتفاعل مع بنية أو روح النص.
- يمكن أن تسير الأمور بشكل خاطئ (أو صحيح) عن قصد: وجد الباحثون أيضاً أنه يمكنهم استخدام هذه المطالبات لإجبار الذكاء الاصطناعي على القيام بأشياء سخيفة، مثل:
- اختيار الخيار الأول دائماً (أ)، حتى لو كان خاطئاً.
- إعطاء رقم زوجي دائماً كإجابة.
- إعطاء الإجابة الخاطئة عمداً لسؤال ما.
الخلاية الجوهرية
تشير الورقة البحثية إلى أن النماذج اللغوية الكبيرة (LLMs) حساسة لأشياء لا نفهمها تماماً بعد. فهي لا تتبع فقط "معنى" كلماتنا كما يفعل البشر عند قراءة دليل تعليمات. بدلاً من ذلك، يبدو أن لديها "رافعات" مخفية بداخلها. فالمطالبة عن "ضبط قيثارة" قد تسحب رافعة تجعل النموذج يركز بشكل أفضل، رغم أن القيثارة لا علاقة لها بالمسألة الرياضية.
باختصار: تثبت الورقة أنه يمكنك توجيه ذكاء اصطناعي قوي باستخدام تعليمات غير ذات صلة بالوظيفة تماماً، وفي بعض الأحيان، تعمل تلك التعليمات غير ذات الصلة بشكل أفضل من التعليمات الواضحة. الأمر يشبه اكتشاف أن قولك للطاهي "قم بتلميع أدوات المائدة" يجعل حساءه مذاقه أفضل من قولك له "اطبخ الحساء".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.