Do LLMs Adhere to Label Definitions? Examining Their Receptivity to External Label Definitions
تتقصى هذه الورقة ما إذا كانت النماذج اللغوية الكبيرة تدمج حقاً تعريفات التصنيفات الخارجية أم تعتمد على معرفتها الداخلية، حيث وجدت أنه بينما يمكن لهذه التعريفات أن تحسن الأداء، إلا أن النماذج غالباً ما تعود إلى تمثيلاتها البارامترية، لا سيما في المهام العامة، مع استفادة المهام المتخصصة في مجال معين بشكل أكبر من التوجيه الصريح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً ذكياً جداً ومطلعاً (ذكاء اصطناعي) لمساعدتك في فرز البريد. لديك كومة من الرسائل، وعليك أن تقرر أي منها "مهمل"، وأيها "مهم"، وأيها "شخصي".
لقد أعطيت مساعدك كتاب قواعد (تعريفات التصنيفات) لمساعدته في اتخاذ القرار. ولكن هنا تكمن الخدعة: هل يقرأ المساعد حقاً كتاب القواعد الخاص بك، أم أنه يتجاهله ويعتمد فقط على ما يعرفه بالفعل من سنوات تدريبه؟
هذه الورقة البحثية هي تجربة علمية للإجابة على هذا السؤال تحديداً. اختبر الباحثون أربعة نماذج مختلفة من الذكاء الاصطناعي (مثل GPT-4 و LLaMA-3 وغيرها) لمعرفة ما إذا كانت تتبع التعليمات الجديدة حقاً أم أنها تتمسك بعناد بعاداتها القديمة.
إليك تفصيل نتائجهم، باستخدام بعض التشبيهات اليومية:
1. اختبار "القاموس المتبدل" (صراع المعرفة)
حاول الباحثون القيام بخدعة: قاموا بتبديل تعريفات التصنيفات حول بعضها البعض.
- الحالة الطبيعية: أخبروا الذكاء الاصطناعي أن "الاستلزام يعني أن (أ) يثبت (ب)".
- الخدعة: أخبروه أن "الاستلزام يعني أن (أ) يناقض (ب)" (العكس تماماً).
النتيجة:
- المساعد "الذكي" (GPT-4): عندما تم تبديل القواعد، ارتبك GPT-4. أدرك قائلاً: "مهلاً، كتاب القواعد هذا لا يبدو منطقياً مقارداً بما أعرفه"، وغالباً ما رفض الإجابة. كان الأمر أشبه بأمين مكتبة يرى كتاباً بعنوان خاطئ فيقول: "لا يمكنني تصنيف هذا الكتاب؛ الفهرس معطل".
- المساعد "المطيع" (النماذج الأصغر مثل LLaMA-3 أو Mistral): هذه النماذج غالباً ما اتبعت القواعد الجديدة (الخاطئة) بعمى. إذا أخبرتهم أن "الأحمر يعني الأزرق"، فسيسمون التفاحة الحمراء "زرقاء". لقد كانوا متحمسين جداً لاتباع تعليماتك لدرجة أنهم تجاهلوا منطقهم السليم.
الخلاصة: النماذج الأصغر تشبه المتدربين المتحمسين الذين سيلتزمون بتعليماتك حتى لو كانت خاطئة. أما النماذج الأكبر والأذكى فهي تشبه الخبراء رفيعي المستوى الذين قد يشككون في تعليماتك إذا بدت متناقضة.
2. اختبار "المتخصص مقابل العام"
اختبر الباحثون الذكاء الاصطناعي في نوعين من المهام:
- المهام العامة: مثل فرز الجمل العادية (مثلاً: "هل هذه الجملة صحيحة بناءً على تلك الجملة؟").
- المهام المتخصصة: مثل فرز منشورات الصحة النفسية أو خطاب الكراهية.
النتيجة:
- المهام العامة: لم يحتج الذكاء الاصطناعي إلى كتاب القواعد الخاص بك كثيراً. فهو يعرف بالفعل كيفية فرز هذه الأشياء من خلال تدريبه. في الواقع، إعطاؤه كتاب قواعد قد يربكه أحياناً، كأن تحاول تعليم متحدث أصلي للغة كيف يتحدث لغته الأم باستخدام كتاب مدرسي.
- المهام المتخصصة: هنا أصبح كتاب القواعد بمثابة "قوة خارقة". بالنسبة للمواضيع المتخصصة (مثل الصحة النفسية)، لم يكن لدى الذكاء الاصطناعي معرفة كبيرة مسبقاً. وعندما أعطيته تعريفاً دقيقاً وخبيراً، ارتفع أداؤه بشكل هائل. كان الأمر أشبه بإعطاء مقاول عام مخططاً هندسياً محدداً لبناء مفاعل نووي؛ بدون المخطط، سيقوم بالتخمين؛ ومع المخطط، سيبني بدقة.
3. مفارقة "الشرح مقابل الفعل"
هذا هو الجزء الأكثر إثارة للدهشة. طلب الباحثون من الذكاء الاصطناعي ليس فقط اختيار التصنيف، بل أيضاً شرح سبب اختياره.
- النتيجة: في بعض الأحيان، يكتب الذكاء الاصطناعي شرحاً مثالياً يظهر فهمه للقواعد الجديدة، ولكنه يختار التصنيف الخاطئ رغم ذلك.
- التشبيه: تخيل طالباً في امتحان رياضيات. يكتب برهاناً جميلاً وخطوة بخطوة يظهر فهمه للصيغة الرياضية (الشرح)، لكنه يضع دائرة حول الإجابة الخاطئة في ورقة الإجابة (التنبؤ).
- لماذا يهم هذا: هذا يعني أن الذكاء الاصطناعي يمكن أن يبدو واثقاً ومنطقياً جداً في محادثته، ومع ذلك يرتكب خطأً فادحاً في قراره النهائي. جزء "التفكير" وجزء "اتخاذ القرار" في الذكاء الاصطناعي لا يعملان دائماً معاً.
4. تأثير "التفصيل المخصص"
جرب الباحثون طرقاً مختلفة لتقديم التعريفات:
- ثابتة: "إليك التعريف للجميع".
- ديناميكية: "إليك تعريفاً مصمماً خصيصاً لهذه الجملة".
النتيجة:
التعريفات المصممة خصيصاً كانت تعمل بشكل أفضل، خاصة للنماذج الأصغر. الأمر يشبه إعطاء طباخ وصفة عامة مقابل وصفة معدلة لتناسب المكونات المتاحة لديه في مطبخه الآن. كان أداء الذكاء الاصطناعي أفضل بكثير عندما كانت التعليمات تبدو ذات صلة بالمهمة المحددة التي بين يديه.
ملخص: ماذا يجب أن نفعل؟
إذا كنت تستخدم الذكاء الاصطناعي في وظائف مهمة (مثل تشخيص مريض أو مراقبة خطاب الكراهية)، فإليك نصيحة الورقة البحثية:
- لا تفترض أن الذكاء الاصطناعي يعرف كل شيء: بالنسبة للمواضيع المتخصصة، يجب عليك تقديم تعريفات واضحة ودقيقة. لا تقل فقط "صنف هذا"؛ بل قل "صنف هذا بناءً على هذه القواعد المحددة".
- النماذج الأصغر تحتاج لمزيد من المساعدة: إذا كنت تستخدم ذكاءً اصطناعياً أصغر وأرخص، فهو يعتمد بشدة على التعليمات التي تقدمها له. اجعل تعليماتك مثالية.
- النماذج الكبيرة قد تتجاهلك: إذا استخدمت نموذجاً ضخماً، فقد يتجاهل تعليماتك إذا تعارضت مع ما يعرفه بالفعل. قد تحتاج لأن تكون حذراً جداً في كيفية صياغة الأشياء.
- تحقق من العمل: مجرد تقديم الذكاء الاصطناعي لشرح رائع لا يعني أن قراره النهائي صحيح. تحقق دائماً من النتيجة.
باختاًصر: نماذج اللغة الكبيرة (LLMs) تشبه الطلاب. أحياناً يكونون متحمسين لتعلم قواعدك الجديدة (خاصة في المواضيع الجديدة)، وأحياناً يكونون أذكياء جداً لدرجة أنهم يعتقدون أنهم يعرفون أكثر منك. المفتاح هو معرفة أي "طالب" تتحدث إليه وكيفية إعطائه التعليمات الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.