Are You Sure You're Sure? On the Impact of Instruction Tuning on Confidence and Lexical Diversity
تتقصى هذه الورقة تأثير الضبط بالتعليمات على النماذج اللغوية، حيث وجدت أنه بينما يزيد من الثقة اللفظية ويقلل من تنوع المبررات المتقاطعة بشكل مستمر، فإنه ينتج آثاراً متباينة على التنوع المعجمي السطحي ويؤدي إلى تدهور المعايرة القائمة على الاحتمالية دون تغيير الدقة التنبؤية بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تتحدث إلى روبوت ذكي جداً ومثقف جداً. تطرح عليه سؤالاً، فيجيب بصوت واثق، شارحاً بدقة لماذا يعتقد أنه على حق. لكن هنا تكمن الخدعة، ففي بعض الأحيان، يكون هذا الروبوت مجرد متظاهر باليقين. قد يكون يخمّن بجنون ولكنه يبدو كأنه بروفيسور. هذا أمر بالغ الأهمية في عالم الذكاء الاصطناعي، وتحديداً بالنسبة لـ "نماذج اللغات الكبيرة" (LLMs) — تلك الحواسيب فائقة الذكاء التي تكتب القصص، وتحل المسائل الرياضية، وتجيب على أسئلة المعلومات العامة.
لفهم هذه الورقة البحثية، تحتاج لمعرفة شيئين. أولاً، ضبط التعليمات (Instruction Tuning). فكر في نموذج الذكاء الاصطناعي الخام كطالب عبقري لكنه فوضوي، يعرف مليون حقيقة لكنه لا يعرف كيف يتبع قواعد المعلم. "ضبط التعليمات" يشبه إرسال هذا الطالب إلى معسكر تدريبي خاص حيث يتعلم الاستماع إلى الأوامر، واتباع التوجيهات، والإجابة على الأسئلة بتنسيق محدد. هذا عادة ما يجعله أفضل بكثير في القيام بما نريده. ثانياً، الثقة والتنوع. عندما يجيب الذكاء الاصطناعي، يمكنه أن يخبرنا مدى تأكده (الثقة). كما أنه يولد "مبررات" (rationales) — وهي تفسيرات صغيرة لطريقة تفكيره. أما "التنوع المعجمي" (Lexical diversity) فهو مجرد طريقة منمقة للقول: "كم عدد الكلمات وهياكل الجمل المختلفة التي يستخدمها". إذا كان الذكاء الاصطناعي يفكر بعمق حقاً، فقد يحاول استخدام طرق مختلفة لشرح إجابته. أما إذا كان مجرد يردد نصاً محفوظاً، فقد يبدو متشابهاً في كل مرة.
لماذا نهتم بهذا؟ لأننا في الحياة الواقعية — مثل عندما يقوم روبوت طبي بتشخيص مريض أو روبوت محامٍ بمراجعة عقد — نحتاج إلى معرفة ما إذا كان الروبوت على حق حقاً أم أنه يتظاهر بالثقة فقط. إذا أصبح الروبوت أكثر صخباً وتكراراً دون أن يصبح أكثر ذكاءً، فهذا فخ خطير.
تجربة "الطالب المفرط في الثقة"
في هذه الدراسة، قرر الباحثون لعب دور المحقق. أرادوا معرفة ما يحدث لهذه النماذج من الطلاب بعد انتهاء معسكر "ضبط التعليمات" التدريبي. وتحديداً، سألوا: هل أصبح الروبوت أكثر ثقة لأنه تعلم بالفعل المزيد، أم أنه يتصرف بثقة أكبر بينما أصبحت تفسيراته مملة ومتكررة؟
أخذوا ثلاث عائلات مختلفة من نماذج الذكاء الاصطناعي (فكر فيهم كثلاث مدارس مختلفة: Qwen و Mistral و Llama) وقارنوا بين نسخهم "قبل" و "بعد". طرحوا عليهم آلاف الأسئلة من اختبارات العلوم، واختبارات المعرفة العامة، والألغاز المنطقية.
إليكم ما وجدوه، وهو أمر يحمل تحولاً في الحبكة.
1. الروبوت يصبح أكثر صخباً، ولكن ليس بالضراً أكثر ذكاءً
بعد ضبط التعليمات، أصبح الروبوتات أكثر ثقة بشكل ملحوظ. توقفوا عن التردد. إذا سألتهم: "ما مدى تأكدك؟" سيقولون: "أنا متأكد بنسبة 90%!" بدلاً من "ربما بنسبة 50%".
- الخدعة: لم تتطابق هذه الثقة دائماً مع دقة إجاباتهم الفعلية. على سبيل المثال، في أحد الاختبارات (ARC-Easy)، قفزت ثقة نموذج Llama من حوالي 49% إلى 90%، لكن درجته الفعلية في الاختبار ظلت ثابتة تماماً عند 82.2%. كان الأمر أشبه بطالب يرفع يده ويصرخ "أنا أعرف هذا!" بيقين 100%، رغم أنه لم يحسن درجاته في الاختبار فعلياً. وجد الباحثون أن هذا "الإفراط في الثقة اللفظي" حدث باستمرار عبر جميع النماذج التي اختبروها.
2. التفسير "المبرمج"
نظر الباحثون بعد ذلك في التفسيرات (المبررات) التي كتبتها الروبوتات. وقاسوا شيئين:
- تنوع المبررات المتقاطعة (Cross-rationale diversity): إذا سألت الروبوت نفس السؤال خمس مرات، هل يعطيك خمسة تفسيرات مختلفة، أم أنه يكتفي بنسخ ولصق نفس التفسير؟
- التنوع السطحي (Surface-level diversity): كم عدد الكلمات وأزواج الكلمات الفريدة التي يستخدمها في تفسير واحد؟
كانت النتائج مختلطة ولكنها كاشفة. أصبحت الروبوتات أكثر تكراراً عند شرح إجاباتها. إذا سألت نفس السؤال خمس مرات، فإن النماذج التي خضعت لضبط التعليمات قدمت تفسيرات متشابهة جداً، بينما كانت النماذج "الخام" أكثر تنوعاً. يبدو الأمر وكأن المعسكر التدريبي علمهم الالتزام بنص واحد آمن.
- ومع ذلك، كان "التنوع السطحي" (عدد الكلمات الفريدة التي استخدموها) فوضوياً بعض الشيء. أحياناً استخدمت الروبوتات كلمات فريدة أكثر، وأحيال أخرى أقل. كان الأمر يعتمد على أي روبوت وأي اختبار تستخدمه. لم تكن هناك قاعدة واحدة لهذا الأمر.
3. عدم التطابق
النتيجة الأكثر أهمية هي أن هذين التغييرين — زيادة الثقة وزيادة التكرار — لم يحدثا دائماً معاً في حزمة واحدة منظمة.
- في بعض الأحيان، أصبح الروبوت أقل تردداً (أكثر ثقة) وأيضاً أقل تنوعاً في تفسيراته.
- وفي أحيان أخرى، أصبح أقل تردداً ولكن أكثر تنوعاً في اختيار كلماته.
- وجد الباحثون أنه لا يمكنك مجرد النظر إلى عدد الكلمات المختلفة التي يستخدمها الروبوت لتخمين مدى ثقته. كان الشيئان يرقصان على إيقاعات مختلفة.
4. الأمر لا يتعلق بالطول فقط
قد تعتقد: "ربما أصبح الروبوتات أكثر ثقة لأنهم بدأوا في كتابة تفسيرات أطول؟" لقد تحقق الباحثون من ذلك. فقد أجبروا الروبوتات على كتابة تفسيرات بنفس الطول تماماً، ونظروا فقط إلى الحالات التي اختاروا فيها نفس الإجابة. حتى مع ذلك، ظل النمط قائماً: النماذج التي خضعت لضبط التعليمات كانت لا تزال أكثر ثقة ولا تزال أكثر تكراراً في تفسيراتها. لم يكن التغيير مجرد أثر جانبي لكتابة المزيد أو الأقل؛ بل كان تحولاً جوهرياً في كيفية سلوك النماذج.
الخلاصة
تخلص الورقة البحثية إلى أن ضبط التعليمات يجعل نماذج الذكاء الاصطناعي تتصرف مثل الطلاب المفرطين في الثقة الذين حفظوا طريقة واحدة آمنة لشرح الأشياء. يبدون أكثر يقيناً، لكنهم لا يعرفون بالضرورة أكثر، ويتوقفون عن محاولة شرح الأشياء بطرق مختلفة.
يشير الباحثون إلى أن هذا يعد علامة تحذير. إذا اعتمدنا على ثقة الذكاء الاصطناعي لإخبارنا ما إذا كان على حق، فقد نُخدع. قد يصرخ الروبوت "أنا متأكد!" بينما هو في الواقع يكرر نفس النص القديم فقط. وجدوا أيضاً أن ثقة الروبوت لم تتطابق دائماً مع دقته الفعلية، وأن تفسيراته أصبحت أقل تنوعاً، مما قد يجعل من الصعب اكتشاف متى يرتكب الروبوت خطأً.
باخت-الاختصار: مجرد كون الروبوت يبدو أكثر تأكداً من نفسه بعد التدريب لا يعني أنه أصبح أكثر ذكاءً. قد يكون فقط أفضل في التظاهر بأنه يعرف ما يفعله، حتى لو كان يستخدم نفس الجمل المعتادة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.