Learning When to Trust via Selective Context Preference Optimization
تقدم الورقة البحثية MIST، وهو معيار للثقة الانتقائية، وتقترح SCOPE، وهي طريقة تدريب تعمل على تحسين النماذج لمقاومة السياق المضلل مع الحفاظ على قدرتها على الاستخدام الصحيح للمعلومات المفيدة أو غير ذات الصلة، مما يعالج قصور مجرد تجاهل جميع الإشارات الخارجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق بارع يمكنه حل أي لغز بمجرد النظر إلى الأدلة الموجودة على الطاولة. أنت بارع جداً في المنطق لدرجة أنك تستطيع استنتاج الإجابة للغز في ذهنك فوراً. ولكن بعد ذلك، يهمس شخص ما بتلميح في أذنك. أحياناً، يكون هذا التلميح مفيداً ويشير إلى الحل الصحيح. وفي أحيان أخرى، يكون خدعة—كذبة مقنعة للغاية وتبدو منطقية، صُممت لتجعلك تغير رأيك وتختار الإجابة الخاطئة.
هذا هو عالم "نماذج اللغات الكبيرة" (LLMs) الحديثة؛ تلك العقول الاصطناعية فائقة الذكاء التي تدردش معنا، وتكتب الأكواد، وتحل المسائل الرياضية. هذه النماذج تشبه المحقق الخاص بنا: فهي قوية للغاية، لكن لديها عادة غريبة. إذا أعطيتهم سؤالاً ثم أضفت جملة تبدو كتلميح مفيد لكنها خاطئة في الواقع، فإنهم غالباً ما يرتبكون ويعطون الإجابة الخاطئة، حتى لو كانوا يعرفون الإجابة الصحيحة من قبل. يطلق العلماء على هذه الظاهرة اسم "القابلية للتأثر" (Susceptibility). السؤال الكبير هو: كيف نعلم هؤلاء المحققين الاصطناعيين تجاهل الكاذبين مع الاستمرار في الاستماع إلى قولي الصدق؟ إذا أخبرناهم فقط بتجاهل الجميع، فسيصبحون عديمي الفائدة لأنهم سيتوقفون عن الاستماع إلى التلميحات الجيدة أيضاً.
تقدم هذه الورقة البحثية طريقة جديدة لاختبار وتدريب هذه العقول الاصطناعية، حيث تعامل المشكلة ليس كمسألة "كيف تكون عنيداً"، بل كمسألة "كيف تكون انتقائياً". لقد أنشأ الباحثون ساحة لعب خاصة تسمى MIST (اختبار الإشارات المضللة). فكر في MIST كأنها برنامج مسابقات ضخم حيث يواجه كل متسابق (الذكاء الاصطناعي) نفس اللغز أربع مرات. في الجولة الأولى، لا توجد تلميحات إضافية. في الثانية، يهمس كاذب ماكر بإجابة خاطئة. في الثالثة، يهمس صديق مفيد بالإجابة الصحيحة. وفي الرابعة، يتحدث شخص كثير الكلام عن شيء غير ذي صلة تماماً. ومن خلال مراقبة رد فعل الذكاء الاصطناعي تجاه كل سيناريو من هذه السيناريوهات الأربعة، استطاع الباحثون رؤية من كان ذكياً بما يكفي لكشف الكاذب دون تجاهل الصديق.
لقد وجدوا أمراً مفاجئاً: تقريباً كل نموذج ذكاء اصطناعي اختبروه، من أكبر النماذج فائقة الذكاء إلى النماذج الأصغر مفتوحة المصدر، وقع في الفخ. فعندما تمت إضافة تلميح يبدو منطقياً ولكنه خاطئ، انخفضت دقة نماذجهم بشكل كبير. حتى النماذج "الأكثر ذكاءً" تعرضت للخداع. أثبت هذا أن المشكلة عالمية؛ فالذكاء الاصطناعي ليس مجرد مهمل، بل هو يعاني حقاً في التمييز بين الإشارة المفيدة والإشارة المضللة.
تجادل الورقة بأن الطريقة القديمة لإصلاح ذلك—وهي تدريب الذكاء الاصطناعي ليكون "مقاوماً" أو لتجاهل جميع التلميحات الخارجية—هي فكرة سيئة. الأمر يشبه تعليم المحقق أن يتجاهل جميع الشهود، حتى الصادقين منهم، لتجنب الوقوع في فخ الكاذبين. والنتيجة هي محقق آمن من الأكاذيب ولكنه عديم الفائدة في حل القضايا.
بدلاً من ذلك، يقترح المؤلفون طريقة تدريب جديدة تسمى SCOPE (تحسين تفضيل السياق الانتقائي). تخيل أنك تدرب كلباً؛ إذا كنت تعاقبه فقط عندما يستجيب لأمر سيء، فقد يتوقف عن الاستماع إلى أي شخص. ولكن إذا كافأته لأنه يستمع إلى الأوامر الجيدة، ويتجاهل الأوامر السيئة، ويظل هادئاً عندما يتحدث شخص ما عن الطقس، فسوف يتعلم كيف يكون ذكياً بشأن من يستمع إليه. يقوم SCOPE بذات الشيء للذكاء الاصطناعي. فهو يأخذ أخطاء الذكاء الاصطناعي (حيث تعرض للخداع من قبل كاذب) ويزوجها مع اللحظات التي أصاب فيها (عندما تجاهل الكاذب أو استمع للمساعد). ثم يعلمه تفضيل الخيار "الذكي" عبر جميع المواقف الأربعة بالتساوي.
النتائج واعدة. عندما استخدموا SCOE لتدريب بعض نماذج الذكاء الاصطناعي الشهيرة، أصبحت النماذج أفضل بكثير في اكتشاف الكاذبين. لقد توقفوا عن الوقوع في فخ التلميحات الخاطئة، لكنهم لم يفقدوا قدرتهم على استخدام التلميحات الصحيحة أو تجاهل الثرثرة المملة. في الواقع، أصبح النماذج أفضل في حل الألغاز الأصلية أيضاً. اختبر الباحثون ذلك على ألغاز لم يسبق للذكاء الاصطناعي رؤيتها من قبل، ووجدت مهارة "الثقة الانتقائية" هذه أنها استمرت معه. تعلم الذكاء الاصطناعي متى يثق، بدلاً من مجرد تعلم عدم الثقة في كل شيء.
باختصار، تشير الورقة إلى أن مستقبل الذكاء الاصطناዊ الموثوق لا يتعلق ببناء جدران لمنع دخول كل المعلومات. بل يتعلق بتعليم الذكاء الاصطناعي أن يكون مفكراً نقدياً: أن يستمع إلى الحقيقة، ويتجاهل الأكاذيب، ويظل مركزاً عندما يرتفع ضجيج الضوضاء. إنهم لم يحلوا المشكلة بشكل مثالي (فبعض الأكاذب الماكرة لا تزال تخدع الذكاء الاصطناعي)، لكنهم أظهروا مساراً واضحاً للمضي قدماً: توقفوا عن محاولة جعل الذكاء الاصطناعي عنيداً، وابدأوا في تعليمه كيف يكون حكيماً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.