Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
تقدم هذه الورقة CHIVE، وهو مسار عمل وكيل (agentic pipeline) يعمل على تقييم وتحسين طرق تفسير النماذج اللغوية الكبيرة (LLM) من خلال استخدام تجارب مضادة للواقع لتقييم ما إذا كانت التفسيرات يمكنها التنبؤ بدقة بسلوك النموذج على مدخلات ذات صلة، مما يكشف أن تقنيات التفسير الحالية لا تقدم أي ميزة تنبؤية مع إثبات أن التدريب على البيانات المولدة بواسطة CHIVE يعزز القدرة على التعميم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لفهم موضوع هذا البحث، تخيل أنك تحاول فهم سبب اتخاذ شخص ما لقرار معين. إذا سألته، فقد يعطيك سبباً، لكن هذا السبب قد يكون مجرد تخمين، أو تبرير، أو قد يكون خاطئاً ببساطة. في عالم الذكاء الاصطناي، يواجه الباحثون تحدياً مماثلاً مع النماذج اللغوية الكبيرة؛ فهذه الأنظمة أدوات قوية يمكنها كتابة الأكواد البرمجية، ورواية القصص، وحل المشكلات، لكنها أيضاً "صناديق سوداء". يمكننا رؤية ما تقوله، لكن لا يمكننا بسهولة رؤية التروس الداخلية التي تدور لإنتاج تلك الكلمات. لقد حاول العلماء منذ فترة طويلة بناء أدوات للنظر داخل هذه التروس، آملين في العثور على السبب الحقيقي وراء سلوك النموذج. والهدف هو معرفة ما إذا كان النموذج صادقاً بشأن منطقه الخاص أم أنه يخفي دافعاً مختلفاً. السؤال هو: كيف نعرف ما إذا كان التفسير جيداً حقاً؟ إذا قال باحث: "ارتكب النموذج خطأً لأنه ارتبك بسبب كلمة محددة"، فكيف يمكننا اختبار ما إذا كان ذلك صحيحاً؟
قرر فريق من الباحثين في شركة "أنثروبيك" (Anthropic) اختبار ذلك عبر الانتقال من مجرد التخمينات البسيطة إلى مجال "ماذا لو". فبدلاً من مجرد طلب شرح من النموذج لنفسه، قاموا ببناء نظام يغير بيئة النموذج بشكل نشط ليروا ما إذا كان التفسير سيصمد. هم يسمون هذه العملية "التحقيق المقابل للواقع" (counterfactual investigation). وهي تعمل كالتالي: إذا كنت تعتقد أن النموذج ارتكب خطأً بسبب كلمة معينة، فقم بتغيير تلك الكلمة وانظر ما إذا كان الخطأ سيختفي. إذا اختفى الخطأ عند تغيير الكلمة، فمن المرجح أن تفسيرك كان صحيحاً. أما إذا ظل الخطأ كما هو، فإن تفسيرك كان خاطئاً. هذه الطريقة تحول النظرية الغامضة إلى حقيقة قابلة للاختبار. أراد الباحثون معرفة ما إذا كانت الأدوات الحالية التي يستخدمها العلماء للنظر داخل نماذج الذكاء الاصطناي يمكن أن تساعد حقاً في التنبؤ بهذه التغييرات، وما إذا كان بإمكانها تعليم النماذج فهم سلوكها الخاص بشكل أفضل.
وللقيام بذلك، أنشأ الباحثون مسار عمل مؤتمت جديد يسمى "CHIVE". يعمل هذا النظام كأنه محقق لا يكل؛ حيث يبدأ بطرح آلاف الأسئلة على نموذج ذكاء اصطناي مستهدف من محادثات واقعية، بحثاً عن اللحظات التي يقوم فيها النموذج بشيء غير متوقع أو غريب. وبمجرد أن يجد سلوكاً غريباً، لا يتوقف النظام عند هذا الحد، بل يطلق سلسلة من التجارب. يأخذ السؤال الأصلي ويجري عليه تعديلات صغيرة ومحددة — مثل تغيير اسم، أو حذف جملة، أو استبدال كلمة — ثم يطرح السؤال الجديد على النموذج مرة أخرى. ويكرر ذلك عشرات المرات ليرى عدد المرات التي يحدث فيها السلوك الغريب مع السؤال الأصلي مقابل السؤال المعدل. إذا أدى تغيير كلمة معينة إلى تلاشي السلوك الغريب، يسجل النظام ذلك كدليل على أن الكلمة كانت هي السبب. تولد هذه العملية آلاف الأمثلة عالية الجودة حيث يكون سبب السلوك معروفاً ومثبتاً من خلال التجربة نفسها.
استخدم الباحثون هذه المجموعة الضخمة من الأمثلة المثبتة لاختبار فكرتين رئيسيتين. أولاً، أرادوا معرفة ما إذا كانت الأدوات الحالية التي يستخدمها العلماء لتفسير نماذج الذكاء الاصطناي مفيدة حقاً. صُممت هذه الأدوات لقراءة النشاط الداخلي للنموذج، بشكل يشبه كيفية قراءة الطبيب للأشعة السينية للدماغ، للعثور على "الأفكار" الكامنة وراء الإجابة. أعطى الباحثون هذه الأدوات لوكيل حاسوبي ذكي وسألوه أن يتنبأ بما إذا كان تغييراً معيناً في "المطالبة" (prompt) سيغير سلوك النموذج. توقعوا أن توفر هذه الأدوات للوكيل ميزة كبيرة، مما يساعده على رؤية الأسباب الخفية التي قد تفوت عملية القراءة البسيطة للمحادثة. ولكن، ويا للدهشة، لم تقدم الأدوات أي مساعدة على الإطلاق؛ فقد كان أداء الوكيل جيداً بنفس القدر، أو حتى أسوأ أحياناً، عندما كان لديه إمكانية الوصول إلى أدوات القراءة الداخلية هذه مقارنة بحالته عندما كان لديه فقط نص المحادثة. لقد فشلت الأدوات في الكشف عن الارتباط بين مدخل معين والسلوك الناتج، مما ترك الوكيل في الظلام تماماً كما كان من قبل.
ثانياً، تساءل الباحثون عما إذا كان بإمكانهم تعليم النماذج التنبؤ بسلوكها باستخدام البيانات التي جمعوها. أخذوا النماذج المستهدفة ودربوها على آلاف التجارب التي أجروها. كانت مهمة التدريب بسيطة: اعرض على النموذج محادثة وتغييراً مقترحاً، واطلب منه تخمين ما إذا كان هذا التغيير سيوقف وقوع السلوك الغريب. كانت النتائج هنا أكثر واعداً بكثير؛ فالنماذج التي تلقت هذا التدريب أصبحت أفضل بكثير في التنبؤ بنتائج هذه التغييرات. لقد تعلمت التعرف على أنماط في سلوكها لم تكن تلاحظها من قبل. واستمر هذا التحسن حتى عندما اختبر الباحثون النماذج على أنواع جديدة تماماً من الأسئلة والسيناريوهات التي لم ترها أبداً أثناء التدريب. لقد تعلمت النماذج مهارة عامة لفهم كيفية تأثر أفعالها بمدخلاتها.
كما استكشف البحث ما إذا كانت النماذج تقوم بمجرد حفظ الإجابات أم أنها اكتسبت فهماً داخلياً أعمق لنفسها. وللتحقق من ذلك، درب الباحثون نموذجاً واحداً على بيانات تتعلق بسلوكه، ونموذجاً آخر على بيانات تتعلق بسلوك نموذج مختلف. إذا كان للنموذج الأول وصول خاص وسري إلى حالته الداخلية، فيجب أن يكون أداؤه أفضل من النموذج الثاني. ومع ذلك، كان كلا النموذجين يؤديان بشكل متساوٍ. وهذا يشير إلى أن النماذج لم تكن تصل إلى معرفة خفية وامتيازية عن نفسها، بل تعلمت التعرف على أنماط السبب والنتيجة من البيانات التي عُرضت عليها، تماماً مثل طالب يتعلم موضوعاً عبر دراسة الأمثلة.
تقدم النتائج صورة واضحة للمكان الذي يقف فيه المجال حالياً. إن الأدوات الحالية للنظر داخل نماذج الذكاء الاصطناي، والتي أظهرت وعوداً في الاختبارات البسيطة والمسيطر عليها، لا تبدو فعالة عند تطبيقها على السلوكيات المعقدة والفوضوية التي تحدث في المحادثات الواقعية؛ فهي تفشل في تقديم لحظة "الإدراك" (aha moment) التي تشرح سبب قيام النموذج بما فعله. ومن ناحية أخرى، تظهر الدراسة أنه يمكن تدريب النماذج لتصبح أفضل بكثير في التنبؤ بردود أفعالها تجاه التغييرات في بيئتها. وهذا يشير إلى أن طريق فهم سلوك الذكاء الاصطناي قد لا يكون من خلال بناء مجاهر أفضل للنظر داخل الآلة، بل من خلال تدريب الآلة على التعرف على أنماط أفعالها. وقد نشر الباحثون جميع بياناتهم وأكوادهم البرمجية، مما يوفر أساساً جديداً للآخرين لمواصلة هذا العمل، وضمان أن تكون التفسيرات المستقبلية لسلوك الذكاء الاصطناي قائمة على ما يحدث بالفعل عندما يتغير العالم، وليس فقط على ما نعتقد أنه قد يحدث.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.