Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
تُثبت هذه الورقة أن الطريقة القياسية لتحديد الطبقات والنيورونات الحرجة للسلامة في النماذج اللغوية الضبطية معيبة إحصائياً بسبب "تأثير الأرضية" الناتج عن صغر مجموعات المحفزات والقواعد المرجعية غير الآمنة، مما يؤدي إلى العد الخاطئ للمكونات الحرجة وإبطال الأدلة المنشورة حول تفسير السلامة ذي الآلية المزدوجة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما نطلب من نموذج لغوي كبير رفض طلب ضار، فإننا نطلب منه القيام بعمل معقد من ضبط النفس. لقد تم تدريب هذه النماذج على كميات هائلة من النصوص البشرية، حيث تعلمت التنبؤ بالكلمة التالية في الجملة، لكنها تخضع أيضًا لمرحلة تدريب خاصة لتعلم ما لا يجب قوله. يعامل الباحثون في مجال التفسير الآلي هذه النماذج كآلات معقدة يمكن تفكيكها لمعرفة كيفية عملها. وهم يعتقدون أن أجزاءً محددة من البنية الداخلية للنموذج تعمل كحراس بوابة، تقرر ما إذا كان سيتم الإجابة على سؤال ما أو رفضه. وللعثور على هؤلاء الحراس، غالبًا ما يستخدم العلماء طريقة تسمى "الاستئصال" (ablation). يتضمن ذلك تعطيل جزء صغير من النموذج مؤقتًا، مثل طبقة معالجة واحدة أو عصبون محدد، ثم مراقبة ما إذا كان النموذج سيبدأ فجأة في إنتاج إجابات ضارة عندما لم يكن يفعل ذلك سابقًا. إذا فشل النموذج في الرفض بعد تعطيل جزء ما، يُصنف هذا الجزء على أنه حاسم للأمان. والهدف هو رسم خريطة للآلية الدقيقة للرفض حتى نتمكن من فهم، وربما تحسين، كيفية بقاء هذه الأنظمة آمنة.
تتناول دراسة حديثة أجرتها يانغي تشانغ من جامعة جورج تاون حالة محددة من هذا البحث، وتجد أن الاستنتاجات المستخلصة منها مبنية على وهم إحصائي. تدقق دراسة تشانغ في تجربة مؤرشفة ادعى فيها باحثون أنهم حددوا ست طبقات محددة و205 عصبونات محددة تعمل كبوابات أمان رئيسية لنموذج لغوي. يكشف تحليل تشانغ أن هذه الأرقام لا تعكس الميكانيكا الحقيقية للنموذج، بل هي نتيجة خلل في تصميم التجربة نفسها، وتحديدًا مشكلة تُعرف باسم "تأثير الأرضية" (floor effect). في هذا السياق، يحدث تأثير الأرضية لأن الاختبار المستخدم لقياس الأمان كان صغيرًا وضعيفًا جدًا بحيث لا يمكنه اكتشاف التغييرات الحقيقية. اعتمدت التجربة على مجموعة صغيرة مكونة من أربعة مطالبات ضارة فقط لاختبار النموذج. وقبل تعطيل أي جزء من النموذج، كان النموذج قد فشل بالفعل في رفض ثلاثة من تلك المطالبات الأربع؛ أي أنه كان غير آمن بالفعل في غالبية حالات الاختبار.
ولأن النموذج كان يفشل بالفعل في ثلاث من أصل أربع مطالبات، فإن تعطيل أي جزء من النموذج لا يمكن أن يجعله يفشل أكثر مما كان عليه. كان عدد الاستجابات غير الآمنة عالقًا عند حد أدنى قدره ثلاثة، بغض النظر عن الطبقة التي يتم إيقاف تشغيلها. الطريقة الوحيدة التي يمكن بها وسم طبقة ما بأنها "حاسمة" هي إذا صادف أنها كانت الطبقة التي تسببت في تحول المطالبة الوحطة المتبقية والآمنة إلى مطالبة غير آمنة. وتظهر الدراسة أن الطبقات الست التي تم الإبلاغ عنها كطبقات حاسمة كانت ببساطة هي الطبقات التي تسببت في تحول تلك المطالبة المحددة. أما الـ 26 طبقة الأخرى، التي لم تغير تلك المطالبة، فقد تم الإبلاغ عنها كطبقات آمنة، رغم أنها كانت تؤدي بشكل متطابق تقريبًا مع الطبقات الحاسمة. لم يكن التمييز بين الطبقة "الحاسمة" والطبقة "الآمنة" اختلافًا في كيفية عمل النموذج، بل كان اختلافًا في كيفية سلوك مجموعة الاختبار الصغيرة تلك. لم تكن مجموعة الطبقات الست الحاسمة المبلغ عنها اكتشافًا لآلية الأمان في النموذج، بل كانت خاصية للمطالبات الأربع المستخدمة في الاختبار.
كما كشف التحقيق عن مشكلات مماثلة فيما يتعلق بالادعاءات الخاصة بالعصبونات الفردية. ذكر التقرير الأصلي أن الباحثين قاموا بمسح مئات الآلاف من العصبونات ووجدوا 205 عصبونات حاسمة، باستخدام عتبة محددة للاختيار. ومع ذلك، عندما فحصت تشانغ ملفات البيانات الفعلية المخزنة من تلك التجربة، لم تتطابق الأرقام. احتوت البيانات المخزنة على سجلات لـ 500 عصبون فقط، وليس المجموعة الكاملة، وكانت درجات التأثير المسجلة لها أقل بكثير من العتبة المستخدمة في التقرير. في البيانات المخزنة، لم تكن هناك عتبة تختار 205 عصبونات؛ بل أظهرت البيانات أن عصبونًا واحدًا فقط تجاوز العتبة المذكورة. لم يكن الادعاء بوجود 205 عصبون حاسم مدعومًا بالأدلة التي تم حفظها فعليًا. علاوة على ذلك، لم يتم العثور على قياسات محددة أخرى ذُكرت في التقرير الأصلي، مثل سرعة عملية حسابية أو التداخل بين طرق اختبار مختلفة، في أي من الملفات المخزنة. لقد ظهرت الأرقام في نص الورقة البحثية ولكن لم يكن من الممكن تتبعها وصولاً إلى البيانات الخام.
تتحدى هذه الدراسة أيضًا ادعاءً بأن أهمية طبقات النموذج تتبع نمطًا سلسًا وقابلًا للتنبؤ يتلاشى كلما انتقلت أعمق داخل الشبكة. اقترح التقرير الأصلي أن تأثير تعطيل الطبقات يتراجع في منحنى أسي مرتب، حيث يتم معظم العمل الهام في الطبقات الأولى جدًا. ويظهر إعادة تحليل البيانات المخزنة أن النمط الفعلي أكثر فوضوية بكال كثير؛ إذ لا يتلاشى تأثير الطبقات بسلاسة، بل يهيمن عليه عدد قليل من الطبقات المحددة، بما في ذلك الطبقة الأخيرة من الشبكة، والتي أظهرت تأثيرًا كبيرًا عند تعطيلها. لا تدعم البيانات فكرة المنحنى المتلاشي النظيف، بل تشير إلى واقع أكثر تعقيدًا حيث يتأثر الأمان بمجموعة متفرقة من الطبقات المنتشرة في جميع أنحاء النموذج، بدلاً من اضمحلال واحد ومنظم.
لا يثبت هذا العمل أن النموذج يفتقر إلى آليات الأمان أو أن نظرية الآلية المزدوجة خاطئة، بل يوضح ببساطة أن الأدلة المحددة المقدمة في التشغيل المؤرشف غير كافية لدعم تلك الادعاءات. تسلط النتائج الضوء على مطلب أساسي لهذا النوع من الأبحاث: يجب أن تكون مجموعة الاختبار كبيرة بما يكفي ومكونة من مطالبات كافية يرفضها النموذج بالفعل، بحيث يمكن ملاحظة أن تعطيل جزء ما يغير النتيجة. عندما يكون الخط المرجعي غير آمن بالفعل في معظم المطالبات، لا يمكن للاختبار قياس مساهمة الأجزاء الفردية. لتحديد أي الطبقات أو العصبونات مسؤولة حقًا عن الأمان، يحتاج الباحثون إلى مجموعة أكبر بكثير من المطالبات الآمنة كخط مرجعي، ويجب عليهم الإبلاغ عن التوزيع الكامل للنتائج بدلاً من مجرد قائمة بالطبقات التي تجاوزت عتبة تعسفية. وتخلص الدراسة إلى أن ادعاءات العزو تكون قوية بقدر قوة البيانات التي يمكن إعادة حسابها منها، وفي هذه الحالة، لم تدعم البيانات الاستنتاجات الجريئة التي استُخلصت.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.