Open-Weight Masked Introspection: Measuring What Language Models Can Report About Their Own Computation
تقدم هذه الورقة إطار عمل "الاستبطان المقنع مفتوح الأوزان" (OWMI) لاختبار ما إذا كانت النماذج اللغوية الرائدة يمكنها الإبلاغ بدقة عن تغيراتها الحسابية الداخلية، حيث وجدت أنه بينما تتوفر المعلومات اللازمة داخل تنشيطاتها، تفشل النماذج الحالية مفتوحة الأوزان في ترجمة هذه الحالة الداخلية إلى تقارير لفظية موثوقة، حيث لا تؤدي أفضل من مستوى الصدفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، بدأ نوع محدد من الثقة يترسخ: فكرة أن الآلة يمكنها النظر داخل عقلها وإخبارنا بما تفكر فيه. ومع ازدياد تعقيد هذه الأنظمة، بدأ المطورون وباحثو السلامة في الاعتماد على ممارسة تسمى "التقرير الذاتي". والافتراض القائم هو أنه إذا شرح النموذج منطقه أو انتقد إجابته الخاصة، فإن هذا الشرح هو خريطة أمينة للخطوات الداخلية التي اتخذها للوصలు إلى تلك النتيجة. هذا الاعتقاد يدعم العديد من استراتيجيات السلامة الحالية، مثل مطالبة النظام بالتحقق من عمله بحثًا عن الأخطاء أو شرح سبب اختياره لمسار معين. وإذا استطاع النموذج وصف حالته الداخلية بدقة، فيمكننا نظريًا استخدام شهادته الخاصة للإمساك بالأخطاء أو المخاطر الخفية قبل وقوعها. لكن بنية السلامة هذه بأكملها ترتكز على فرضية واحدة غير مثبتة: وهي أن الآلة تعرف حقًا ما يحدث داخل دوائرها.
قام أحد الباحثين باختبار هذه الفرضية بشكل مباشر، متجاوزًا النظرية إلى تجربة صارمة شملت ثمانية نماذج مختلفة من النماذج ذات الأوزان المفتوحة. أراد معرفة ما إذا كانت هذه الأنظمة قادرة حقًا على الاستبطان (التأمل الذاتي)، أم أنها مجرد تخمين عندما تُسأل عن عملياتها. وللوصول إلى ذلك، بنى إطار عمل أطلق عليه اسم "الاستبطان المقنع للأوزان المفتوحة" (Open-Weight Masked Introspection). كانت العملية مباشرة ولكنها اقتحامية؛ حيث أخذ الباحث سؤالاً قياسياً من اختبار مرجعي، وترك النموذج يبدأ عمله، ثم عدل سرًا جزءًا محددًا من حساباته الداخلية. ربما قام بتعديل اتصال واحد في الشبكة، أو تغيير تركيز آلية انتباه، أو ضبط ميزة معينة يستخدمها النموذج لفهم اللغة. كانت هذه التغييرات حقيقية، وقابلة للقياس، ومعروفة للباحث، لكنها كانت غير مرئية للنموذج نفسه.
بعد إجراء هذه التعديلات الداخلية، سأل الباحث سؤالًا بسيطًا: هل تغير أي شيء في حساباتك؟ أجرى هذا الاختبار أكثر من 78,000 مرة عبر نماذج ذات أحجام متفاوتة، بدءًا من الأنظمة الصغيرة بسعة 0.5 مليار معلمة وصولًا إلى الأنظمة الأكبر بسعة 15 مليار معلمة. كما تضمن ضوابط صارمة لضمان أن النماذج لا تقوم بمجرد التخمين؛ حيث أجرى تجارب "وهمية" لم يتغير فيها أي شيء على الإطلاق، وأجرى تجارب أدخل فيها ضوضاء عشوائية أحدثت اضطرابًا في مخرجات النموذج تمامًا كما فعلت التغييرات الحقيقية، ولكن دون استهداف كائن داخلي محدد. حتى إنه استخدم نسخة منفصلة وغير معدلة من النموذج لقراءة النص النهائي فقط ليرى ما إذا كان بإمكان المراقب البشري ملاحظة الفرق بمجرد قراءة الإجابة.
كانت النتائج واضحة ومتسقة. عبر جميع النماذج التي تم اختبارها، لم تستطع أي منها التمييز بين التغيير الحقيقي والتجربة الوهمية بأفضل من الصدفة العشوائية. عندما جمع الباحث البيانات من آلاف التجارب، كانت قدرة النماذج على اكتشاف التغيير لا يمكن تمييزها إحصائيًا عن رمي قطعة نقدية. لم يؤدوا بشكل أفضل عندما كان التغيير حقيقيًا، ولم يؤدوا بشكل أسوأ عندما كان وهميًا. كانت إجابات النماذج عبارة عن ضجيج فعلي. وتصمد هذه النتيجة حتى عندما نظر الباحث في أنواع مختلفة من المكونات الداخلية، وطبقات مختلفة من الشبكة، وأنواع مختلفة من المهام، من المسائل الرياضية إلى الأسئلة العامة. الاستنتاج هو أنه بالنسبة للنماذج التي تم اختبارها، فإن القدرة على التقرير عن حالتها الداخلية غير موجودة.
ومع ذلك، لا تنتهي القصة بفشل بسيط. فقد اكتشف الباحث أن المعلومات المتعلقة بالتغيير كانت موجودة بالفعل داخل النموذج، ولكن ليس في الكلمات التي اختارها للتحدث. استخدم أداة منفصلة، وهي "المسبار الخطي" (linear probe)، لقراءة البيانات الخام المتدفقة عبر الطبقات الداخلية للنموذ_ج. استطاعت هذه الأداة اكتشاف التغيير بدقة عالية، وصلت غالبًا إلى 95 في المائة أو أكثر، مما أثبت أن الإشارة كانت موجودة. علاوة على ذلك، أخذ أحد النماذج وقام بضبطه بدقة (fine-tuning) خصيصًا للتقرير عن هذه التغييرات، واستطاع هذا النموذج المدرب تحديد التغييرات بدقة تقارب الكمال. وهذا يثبت أن النماذج ليست عاجزة عن استشعار التغيير، بل إن المسار من ذلك الاستشعار الداخلي إلى الإجابة المنطوقة النهائية هو المسار المكسور. المعلومات موجودة، لكن النموذج لا يستطيع ترجمتها إلى تقرير صادق.
في حالة محددة، وجد الباحث إشارة خفية لم تظهر في الكلمات، بل في الثقة المرتبطة بها. أعطى أحد النماذج نفس الإجابة في كل مرة، قائلاً "لم يحدث تغيير"، بغض النظر عما إذا كان قد حدث تغيير بالفعل أم لا. ومع ذلك، عندما تم تعديل النموذج، أعرب عن ثقة أقل بكثير في تلك الإجابة. لقد عرف النموذج أن هناك خطبًا ما، لكنه لم يستطع التعبير عنه. يشير هذا إلى أنه بينما قد تمتلك النماذج شعورًا غامضًا وغير منطوق بالاضطراب، فإنها تفتقر إلى القدرة على صياغته لفظيًا.
إن تداعيات هذه النتيجة كبيرة جدًا لكيفية مراقبة الذكاء الاصطناعي. تعتمد ممارسات السلامة الحالية غالبًا على شهادة النموذج الخاصة، مثل مطالبته بشرح منطقه أو نقد مخرجاته. وإذا كان النموذج لا يستطيع التقرير بدقة عن حالته الداخلية، فإن هذه الأساليب معيبة بشكل أساسي. قد يشرح النموذج بثقة عملية استدلال لم تحدث أبدًا، أو قد يدعي أنه تحقق من عمله بينما لم يفعل ذلك. يخلص الباحث إلى أن أنظمة الرقابة لا يمكنها الاعتماد على وصف النموذج لذاته. بدلاً من ذلك، يجب البحث عن طرق أخرى للتحقق من الحساب، مثل قراءة الإشارات الداخلية مباشرة أو استخدام أدوات خارجية، لأن صوت النموذج الخاص ليس شاهدًا موثوقًا على عقله. لا تنفي الدراسة احتمال أن النماذج المستقبلية الأكبر قد تطور هذه القدرة، ولكن بالنسبة للجيل الحالي من النماذج ذات الأوزان المفتوحة، فإن القدرة على الاستبطان غائبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.