Automated Interpretability and Feature Discovery in Language Models with Agents
تقدم هذه الورقة إطار عمل مستقلاً متعدد الوكلاء يعمل على أتمتة التفسير الآلي من خلال صقل الفرضيات واكتشاف الميزات الداخلية في النماذج اللغوية الكبيرة بشكل تكراري، مما يظهر أداءً فائقاً على الطرق أحادية الخطوة في إنتاج تفسيرات أكثر دقة وقابلية للتفنيد والتدقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك آلة عملاقة ومعقدة للغاية (نموذج لغوي كبير) تكتب القصص، وتجيب على الأسئلة، وتحل المشكلات. داخل هذه الآلة، هناك مليارات من المفاتيح والتروس الصغيرة (الأعصاب والميزات) التي تعمل معًا. المشكلة هي أننا لا نملك دليل استخدام. يمكننا رؤية الآلة وهي تعمل، لكننا لا نعرف بالضبط ما الذي يفعله كل ترس فردي.
لفترة طويلة، حاول الباحثون فهم ذلك من خلال النظر إلى ترس ما، وتخمين وظيفته، ثم كتابة تسمية مثل "هذا الترس مخصص للرياضيات". ولكن في كثير من الأحيان، كان تخمينهم خاطئاً، أو غامضاً للغاية، أو ينهار بمجرد تجربة مثال مختلف قليلاً. كان الأمر يشبه محاولة تخمين وظيفة قطعة في سيارة بمجرد النظر إليها مرة واحدة.
يقدم هذا البحث نظاماً جديداً يسمى InterpAgent. بدلاً من أن يقوم إنسان بالتخمين لمرة واحدة، فإن InterpAgent يشبه فريقاً من المحققين الآليين الذين يعملون معاً لحل لغز ما تفعله تروس الآلة بالفعل.
إليك كيف يفعلون ذلك، باستخدام تشبيهات بسيطة:
فريقي المحققين
يستخدم النظام وكيلين آليين متخصصين يتحدثان مع بعضهما البعض:
- "مكتشف الميزات" (المستكشف - The Scout):
تخيل أنك تريد العثور على جميع التروس المسؤولة عن "اللغة الإسبانية". المستكشف لا يعرف أي ترس هو المطلوب. لذا، يدخل إلى "مساحة التنشيط" الخاصة بالآلة (خريطة توضح كيف تضيء التروس) ويبحث عن الأنماط. يستخدم خريطة إحصائية (مثل نظام GPS) للعثور على مجموعات من التروس التي تضيء معاً عند استخدام كلمات إسبانية. إنه لا يخمن فحسب؛ بل يستخدم الرياضيات للعثور على التروس التي تميز بـ موثوقية بين المطالبات الإسبانية والإنجليزية.
- التشبيه: الأمر يشبه محققاً يمسح حشداً للعثور على الشخص الوحيد الذي يرتدي قبعة حمراء ويظهر فقط في الحفلات الفرنسية.
- "شارح الميزات" (المستجوب - The Interrogator):
بمجرد أن يجد المستكشف ترساً مرشحاً، يتولى المستجوب المهمة. وظيفته ليست مجرد تسمية الترس، بل هي اختبار الاسم تحت الضغط.
- الطريقة القديمة: قد يقول إنسان: "هذا الترس مخصص لـ 'التكنولوجيا'".
- طريقة InterpAgent: يقول المستجوب: "حسناً، أنت تعتقد أنه لـ 'التكنولوجيا'؟ دعنا نختبر ذلك". يقوم بتوليد 12 مثالاً يجب أن تحفز هذا الترس (مثل "إصلاح كمبيوتر") و12 مثالاً لا ينبغي أن تحفزه (مثل "طهي المعكرونة"). ثم يمررها عبر الآلة.
- التحول النوعي: إذا أضاء الترس عند ذكر "طهي المعكرونة"، فإن المستجوب يعرف أن تسمية "التكنولوجيا" خاطئة. بعد ذلك، يعيد كتابة الفرضية: "ربما هو لـ 'إصلاح الأشياء'؟". ثم يكرر هذه العملية، مولداً اختبارات جديدة، ويتحقق من النتائج، ويقوم بتنقيح التسمية حتى يجد وصفاً يصمد أمام الضغط.
"حلقة" الاكتشاف
يؤكد البحث أن هذا ليس حدثاً يتم لمرة واحدة، بل هو حلقة مستمرة.
- الخطوة 1: يجد المستكشف ترساً محتملاً.
- الخطوة 2: يخمّن المستجوب ما يفعله.
- الخطوة 3: يحاول المستجوب كسر تخمينه الخاص من خلال إيجاد أمثلة مضادة (أشياء يجب أن تحفز الترس ولكن لا تفعل، أو أشياء لا ينبغي أن تحفزه ولكنها تفعل).
- الخطوة 4: يقوم المستجوب بتحديث التخمين بناءً على الفشل.
- الخطوة 5: تكرار العملية حتى يصبح التخمين راسخاً.
هذا يشبه عالماً يجري تجربة مراراً وتكراراً. إذا كانت نظريتك هي "هذا الزر يشغل الأضواء"، ولكنك ضغطت عليه فاشتغل الراديو، فأنت لا تكتفي بالقول "عذراً فقط"، بل تغير نظريتك إلى "هذا الزر يتحكم في الطاقة"، ثم تختبرها مرة أخرى.
ماذا وجدوا؟
اختبر المؤلفون هذا النظام على عائلة نماذج Gemma-2 (نوع من أنواع الذكاء الاصطناعي). وإليك ما حدث:
- تسميات أفضل: كان فريق الروبوتات أفضل بكثير في تسمية الميزات من طريقة "المرة الواحدة" القديمة. الطريقة القديمة غالباً ما كانت تعطي إجابات غامضة مثل "معرفة". أما فريق الروبوتات فقد وجد إجابات محددة وضيقة مثل "الصياغة الفرنسية غير الرسمية في سياقات استكشاف أخطاء التكنولوجيا وإصلاحها".
- إيجاد المجهول: لم يكتفِ النظام بشرح التروس التي يعرفها الباحثون بالفعل، بل وجد المستكشف تروساً جديدة لم يلاحظها البشر، مثل عصبونات محددة تعمل فقط من أجل "المحتوى الضار" (مثل المتفجرات) أو أنماط برمجية محددة.
- فحص السلامة: في إحدى دراسات الحالة، وجدوا ترساً متعلقاً برفض الطلبات الخطيرة. تمكنوا من "توجيه" الآلة عن طريق خفض قوة هذا الترس، فتوقفت الآلة عن رفض الطلب. أثبت هذا أن الترس كان هو من يسبب سلوك السلامة، وليس مجرد مراقب له.
- تعدد المعاني (Polysemanticity): في بعض الأحيان، وجد الروبوتات أن ترساً واحداً يقوم بوظيفتين مختلفتين تماماً في آن واحد (مثل ترس يتعامل مع "المعادلات الرياضية" و"المصطلحات الطبية" معاً). النظام ذكي بما يكفي ليقول: "هذا الترس مربك؛ إنه يقوم بمهمتين"، بدلاً من فرض تسمية واحدة خاطئة.
الخلاصة
يزعم البحث أنه من خلال التعامل مع تفسير الذكاء الاصطناعي كـ تجربة تكرارية (خمن، اختبر، افشل، أصلح) بدلاً من تسمية ثابتة (انظر، خمن، اكتب)، نحصل على تفسيرات أكثر دقة وموثوقية.
ينتج النظام "سلسلة ورقية" لكل تخمين، وكل اختبار، وكل فشل، مما يجعل العملية شفافة. إنه يوضح أنه إذا سمحت لوكيل ذكاء اصطناعي بأن يعمل كعالم صارم — يحاول باستمرار إثبات أفكاره الخاصة خطأً — فستحصل على صورة أوضح لكيفية عمل دماغ الآلة بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.