When Are Two Networks the Same? Tensor Similarity for Mechanistic Interpretability
تقدم هذه الورقة البحثية "تشابه التنسور" (tensor similarity)، وهو مقياس قائم على الأوزان وثابت تجاه تناظرات فضاء الأوزان، يتحقق بكفاءة من التكافؤ الوظيفي العالمي بين الشبكات العصبية القائمة على التنسور، مما يحول التفسير الآلي من تقريب تجريبي إلى مسأًلة جبرية محلولة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتين يبدوان متطابقين تماماً. كلاهما يمشي، ويتحدث، ويحل المسائل الرياضية بنفس الطريقة. ولكن إذا فتحت صدورهما، ستجد أن تروسهما الداخلية مرتبة بشكل مختلف تماماً؛ أحدهما لديه تروس متراصة رأسياً، والآخر لديه تروس ممتدة أفقياً.
المشكلة:
في عالم الذكاء الاصطناعي، يسعى العلماء لفهم كيف تفكر هذه الروبوتات (الشبكات العصبية). وهذا ما يسمى "التفسير الآلي" (Mechanistic Interpretability). ولكن هناك معضلة كبيرة: كيف تثبت أن ترتيبين داخليين مختلفين يقومان في الواقع بنفس الوظيفة تماماً؟
الأساليب الحالية تشبه مقارنة الروبوتات عبر مراقبة مشيتها.
- اختبار "السلوك": إذا مشى الروبوتان بنفس الطريقة على مسار معين، نفترض أنهما متماثلان. لكن ماذا لو كان لدى أحد الروبوتات خدعة سرية لا تعمل إلا في مسار لم نسلكه بعد؟ سنفوت ذلك.
- اختبـار "المخطط الهندسي": إذا قارنا المخططات فقط (الأرقام داخل الروبوت)، فقد نقول إنهما مختلفان لأن التروس قد قُلبت، حتى لو كانت تؤدي نفس الوظيفة تماماً. الأمر يشبه القول بأن منزلين مختلفان لأن المطبخ في أحدهما على اليسار وفي الآخر على اليمين، رغم أن الغرف تعمل بشكل متطابق.
الحل: "تشابه التنسور" (Tensor Similarity)
فكر في الأمر بهذه الطريقة: بدلاً من النظر إلى المخططات أو مراقبة الروبوت وهو يمشي، يستخدمون "مرآة سحرية" تنظر إلى جوهر رياضيات الروبوت.
"المرآة السحرية" (الثبات أمام التماثل):
تخيل أن لديك منحوتة مصنوعة من الطين. يمكنك ضغطها، أو مطها، أو تدويرها، ولكن إذا ظلت بنفس الشكل، فهي نفس المنحوتة. الأساليب الحالية ترتبك إذا قمت بتدوير المنحوتة، أما طريقتهم الجديدة فتتجاهل الدوران؛ فهي تهتم فقط بـ شكل الدالة. إذا قام روبوتان بنفس العملية الرياضية، فإن هذه الطريقة ستعطيهما درجة مثالية، حتى لو بدت أرقامهما الداخلية مختلفة تماماً."الأشعة السينية" (بدون الحاجة لبيانات):
معظم الاختبارات تتطلب تغذية الروبوت بآلاف الأسئلة لرؤية كيفية إجابته. هذه الطريقة الجديدة لا تحتاج لأي أسئلة؛ فهي تنظر إلى "دماغ" الروبوت (الأوزان) وتحسب الإجابة رياضياً. إنها تشبه الأشعة السينية التي تخبرك بوجود كسر في العظم دون الحاجة لطلب المشي من المريض."الروبوت الخاص" (النماذج القائمة على التنسور):
لجعل هذه المرآة السحرية تعمل، اضطر المؤلفون لبناء روبوتاتهم باستخدام نوع مختلف قليلاً من "الطين" يسمى "التنسورات" (تحديداً النماذج متعددة الخطوط - multilinear models). تعمل هذه الروبوتات تماماً مثل الذكاء الاصطناعي العادي، لكن رياضياتها الداخلية مهيكلة بطريقة تسمح بهذا النوع الخاص من المقارنة. هذا هو المقايضة: يجب عليك بناء الروبوت بطريقة معينة للحصول على أداة المقارنة فائقة الدقة هذه.
ما وجدوه (التجارب):
اختبر الفريق هذه الأداة الجديدة في أربعة سيناريوهات مختلفة:
- اختبار "فقدان الذاكرة": علموا روبوتاً التعرف على الأرقام من 0 إلى 4، ثم أضافوا الأرقام من 5 إلى 9. لاحقاً، حاولوا جعله ينسى الرقم 9. لم تستطع الأدوات القديمة تحديد أي جزء من الروبوت كان ينسى، بينما وجهت الأداة الجديدة شعاع ليزر مباشرة إلى "الترس" المحدد المسؤول عن الرقم 9، مما أظهر بالضبط أين حدث فقدان الذاكرة.
- "لحظة الإدراك" (Grokking): أحياناً يصبح الذكاء الاصطناعي بارعاً فجأة في مهمة ما بعد معاناة طويلة. أظهرت الأداة الجديدة أن هذا ليس مجرد قفزة مفاجئة، بل هو إعادة ترتيب بطيئة ومستمرة لتروس الروبوت الداخلية، وهو ما فات الأدوات القديمة.
- "المصافحة السرية" (Backdoors): زرعوا محفزاً سرياً في الروبوت: "إذا رأيت معيناً أسود، فاعتبره الرقم 9". ظل الروبوت يعمل بشكل مثالي مع الصور العادية، لذا قالت الاختبارات القياسية إنه سليم، ولكن الأداة الجديدة، من خلال النظر في الرياضيات الداخلية، رصدت المصافحة السرية فوراً، حتى دون رؤية المعين الأسود.
- "اختبار اللغة": طبقوا هذا على نموذج لغوي (روبوت يكتب نصوصاً). أظهرت الأداة الجديدة تغييرات واضحة وحادة مع تعلم الروبوت لأنماط جديدة، بينما لم ترَ الأدوات الأخرى سوى ضبابية مشوشة.
الخلاصة:
يجادل البحث بأننا لكي نفهم الذكاء الاصطناعي حقاً، نحتاج إلى طريقة لمقارنة منطقه الداخلي بحيث لا تخدعها طريقة ترتيب الأرقام أو نوع البيانات التي نغذيها بها. مقياس "تشابه التنسور" الجديد يفعل ذلك بالضبط، ولكنه يعمل حالياً فقط على نوع محدد من بنيات الذكاء الاصطناعي (النماذج القائمة على التنسور). لقد حولوا مشكلة "هل هذان العقلان متماثلان؟" المعقدة إلى مسألة رياضية نظيفة وقابلة للحل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.