Mechanistic Interpretability as Statistical Estimation: A Variance Analysis
تجادل هذه الورقة بأن التفسير الآلي هو في جوهره مشكلة تقدير إحصائي تعاني من تباين ذاتي مرتفع في درجات الوساطة السببية، مما يتسبب في جعل مسارات اكتشاف الدوائر تنتج نتائج غير مستقرة وهشة تستوجب التحول نحو الصرامة في المتانة الإحصائية والإبلاغ عن الاستقرار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: محاولة رسم خريطة لمدينة باستخدام بوصلة مهتزة
تخيل أنك تحاول رسم خريطة لمدينة معقدة (شبكة عصبية) لفهم كيف تنتقل من النقطة (أ) إلى النقطة (ب) (كيف تحل مشكلة ما). العلماء في مجال التفسير الآلي (Mechanistic Interpretability) هم بمثابة مستكشفين حضريين؛ فهم يريدون العثور على "الطرق" و"التقاطعات" المحددة (النيورونات والروابط) التي تستخدمها المدينة لاتخاذ القرارات. ويطلقون على هذه المسارات الخاصة اسم "الدوائر" (Circuits).
تجادل الورقة البحثية بأن المستكشفين حالياً يستخدمون بوصلة تدور بجنون. هم يعتقدون أنهم يجدون الخريطة الحقيقية الوحيدة، لكن في الواقع، هم يرسمون خرائط مختلفة في كل مرة ينظرون فيها، اعتماداً على تغيرات طفيفة وعشوائية في الطقس أو في كيفية إمساكهم بالبوصلة.
المشكلة الجوهرية: "البوصلة الدوارة" (التباين - Variance)
اكتشف الباحثون أن الأدوات المستخدمة للعثور على هذه الدوائر غير مستقرة بشكل أساسي. لقد قسموا المشكلة إلى ثلاث طبقات من عدم الاستقرار:
1. الإشارة الخام صاخبة (التباين الجوهري)
التشبيه: تخيل أنك تحاول قياس قوة تيار هوائي معين في عاصفة. إذا قمت بالقياس في ثانية واحدة محددة، ستحصل على رقم. إذا قمت بالقياس بعد ثانية واحدة، قد يكون الريح أقوى قليلاً أو أضعف قليلاً بسبب الاضطرابات العشوائية.
ادعاء الورقة: إن "أهمية" جزء معين من الذكاء الاصطناعي ليست رقماً ثابتاً مثل وزن صخرة، بل هي أشبه بسرعة الرياح؛ فهي تتغير بجنون اعتماداً على المدخلات المحددة (العاصفة) التي تنظر إليها. توضح الورقة أنه حتى لو قمت بحساب ذلك بدقة، فإن الدرجة لربط واحد تتقلب بشدة لدرجة يصعب معها معرفة ما إذا كان مهماً حقاً أم مجرد هبة ريح عشوائية.
2. الأدوات تضيف المزيد من الضجيج (أخطاء التقريب)
التشبيه: لأن قياس الرياح بدقة يتطلب وقتاً طويلاً جداً، يستخدم المستكشفون مستشعراً رخيصاً وسريعاً (طرق التقريب مثل EAP) لتخمين سرعة الرياح. لكن هذا المستشعر الرخيص مهتز، فهو يضيف ضوضاء وأخطاء خاصة به فوق الرياح المتغيرة أصلاً.
ادعاء الورقة: الطرق السريعة التي يستخدمها العلماء لتوفير الوقت (مثل Edge Attribution Patching) تزيد من الضجيج. غالباً ما تجعل هذه الطرق الدرجات تبدو أكثر عدم استقرار مما كانت عليه بالفعل. "نسبة الإشارة إلى الضجيج" منخفضة جداً لدرجة أن الأدوات غالباً ما تلتقط مجرد تشويش بدلاً من الإشارة الحقيقية.
3. الخريطة تتغير مع كل خطوة (عدم استقرار التجميع)
التشبيه: لرسم الخريطة النهائية، يأخذ المستكشفون 100 قياس مختلف ويقومون بمتوسطها. ولكن لأن القياسات مهتزة للغاية، فإذا غيرت قائمة الـ 100 قياس قليلاً (مثل استبدال واحد بآخر)، ستبدو الخريطة النهائية مختلفة تماماً. في يوم ما، تظهر الخريطة طريقاً سريعاً؛ وفي اليوم التالي، تظهر مساراً ترابياً.
ادعاء الورقة: عندما يجمع العلماء هذه الدرجات المهتزة لبناء "دائرة"، تكون النتيجة هشة للغاية.
- تغير البيانات: إذا استخدموا مجموعة مختلفة قليلاً من الأمثلة لتدريب خريطتهم، سيجدون دائرة مختلفة تماماً.
- تغير الطريقة: إذا قاموا بتعديل إعداد ما (مثل تغيير كيفية حساب المتوسط)، سيجدون دائرة مختلفة.
- تغير الاضطراب: إذا قاموا بتغيير طريقة "كسر" الذكاء الاصطناست لاختباره (الواقع المضاد/counterfactual)، ستنزاح الدائرة التي يجدونها مرة أخرى.
تأثير "السلمون الميت"
تذكر الورقة أن الأساليب الحالية عرضة لظواهر "السلمون الميت" الاصطناعية.
التشبيه: في علم الأعصاب، وجد الباحثون ذات مرة "نشاطاً دماغياً" في سلمون ميت لمجرد أنهم لم يصححوا الضجيج الإحصائي. تشير الورقة إلى أن باحثي الذكاء الاصطناعي قد يفعلون الشيء نفسه: يجدون "دوائر" تبدو حقيقية ولكنها في الواقع مجرد ضجيج عشوائي حدث بالصدفة وتوافق مع بعضه البعض.
ما وجده الباحثون (الأدلة)
أجروا تجارب على نماذج ذكاء اصطناعي مختلفة (مثل GPT-2 و Llama) ومهام متنوعة (مثل الرياضيات أو القواعد).
- النتيجة: عندما كرروا نفس التجربة 100 مرة ببيانات مختلفة قليلاً، لم تتداخل "الدوائر" التي وجدوها إلا بشكل ضئيل جداً. في بعض الأحيان، كان التداخل أقل من 10%.
- الاستنتاج: لا توجد "دائرة حقيقية واحدة" تنتظر الاكتشاف. بدلاً من ذلك، هناك سحابة من الدوائر الممكنة، والأساليب الحالية تختار فقط نقطة عشوائية واحدة من هذه السحابة وتسميها الحقيقة.
الحل المقترح: توقف عن التخمين، وابدأ في قياس عدم اليقين
لا يقول المؤلفون "استسلموا لتفسير الذكاء الاصطناعي"، بل يقولون "توقفوا عن التظاهر بأننا نعرف أكثر مما نعرفه فعلياً".
قواعد الكتاب الجديد:
- أبلغ عن التباين: لا تعرض خريطة واحدة فقط. اعرض 100 خريطة وقل: "هذا هو المتوسط، وهذا هو مدى اختلافها".
- تحقق من الاستقرار: قبل أن تدعي أنك وجدت دائرة، تحقق مما إذا كانت تظل ثابتة عند تغيير البيانات قليلاً. إذا اختفت الدائرة مع تغيير بسيط، فهي ليست موثوقة.
- تقبل عدم اليقين: تعامل مع هذه النتائج مثل توقعات الطقس (مثلاً: "احتمال 70% لهطول الأمطار") بدلاً من الحقائق المطلقة (مثلاً: "سوف تمطر").
الملخص
تجادل الورقة بأن التفسير الآلي يحاول حالياً القيام بالعلم دون الاعتراف بأنه يتعامل مع الإحصاء. الأمر يشبه محاولة قياس ارتفاع جبل بينما تقف على ترامبولين. يريد المؤلفون من المجال أن يتوقف عن البحث عن "حقيقة أرضية" واحدة ومثالية للدائرة، ويبدأ في الإبلاغ عن مدى اهتزاز وتغير نتائجهم في الواقع. فقط من خلال الاعتراف بهذا عدم الاستقرار، يمكننا الوثوق بالخرائط التي نرسمها لعقول الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.