Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation

تخيل أنك تحاول شرح خدعة سحرية لصديق متشكك. تقول له: "الساحر لم يكتفِ فقط بالتلويح بعصاه؛ بل استخدم رافعة مخفية محددة تحت المسرح". لكن صديقك يسألك: "كيف نعرف تلك الرافعة تحديداً؟ ماذا لو نظرت تحت جزء مختلف من المسرح، أو استخدمت كشافاً مختلفاً، أو طلبت من ساحر آخر التحقق؟" إذا كان شرحك يتغير تماماً بناءً على الطريقة التي تبحث بها عن السر، فهل يمكنك حقاً تسميته حقيقة؟ هذا هو جوهر دراسة جديدة في عالم الذكاء الاصطناعي.

في مجال "التفسير الآلي" (mechanistic interpretability)، يحاول العلماء استراق النظر إلى داخل أدمغة الذكاء الاصطناي (مثل نموذج GPT-2 الشهير) للعثور على "الدوائر" المحددة — وهي شبكات صغيرة من الاتصالات — التي تجعل الذكاء الاصطناعي يفعل ما يفعله. الأمر يشبه محاولة رسم خريطة للأسلاك الكهربائية الدقيقة في منزل لتفسير سبب إضاءة مصباح ما. يفرض الاتحاد الأوروبي قانوناً جديداً ينص على أنه إذا اتخذ ذكاء اصطناعي قراراً عالي المخاطر (مثل رفض قرض)، يجب على الشركة تقديم تقرير يشرح كيف اتخذ الذكاء الاصطناعي قراره. الطريقة البديهية للقيام بذلك هي تقديم خريطة لدوائر الذكاء الاصطناعي الداخلية. لكن هذه الورقة البحثية تطرح سؤالاً صعباً: إذا استخدم خبيران ذكيان نفس الذكاء الاصطناعي ونفس الأدوات، لكنهما اتخذا خيارات مختلفة ومعقولة حول كيفية البحث عن الدوائر، فهل سيجدان الخريطة نفسها؟ أم سيجدان قصتين مختلفتين تماماً؟

قرر مؤلف هذه الورقة اختبار ذلك عبر إعداد تجربة ضخمة تشبه "اختر مغامرتك الخاصة". لم ينظروا إلى الذكاء الاصطناعي مرة واحدة فحسب؛ بل نظروا إليه 15,840 مرة مختلفة. لقد أنشأوا شبكة من سبع طرق مختلفة لتحليل الذكاء الاصطناعي، حيث أخذوا كل الإعدادات الممكنة من الأدوات المنشورة والموجودة بالفعل. وتساءلوا: "إذا غيرنا المعيار، أو البذرة (seed)، أو حجم الدائرة، أو طريقة اختبارها، فهل تظل القصة التي نرويها عن دماغ الذكاء الاصطناعي كما هي؟"

والإجابة، للأسف، هي "لا" مدوية.

عندما أجرى الباحثون تجربتهم، وجدوا أن الأدلة مهتزة للغاية. فمن بين جميع الطرق التي كان بإمكانهم تحليل البيانات بها، انقلبت القصة التي رووها عن دائرة الذكاء الاصطناعي إلى نسخة مختلفة تماماً في 73.2% من الحالات. وهذا يعني أنه إذا نظر مدققان إلى نفس الذكاء الاصطناعي باستخدام نفس الأدوات ولكن بإعدادات مختلفة قليلاً، فمن المرجح أن يقدم كل منهما تقري-راً مختلفاً تماماً. وحتى عندما حاولوا أن يكونوا صارمين للغاية وتوحيد أهم الاختيارات، لم تنخفض نسبة الانقلاب إلا إلى 59.4%.

وللتأكد من أن الأمر لم يكن مجرد صدفة، تحققوا مما إذا كانت الدوائر التي وجدوها هي في الواقع نفس الشيء الموصوف بكلمات مختلفة. لم تكن كذلك. كانت الدوائر مختلفة هيكلياً بشكل شبه كامل (تتشارك في حوالي 4% فقط من أجزائها) وغير مترابطة وظيفياً. الأمر يشبه أن يجد أحد المدققين خريطة لأسلاك المطبخ، ويجد الآخر خريطة لسباكة المنزل، وكلاهما يدعي: "هذا هو السر وراء كيفية عمل المنزل!"

كما اكتشفت الورقة البحثية أن واحدة من الأدوات السبع الرئيسية التي استخدموها للعثور على هذه الدوائر لم تعمل على الإطلاق في المهمة التي كانوا يختبرونها؛ إذ تعطلت فوراً. علاوة على ذلك، تم استبعاد أكثر من نصف التفسيرات المحتملة لأنها لم تستوفِ القواعد الصارمة للاختبار.

إذن، ماذا يعني هذا للمستقبل؟ المؤلف لا يقول إن الذكاء الاصطناعي معطل أو أننا لا نستطيع فهمه. بل يقول إن "الإيصالات" التي نمتلكها حالياً لإثبات كيفية عمل الذكاء الاصطناعي ليست جاهزة لتقديمها إلى جهة تنظيمية حكومية. إذا قدمت لخريج أو قاضٍ خريطة للدوائر اليوم، واستخدم قاضٍ ثانٍ نفس الأدوات ولكن بطريقة مختلفة قليلاً، فقد يرفض خريطتك ويقول: "هذا ليس التفسير الصحيح". الدراسة تشير إلى أنه قبل أن نتمكن من الوثوق بهذه التفسيرات للذكاء الاصطناعي في المحاكم أو في فحوصات السلامة، نحتاج إلى معرفة كيفية جعل هذه الخرائط مستقرة، بغض النظر عمن يمسك بالكشاف.