🤖 machine learning

From Mechanistic to Compositional Interpretability

تقدم هذه الورقة "القابلية للتفسير التركيبية"، وهي إطار عمل من نظرية الفئات يصيغ التفسيرات الميكانيكية كخرائط تركيبية ودلالية تبادلية لتمكين التحقق الموضوعي، والتحسين، والتحسين المنهجي للنماذج نحو تفسيرات أكثر إيجازاً وتوافقاً مع البشر.

المؤلفون الأصليون: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ward Gauderis, Thomas Dooms, Steven T. Holmer, Kola Ayonrinde, Geraint A. Wiggins

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك آلة معقدة للغاية، "صندوقاً أسود" يمكنها القيام بأشياء مذهلة، مثل التعرف على الحيوانات أو ترجمة اللغات. أنت تعرف ماذا تفعل، لكن ليس لديك أدنى فكرة عن كيفية قيامها بذلك. في الداخل، يوجد مزيج متشابك من التروس والأسلاك والروافع التي لا يمكن لأي إنسان فهمها بسهولة. هذه هي الحالة الراهنة للعديد من نماذج الذكاء الاصطناعي المتقدمة.

تقترح الورقة البحثية التي قدمتها طريقة جديدة لفك هذا التشابك. إنها تنتقل من مجرد "التخمين" حول كيفية عمل الآلة إلى إنشاء كتاب قواعد رياضي صارم لشرحها. إليك الفكرة الجوهرية، مقسمة باستخدام تشبيهات بسيطة.

1. المشكلة: قصة "بما أنه كذلك" (Just-So Story)

حالياً، عندما يحاول العلماء شرح هذه النماذج من الذكاء الاصطناعي، فإنهم غالباً ما ينظرون إلى المدخلات والمخرجات (على سبيل المثال: "رأت قطة، لذا قالت مياو"). قد يشيرون إلى سلك معين ويقولون: "هذا السلك يضيء عندما يرى الفراء".

تجادل الورقة بأن هذا أمر محفوف بالمخاطر. الأمر يشبه النظر إلى محرك سيارة والقول: "هذا المكبس يتحرك عندما تسير السيارة بسرعة". قد يكون هذا صحيحاً، لكنه لا يشرح الآلية التي تحول الوقود إلى حركة. إذا نظرت فقط إلى السطح، فقد تروي قصة تبدو صحيحة ولكنها خاطئة في الواقع حول كيفية عمل الآلة حقاً. تُسمى هذه "قصة بما أنه كذلك" (Just-so story)؛ وهي حكاية تتناسب مع الحقائق ولكنها تفتقر إلى المنطق الداخلي الحقيقي.

2. الحل: الخريطة "التبادلية" (Commutative Map)

يقدم المؤلفون مفهوماً يسمى القابلية للتفسير التركيبي (Compositional Interpretability). فكر في الأمر كأنه مشروع ترجمة لآلة معقدة.

لشرح الآلة بشكل صحيح، تحتاج إلى خريطتين يجب أن تتطابقا تماماً:

الخريطة (أ) (المخطط الهندسي - The Blueprint): توضح البنية الداخلية للآلة — الأسلاك، والتروس، و"القواعد النحوية" (Syntax).
الخريطة (ب) (السلوك - The Behavior): توضح ما تفعله الآلة فعلياً عندما تضغط على زر — "الدلالات" (Semantics).

تقول الورقة إن التفسير الجيد يكون صالحاً فقط إذا كانت هاتان الخريطتان تبادليتين (Commutative). باللغة البسيطة، هذا يعني:

إذا اتبعت مسار ترس معين في المخطط الهندسي، فيجب أن يؤدي إلى نفس النتيجة تماماً التي ستنتج عن مراقبة حركة ذلك الترس في خريطة السلوك.
إذا لم تتطابق الخرائط، فإن تفسيرك معطل. لا يمكنك ببساطة تسمية ترس ما بـ "متحكم السرعة" إذا كان يقوم بشيء آخر في الواقع.

هذا يضمن أن تفسيرك ليس مجرد تخمين؛ بل هو رابط موثق بين أحشاء الآلة وأفعالها.

3. الهدف: "أقصر قصة" (موس أوكام - Occam's Razor)

بمجرد حصولك على خريطة صالحة، كيف تعرف أي تفسير هو الأفضل؟ تستخدم الورقة مبدأً يسمى طول الوصف الأدنى (Minimum Description Length).

تخيل أن عليك شرح خدعة سحرية معقدة لصديقك.

التفسير 1: "الساحر لوح بعصا، ونطق بكلمة سحرية، فظهر الأرنب." (بسيط، ولكن ربما يغفل عن باب سري مخفي).
التفسير 2: "الساحر استخدم باباً سرياً، وآلية زنبركية، وزاوية إضاءة محددة لجعل الأرنب يظهر." (أكثر تعقيداً، ولكنه دقيق).
التفسير 3: "الساحر استخدم باباً سرياً، وزنبركاً، وزاوية إضاءة، وتيار هواء معيناً، ورمزاً سرياً." (معقد للغاية، ومبالغ في الشرح).

تجادل الورقة بأن أفضل تفسير هو الأقصر الذي لا يزال دقيقاً تماماً. إنه النقطة المثالية حيث لا تغفل عن التفاصيل المهمة (الأمانة/Faithfulness)، ولكنك أيضاً لا تضيف حشواً غير ضروري (التعقيد/Complexity).

4. الطريقة: "التحسين الضغطي" (Compressive Refinement)

كيف نجد هذا التفسير المثالي والقصير؟ يقترح المؤلفون عملية تسمى التحسين الضغطي (Compressive Refinement).

فكر في نموذج الذكاء الاصطناعي كمجموعة فوضوية من قطع الليغو.

الحالة الراهنة: القطع ملتصقة معاً في كتل غريبة ومتشابكة. من الصعب رؤية ما يفعله كل جزء.
العملية: تقوم بتفكيك الكتل بعناية وإعادة تجميعها في هياكل مرتبة ومتميزة. قد تضيف بعض "الموصلات" (الأسلاك) الإضافية لجعل الهيكل واضحاً، لكنك تبسط الأجزاء الفردية لتصبح أسهل في الفهم.
النتيجة: تنتهي بنموذج تكون فيه "ذرات الحوسبة" (أصغر الأجزاء المفيدة) بسيطة وواضحة، وطريقة اتصالها منطقية.

تثبت الورقة أنه إذا قمت بعملية "إعادة التجميع" هذه بشكل صحيح، فأنت تضمن الحصول على تفسير أبسط وأكثر سهولة للفهم من قبل البشر دون تغيير ما تفعله الآلة حقاً.

5. لماذا ينجح هذا: افتراض "التفاؤل" (The Optimism Assumption)

تضع الورقة تخميناً متفائلاً (فرضية) لجعل هذا الأمر يعمل: الأنماط التي يستخدمها الذكاء الاصطناعي لحل المشكلات هي على الأرجح نفس الأنماط التي يستخدمها البشر لفهم تلك المشكلات.

إذا كان الذكاء الاصطناعي جيداً في التعرف على القطط، فمن المرجح أنه يستخدم سمات بسيطة ومنطقية (أذنان، شارب) بدلاً من بعض الرياضيات الغريبة وغير المفهومة. من خلال ضغط النموذج للعث st على هذه الأنماط البسيطة، فإننا نقوم أساساً بـ "تصفية" الضجيج والعثور على المنطق القابل للقراءة من قبل البشر والمخفي في الداخل.

الملخص

باختختصار، تقول هذه الورقة:

توقف عن التخمين: لا تنظر فقط إلى ما يفعله الذكاء الاصطناعي؛ بل اربط أجزاءه الداخلية بأفعاله وتأكد من تطابقهما تماماً.
حافظ على البساطة: أفضل تفسير هو الأقصر الذي لا يزال دقيقاً بنسبة 100%.
أعد ترتيب الآلة: أعد هيكلة الأسلاك الداخلية للذكاء الاصطناعي بشكل منهجي لجعلها أبسط وأوضح، مما يؤدي طبيعياً إلى تفسيرات يمكن للبشر فهمها بالفعل.

يوفر هذا "قاعدة قواعد" رياضية لتحويل الصندوق الأسود للذكاء الاصطناعي إلى آلة شفافة ومفهومة.

ملخص تقني: من التفسير الآلي إلى التفسير التركيبي

بيان المشكلة
يهدف التفسير الآلي (Mechanistic Interpretability) إلى الهندسة العكسية للنماذج العصبية وتحويلها إلى مكونات مفهومة بشرياً. ومع ذلك، تفتقر المنهجيات الحالية إلى إطار عمل رسمي، مما يجعل التفسيرات صعبة التحقق من صحتها أو مقارنتها أو تركيبها بشكل موضوعي. غالباً ما تكتفي الطرق الموجودة بتقدير الأمانة (faithfulness) بدلاً من فرضها بنيوياً. علاوة على ذلك، وبدون تعريف قابل للقياس لجودة التفسير، تخاطر التفسيرات بأن تصبح مجرد "قصص مبررة لاحقاً" (just-so stories) ترتبط بالسلوك السطحي لكنها تفشل في التقاط الآليات الداخلية. التحدكم الجوهري يكمن في تعريف التفسير بحيث يكون تركيبياً (الأجزاء تشكل الكل)، وأميناً (مطابقاً للحوسبة الداخلية)، وموجزاً (منخفض الطول الوصفي للبشر).

المنهجية
يقدم المؤلفون التفسير التركيبي (Compositional Interpretability)، وهو إطار عمل قائم على نظرية الفئات (Category Theory) ومبدأ طول الوصف الأدنى (Minimum Description Length - MDL).

1. التعريفات الرسمية عبر نظرية الفئات:

النموذج التركيبي: يُعرف كزوج مرتب $(D, S, C, [[\cdot]])$ ، حيث $D$ هو مخطط رسم بياني نصي (string diagram) يمثل بناء النموذج (syntax)، و $S$ هو الفئة النحوية (syntactic category)، و $C$ هي الفئة الدلالية (semantic category/concrete implementation)، و $[[\cdot]]$ هو دالة (functor) تربط النحو بالدلالة.
التفسير التركيبي: يُعرف كزوج من الخرائط: تفسير قائم على النحو $I_S: S \to H$ (إسناد التفسيرات للمكونات البنيوية) وتفسير قائم على الدلالة $I_C: C \to H$ (إسناد التفسيرات للسلوكيات).
التبادلية (Commutativity): يتطلب التفسير الصالح أن يكون المخطط تبادلياً ( $I_S = I_C \circ [[\cdot]]$ ). هذا يفرض الاتساق، مما يضمن أن التفسيرات المستمدة من بنية النموذج تتوافق مع التفسيرات المستمدة من سلوكه الملحوظ.

2. الأمثلة عبر MDL:

يُصاغ التفسير كمسألة تحسين مقيدة: البحث عن التفسير الأكثر إيجازاً الذي يظل أميناً لدلالات النموذج.
الأمانة (Faithfulness): تُقاس بتكلفة المعلومات اللازمة لتصحيح التفسير ليتطابق مع دلالات النموذج الحقيقية. يعرّف المؤلفون "الأمانة التركيبية" (compositional faithfulness)، والتي تتطلب أن يسمح التفسير بإعادة بناء دلالات المكونات الفردية، وليس فقط السلوك الكلي للمدخلات والمخرجات.
التعقيد (Complexity): يُقاس بـ "طول الوصف التركيبي" ( $L(M, I_S)$ $L (M, I_{S})$ )، والذي يتفكك إلى:
- تعقيد التمثيل ( $L_{rep}$ ): تكلفة وصف النحو والتعقيد الدلالي للمكونات الذرية.
- تعقيد التفسير ( $L_{int}$ ): التكلفة الذاتية لمواءمة هذه المكونات مع المفاهيم البشرية.
يعمل إجمالي طول الوصف كحد أعلى لـ "طول الوصف الأدنى" للتفسير نفسه.

3. الصقل الضغطي (Compressive Refinement):

لتحسين التفسير، يقترح البحث الصقل النحوي (Syntactic Refinement): وهي دالة $R: S \to S'$ تعيد هيكلة نحو النموذج مع الحفاظ على الدلالات ( $[[\cdot]] = [[\cdot]]' \circ R$ ).
يحدث الصقل الضغطي عندما تؤدي إعادة الهيكلة هذه إلى تقليل تعقيد التمثيل ( $L_{rep}(M') \leq L_{rep}(M)$ ).
معيار الإيجاز (Parsimony Criterion): لا يؤدي الصقل إلى تفسير أفضل إلا إذا كان خفض تعقيد التمثيل يفوق أي زيادة في تعقيد التفسير.

المساهمات الرئيسية

إطار عمل رسمي: يضع البحث أساساً قائماً على نظرية الفئات للتفسير، مميزاً بين النحو (البنية) والدلالة (السلوك)، ويشترط مواءمتهما عبر المخططات التبادلية.
هدف قابل للقياس: يصيغ التفسير كمسألة تحسين مقيدة باستخدام MDL، فاصلاً بين الأمانة (التشويه) والتعقيد (طول الوصف).
الصقل الضغطي: يقدم طريقة منهجية لإعادة هيكلة النماذج إلى أجزاء أبسط دون تغيير الوظيفة، مع اعتبار طرق التفسير الآلي الحالية (مثل التفكيك القائم على التخلخل/Sparsity) كفئات فرعية من عملية الصقل.
معيار الإيجاز والضمانات النظرية:
- يثبت المؤلفون أن الصقل الضغطي يضمن تفسيرات أكثر إيجازاً إذا كان توزيع الترميز (coding distribution) "مترافقاً" (comonotonic) مع توزيع التفسير (ربط البساطة البنيوية بالفهم البشري).
- يستدعي البحث التخلخل التركيبي (Compositional Sparsity) (النظرية 4.5) للمجادلة بأن الشبكات العميقة ذات الحجم متعدد الحدود تقرب دوالاً تسمح بتفكيكات متخلخلة، مما يضمن أن البحث عن "ذرات الحوسبة" أمر ممكن ولا يؤدي إلى أحجام مخططات غير قابلة للإدارة.
- يصيغ البحث المبدأ الضعيف للتفاؤل التفسيري (Weak Principle of Explanatory Optimism)، مشيراً إلى أنه إذا كان النموذج يؤدي بشكل جيد، فإن آلياته الجوهرية من المرجح أن تكون مفهومة بشرياً، مما يبرر استخدام الضغط كمرشح لهذه الآليات.

النتائج والادعاءات
لا يقدم البحث تجارب تجريبية جديدة بل يقدم توحيداً نظرياً وإثباتاً للمفهوم:

يوضح أن طرق التفسير الآلي البارزة (مثل تلك التي تستخدم قواعد التخلخل) يمكن اعتبارها حالات محددة من الصقل النحوي.
يثبت أنه بموجب معيار الإيجاز، فإن تقليل تعقيد التمثيل يضمن نظرياً تفسيرات أكثر إيجازاً وتوافقاً مع المفاهيم البشرية، بشرياً بفرضية "التفاؤل التفسيري".
يوضح لماذا تتماشى قواعد الضغط غالباً مع التفسير البشري: فهي تجرد النموذج من الحشو لعزل الآليات الجوهرية التي تقابل المفاهيم البشرية.

الأهمية
يزعم البحث أنه يوفر أساساً قابلاً للقياس والتحسين لأتمتة اكتشاف وتقييم التفسيرات الآلية. ومن خلال الانتقة من الهندسة العكسية الارتجالية إلى إطار عمل تركيبي رسمي، يعالج البحث غياب التحقق الموضوعي في أبحاث التفسير الحالية. ينقل هذا العمل التفسير من كونه مجرد قيد بنيوي ثنائي إلى هدف تحسين مستمر، مما يسد الفجوة بين التفسير الجوهري والتفسير اللاحق (post-hoc). يشير المؤلفون إلى أن العمل المستقبلي يمكنه الاستفادة من هذا الإطار لدمج الصقل الضغطي مع الاستدلال السببي واستخدام أدوات مثل شبكات الموتر (tensor networks) للتحسين القابل للتوسع.