🤖 machine learning

A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation

تؤسس هذه الورقة إطاراً نظرياً مثالياً يثبت أن رقع التنشيط (activation patching) واستئصال فضاء الأوزان (weight-space ablation) ينتجان تفسيرات سببية متباينة لمكونات النموذج، مستنتجةً الشروط الدقيقة لاتفاقهما واختلافهما مع التحقق من صحة هذه التنبؤات من خلال تجارب اصطناعية ونماذج محولات (transformer models) واقعية.

المؤلفون الأصليون: Abdallah Khemais

نُشر 2026-08-05

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Abdallah Khemais

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

معضلة المحقق: كيف نحاول فهم عقول الذكاء الاصطناعي

تخيل أن لديك آلة ضخمة ومعقدة يمكنها سرد القصص، أو حل المسائل الرياضية، أو كتابة القصائد. أنت تريد أن تعرف كيف تعمل. هل هي التروس الموجودة في المنتصف؟ أم النوابض الموجودة في الأعلى؟ لمعرفة ذلك، يستخدم العلماء حيلتين رئيسيتين. الأولى تشبه "الترقيع بالتنشيط" (Activation Patching): تخيل أن الآلة تقوم بتشغيل قصة، فتقوم بإيقافها مؤقتًا، وتستبدل ترسًا معينًا بترس من قصة أخرى، ثم ترى ما إذا كانت الحبكة ستتغير. إذا تغيرت القصة، فهذا يعني أن هذا الترس كان مهمًا. الحيلة الثانية هي "الاستئصال من فضاء الأوزان" (Weight-Space Ablation): بدلًا من إيقاف الآلة مؤقتًا، تمسك بمفك براغي وتقوم بإزالة ذلك الترس نهائيًا أو "تصفيره". ثم تقوم بتشغيل الآلة مرة أخرى. إذا تعطلت القصة، فهذا يعني أن ذلك الترس كان مهمًا.

لفترة طويلة، أمل العلماء أن تروي هاتان الحيلتان نفس القصة. افترضوا أنه إذا كان الترس مهمًا للحظة معينة (الترقيع)، فإنه سيكون أيضًا مهمًا للتصميم العام للآلة (الاستئصال). ولكن في عالم الذكاء الاصطناعي، نادرًا ما تكون الأمور بهذه البساطة. أحيانًا، تكون الآلة مليئة بـ "تروس احتياطية" لدرجة أن إزالة أحدها لا يؤدي إلى تعطل أي شيء، حتى لو تسبب استبدالها في منتصف القصة في كارثة. يسأل هذا البحث سؤالًا جوهريًا: متى تتفق هاتان الطريقتان من طرق التحقيق، ومتى تكذبان علينا؟ المؤلف لا يكتفي بالتخمين؛ بل يبني نموذجًا رياضيًا ليثبت بالضبط لماذا يمكن لهاتين الطريقتين أن تختلفا، ويختبر ذلك على "أدمغة ذكاء اصطناعي" صغيرة ومصطنعة ليرى ما إذا كان هذا المنطق الرياضي يصمد في العالم الحقيقي.

الورقة البحثية: لماذا يمكن لطريقتين من طرق التحقيق أن تختلفا

هذه الورقة، التي تحمل عنوان نظرية الانهيار المشروط تحت عمليات الاستئصال منخفضة الرتبة في فضاء الأوزان، هي غوص عميق في ميكانيكا كيفية اتخاذ نماذج الذكاء الاصطنانا لقراراتها. يعامل المؤلف الذكاء الاصطناعي ليس كصندوق أسود غامض، بل كمجموعة من المكونات الرياضية التي يتم خلطها معًا. ويركز على نوع محدد من سلوك الذكاء الاصطناعي يسمى "الحوسبة المشروطة" (conditional computation)—حيث يقرر الذكاء الاصطناعي القيام بشيء ما إذا رأى رمزًا "أحمر"، وشيء آخر إذا رأى رمزًا "أزرق".

الاكتشافات الثلاثة الكبرى

تثبت الورقة ثلاثة أمور رئيسية باستخدام نموذج رياضي مبسط، ثم تتحقق مما إذا كانت هذه الأمور تحدث في نماذج الذكاء الاصطناعي المدربة فعليًا.

1. "الانهيار المثالي" (عندما يجعل إزالة الأجزاء الذكاء الاصطناعي ينسى)
تخيل أن الذكاء الاصطناعي يختار بين مسارين: المسار (أ) (المسار "المعكوس") والمسار (ب) (المسار "الحرفي"). يثبت المؤلف أنه إذا قمت بإزالة مجموعة محددة من "الحوامل" (الأجزاء التي تحمل القرار في الذكاء الاصطناعي)، فقد ينسى الذكاء الاصطناعي فجأة الفرق بين المسار (أ) والمسار (ب)، وينهار في إجابة واحدة غير مشروطة.

الشرط: يحدث هذا فقط إذا كان الإزالة متوازنة تمامًا. إذا أزلت جزءًا يدفع الذكنا الاصطناعي نحو المسار (أ)، يجب عليك أيضًا إزالة جزء يدفع باتجاه المسار (ب) بنفس القوة تمامًا. إذا اختل التوازن، فلن ينهار الذكاء الاصطناني، بل سيصاب بالارتباك فقط.
الاختبار في العالم الحقيقي: قام المؤلف بتدريب نماذج ذكاء اصطناعي صغيرة في لعبة كان عليها فيها تذكر المفاتيح والقيم. ووجد أن إزالة جزء واحد جعل الذكاء الاصطناعي يختار المسار الخاطئ، لكن إزالة مجموعة مختلفة من الأجزاء جعلته يختار المسار الخاطئ المعاكس. هذا "الانعكاس القطبي" أثبت أن الذكاء الاصطناني لم يكن يفشل عشوائيًا فحسب، بل كان ينهار بطريقة محددة وقابلة للتنبؤ كما توقعت الرياضيات.

2. عدم التطابق بين "الترقيع" و"الاستئصال" (فخ الوفرة/التكرار)
هذا هو الاكتشاف الأكثر مرحًا وإثارة للدهشة في الورقة. يوضح المؤلف أن "الترقيع بالتنشيط" (Activation Patching) و**"استئصال الأوزان" (Weight Ablation)** يقيسان شيئين مختلفين تمامًا.

التشبيه: تخيل فريقًا من خمسة أشخاص يحملون صندوقًا ثقيلًا. إذا سألت: "من منهم قوي بما يكفي لحمل الصندوق بمفرده؟" واستبدلت أحدهم بعملاق خارق القوة (الترقيع)، سيطير الصندوق عبر الغرفة. هذا الشخص "كافٍ". ولكن إذا سألت: "من هو ضروري؟" وقمت بهدوء بإزالة شخص واحد من الفريق (الاستئصال)، فقد يقوم الأربعة الآخرون بسد الفراغ، ولن يسقط الصندوق.
النتيجة: تثبت الورقة رياضيًا أنه يمكنك الحصول على حالة يكون فيها كل شخص قويًا بما يكفي لحمل الصندوق بمفرده (لذا فإن استبدال أي فرد منهم يغير النتيجة)، ولكن لا يوجد شخص واحد ضروري (لذا فإن إزالة أي فرد منهم لا يفعل شيئًا).
النتيجة: في تجاربهم، وجدوا مكونات في الذكاء الاصطناعي، عند استبدالها، قلبت قرار الذكاء الاصطناني تمامًا (نسبة استعادة أكبر من 1، مما يعني أنها تجاوزت الهدف). ومع ذلك، عندما أزالوا تلك المكونات نفسها، استمر الذكاء الاصطناني في العمل بشكل مثالي. وهذا يفسر لماذا تبدو بعض أجزاء الذكاء الاصطناعي كأبطال في اختبار ما، وكأنها مجرد زينة عديمة الفائدة في اختبار آخر.

3. "التفاعل الخفي" (عندما تتحدث الأجزاء مع بعضها البعض)
يفترض النموذج الرياضي المبسط أن كل جزء من الذكاء الاصطناعي يعمل بشكل مستقل، مثل المكونات المنفصلة في سلطة. لكن في نماذج الذكاء الاصطناعي الحقيقية، غالبًا ما تتواصل الأجزاء مع بعضها البعض. وتحديدًا، نظر المؤلف في كيفية تفاعل "رأس الانتباه" (Attention Head) (جزء ينظر إلى الكلمات الأخرى) مع "الشبكة العصبية متعددة الطبقات" (MLP) (جزء يعالج النتيجة) في نفس الطبقة.

الرياضيات: اشتق المؤلف صيغة دقيقة توضح أنه إذا قمت بإزالة "رأس الانتباه"، فإن ذلك يغير المدخلات لـ "الـ MLP"، مما يخلق "تأثير تموج" أو "حد تفاعل" يتجاهله النموذج البسيط.
الإثبات: أظهروا أنه إذا أزلت الـ "MLP" فقط، فإن تأثير التموج هذا يتلاشى (الرياضيات دقيقة هنا). ولكن إذا أزلت "رأس الانتباه"، فإن تأثير التموج يكون حقيقيًا وقابلًا للقياس.
التجربة: قاموا بقياس "مقدار التفاعل" هذا في نماذج الذكاء الاصطناعي الخاصة بهم. ووجدوا ارتباطًا سلبيًا قويًا (رتب سبيرمان قدرها -0.83): كلما زاد حجم التفاعل الخفي، قلت دقة تنبؤات النموذج البسيط.

لحظة "الخطأ": لا يوجد حد سحري

هنا تصبح الورقة صادقة وعلمية للغاية. في البداية، اعتقد المؤلف أنه قد يجد "رقمًا سحريًا" أو خطًا واضحًا يفصل بين متى يعمل النموذج البسيط ومتى يفشل. لقد فحصوا 14 إعدادًا محددًا ورأوا فجوة واضحة: بعضها كان فيه التفاعل صفرًا، والبعض الآخر كان فيه التفاعل مرتفعًا، وكان النموذج يعمل بشكل مثالي في الحالات ذات التفاعل الصفري.

ولكن بعد ذلك، اختبروا 25 إعدادًا إضافيًا (خارج العينة). اختفت الفجوة الواضحة. الإعدادات التي بدا أنها يجب أن تفشل نجحت أحيانًا، والعكس صحيح.

الاستنتاج: يعترف المؤلف بأنه بينما يعد حجم التفاعل مؤشرًا جيدًا لمدى خطأ النموذج البسيط، إلا أنه لا يوجد "رقم فاصل" واحد يمكنك استخدامه لتقول "هذا آمن، وهذا ليس كذلك". العلاقة هي منحنى سلس، وليست مفتاح تشغيل/إيقاف. وقد صرحوا صراحة بأن "الانفصال النظيف" الذي رأوه في البداية كان على الأرجነት نتيجة صغر حجم العينة، وأن العالم الحقيقي أكثر فوضوية.

لماذا هذا مهم؟

هذه الورقة لا تقول فقط "الذكاء الاصطناعي صعب". بل تقدم لنا خريطة دقيقة لـ لماذا يمكن لأدواتنا لفهم الذكاء الاصطناعي أن تكون مضللة.

تخبرنا أنه إذا بدا جزء من الذكاء الاصطناعي "يمكن الاستغناء عنه" عند إزالته، فقد يكون ذلك ببساطة بسبب وفرة (تكرار) التصميم في الذكاء الاصطناني وليس لأن الجزء غير مهم.
تخبرنا أنه إذا أردنا فهم الذكاء الاصطناعي، فلا يمكننا الاعتماد فقط على طريقة واحدة (مثل الترقيع أو الاستئصال)؛ بل يجب أن نفهم رياضيات كيفية اختلافهما.
والأهم من ذلك، أنها تظهر أنه بينما يمكننا التنبؤ بـ مدى فشل النموذج عند تبسيطه، لا يمكننا بعد التنبؤ بـ متى سيفشل بالضبط باستخدام قاعدة (نعم/لا) بسيطة.

يخلص المؤلف إلى أن "النموذج المثالي" (الرياضيات البسيطة) هو أداة قوية، ولكن لديه حد خطأ معروف. ومن خلال قياس حد الخطأ هذا، يمكننا الحصول على صورة أوضح لما يفعله الذكاء الاصطناعي حقًا، بدلاً من أن نخدع بوفرة تصميمه الخاص. إنه تذكير بأنه في السعي لفهم الذكاء الاصطناعي، غالبًا ما تكون الحقيقة عبارة عن تدرج، وليست مفتاح تشغيل/إيقاف.

تستقصي هذه الورقة البحثية الظروف التي يتفق أو يتباين فيها اثنان من العائلات المهيمنة لتدخلات التفسير الآلي (mechanistic interpretability)—وهما رقعة التنشيط (activation patching) واستئصال فضاء الأوزان (weight-space ablation). وبينما يُستخدم كلا الأسلوبين للبرهنة على أن مكونًا معينًا في الشبكة مسؤول سببيًا عن سلوك ما، إلا أنهما يعملان على كائنات مختلفة: فالرقعة تغير عملية حسابية واحدة محققة (التنشيطات)، بينما يستأصل الاستئصال المعلمات (الأوزان) التي تولد جميع الحسابات. وتوضح الورقة أن هذين التدخلين يقيسان كميات مختلفة جوهريًا ويمكن أن يؤديا إلى استنتاجات متناقضة حول أهمية المكون، حتى ضمن نموذج رياضي مثالي.

صياغة المشكلة

يدرس المؤلف حسابًا شرطيًا يتم إضافته عبر مسار متبقٍ (residual stream)، ويُنمذج كالتالي:
$F(x) = F_0(x) + \sum_{i=1}^k \alpha_i(x) v_i$
حيث $F_0$ هو الجزء غير الشرطي، و $v_i$ هي اتجاهات السمات الثابتة (الحوامل/carriers)، و $\alpha_i(x)$ هي معاملات الاختيار القياسية. يتم تحديد قرار الشبكة عبر قراءة خطية $s(x) = \psi(F(x)) + b$ . وتركز الدراسة على الأزواج المتطابقة (matched pairs) من المدخلات $(x_A, x_B)$ التي تتطلب نفس المخرج ولكن تتم معالجتها عبر فروع شرطية متقابلة (أي $s(x_A) > 0 > s(x_B)$ ).

السؤال الجوهري هو: متى يؤدي حذف مجموعة فرعية من الحوامل (الاستئصال) إلى إجبار كلا المدخلين على الوصول إلى نفس المخرج غير الشرطي (الانهيار/collapse)، وكيف يرتبط ذلك بتأثير رقعة حامل واحد؟

المنهجية

تستخدم الورقة تحليلًا نظريًا لـ نموذج شرطي مجرد (Abstract Conditional Model) يليه تحقق اصطناعي على نماذج ترانسفورمر صغيرة مدربة على مهام شرطية.

الاشتقاق النظري: يشتق المؤلف هويات دقيقة لآثار الاستئصال والرقعة. ويُعرف "الحوامل" بأنها الأزواج $(v_i, \alpha_i)$ ويحلل المسار المتبقي بعد إزالة مجموعة فرعية من هذه الحدود.
الافتراضات المثالية: يفترض النظرية إضافية المسار المتبقي، والدعم منخفض الرتبة للحسابات الشرطية، وحساب القاعدة المستقر، وقراءة خطية.
التحقق الاصطناعي: تم تدريب نماذج ترانسفورمر صغيرة (4 طبقات، عرض 64) على مهمة استدعاء ترابطي (associative recall) اصطناعية تتضمن "رمز علامة" (marker token) ينتقل بين تنسيقين (بحث مباشر مقابل بحث متبدل). يقوم المؤلف بإجراء رقعة تنشيط جشعة لتحديد "الحوامل" (رؤوس الانتباه أو الـ MLPs)، ثم يقوم باستئصال منخفض الرتبة في فضاء الأوزان عن طريق إسقاط فروق تنشيط المانح والمستقبل من مصفوفات الأوزان.
تحليل التفاعل: تشتق الورقة صيغة من الدرجة الأولى لحد التفاعل الذي ينشأ عند تركيب رأس انتباه مع الـ MLP الخاص بطبقته، مما يوضح كيف يفشل النموذج الإضافي المثالي في هذا التكوين المعماري المحدد.

المساهمات الرئيسية والنتائج

1. الانهيار الشرطي (المبرهنة 1)
تثبت الورقة أن حذف مجموعة فرعية من الحوامل $S$ يؤدي إلى انهيار الزوج المتطابق إلى مخرج غير شرطي واحد إذا وفقط إذا تحقق شرطان دقيقان:

التماثل (Symmetry): الكتلة المزالة متماثلة على الزوج ( $\bar{q}_S = 0$ ).
عدم بقاء التباين (No Surviving Contrast): لا يتبقى أي تباين خارج المجموعة المزالة ( $\Psi_S = 0$ ).
عند تحقق هذه الشروط، يكون الخطأ حتميًا، وتتحدد قطبية الانهيار بناءً على إشارة هامش المتوسط للزوج. ويقدم المؤلف هوية خطأ دقيقة (النسبة 1) توضح أنه إذا تحققت هذه الشروط تقريبيًا فقط، فإن الخطأ يكون محصورًا بالانحراف عن هذه المساواة، مما يسمح للنظرية بالتطبيق على الشبكات الحقيقية حيث يستحيل تحقيق المساواة الدقيقة.

2. التباين بين الرقعة والاستئصال (المبرهنة 2)
يثبت المؤلف أن الرقعة والاستئصال يقيسان كميات متميزة:

الرقعة (Patching) تحرك القراءة بمقدار تباين الحامل ( $\beta_i \delta_i$ ، حيث $\delta_i$ هو الفرق في التنشيط بين المانح والمستقبل).
الاستئصال (Ablation) يحرك القراءة بمقدار المستوى المطلق للحامل عند المستقبل ( $-\beta_i \alpha_i(x_B)$ ).
يبني المؤلف أزواجًا متطابقة حيث كل رقعة لحامل واحد تقلب القرار (الكفاية/sufficiency)، بينما لا يؤدي أي استئصال لحامل واحد إلى ذلك (نقص الضرورة/lack of necessity). يفسر "نظام التكرار" (redundancy regime) هذا لماذا قد تبالغ الرقعة في تقدير الأهمية (تجاوز حد القرار) بينما قد يقلل الاستئصال من تقديرها (ظهور المكونات كأنها غير ضرورية بسبب التكرار).

3. التفاعل غير الخطي (المبرهنة 3)
يفترض النموذج المثالي استقلالية الحوامل. يشتق المؤلف صيغة دقيقة لحد التفاعل $\Delta(x)$ الذي ينشأ عندما يتم استئصال رأس انتباه بينما لا يتم استئصال الـ MLP الخاص بطبقته.

التفاعل هو من الدرجة الثانية في حجم الاضطراب.
يتلاشى تمامًا إذا تم استئصال الـ MLP فقط ( $\eta(x) \equiv 0$ ).
يكون غير صفري بشكل عام إذا تم استئصال الرأس، مما يعني أن استئصال الرأس يضطرب مخرجات الـ MLP حتى لو كان الـ MLP نفسه لم يُمس.
هذا الحد التفاعلي يفسر لماذا قد تفشل توقعات الانهيار المثالية في الشبكات الحقيقية عند وجود رؤوس انتباه.

4. التحقق الاصطناعي
تؤكد التجارب على خمس حالات ترانسفورمر مدربة التوقعات النظرية:

الانهيار: يمكن لمجموعات الاستئصال المتداخلة أن تسبب انهيار الشبكة نحو فروع غير شرطية متقابلة (على سبيل المثال، مجموعة فرعية تجبر على "قراءة معكوسة"، ومجموعة أكبر تجبر على "قراءة حرفية")، وهي ظاهرة مستحيلة في النموذج المثالي ولكن يفسرها حد التفاعل.
التباين: أظهرت رقعة الموقع الواحد نسبة استعادة $\kappa > 1$ (تجاوز/overshoot)، بينما ترك استئصال الوزن المقابل غالبية المدخلات صحيحة، مما أكد نظام "الكفاية دون الضرورة".
التفاعل مقابل الدقة: عبر 39 تكوين استئصال، كان مقدار حد التفاعل (الفجوة بين النموذج المثالي والشبكة المعدلة حقًا) مرتبطًا ارتباطًا رتيبًا قويًا (معامل سبيرمان $\rho \approx -0.83$ ) بدقة تنبؤ النموذج.
نتيجة سلبية: "الانفصال النظيف" (عتبة تميز بوضوح بين التكوينات المثالية وغير المثالية) الذي لوحظ في مجموعة فرعية من 14 تكوينًا لم يصمد عند اختباره على 25 تكوينًا إضافيًا. تخلص المؤلف إلى أنه بينما يحدد التفاعل الكمية الصحيحة للتتبع، فإن نظرية العتبة الرقمية العالمية لم تُثبت بعد من خلال هذه التجارب.

الأهمية والادعاءات

تدعي الورقة أنها وضعت أساسًا لـ "نظرية الكتلة الواحدة" مع التحقق الاصطناعي، مع ترك التوسعات في التفاعلات متعددة الطبقات والنماذج المدربة مسبقة التواجد لتحليل مرافق.

الآثار على التفسير الآلي: النتيجة السلبية للاستئصال لا تثبت عدم أهمية المكون، كما أن نتيجة الرقعة الإيجابية لا تثبت ضرورته. هذه التباينات هي سمات هيكلية للأكواد المتراكبة والمتكررة، وليست مجرد ضجيج قياس.
الدقة النظرية: توفر الورقة هويات دقيقة للأخطاء التي يسببها النموذج الإضافي المثالي، وتحديدًا حصر حد التفاعل لتركيبات الرأس والـ MLP. وتظهر أن فشل النموذج المثالي ليس ضجيجًا عشوائيًا بل هو تأثير متوقع من الدرجة الثانية.
التواضع بشأن العتبات: يذكر المؤلف صراحة أنه بينما تحدد النظرية الكمية الصحيحة (مقدار التفاعل) للتنبؤ بسلوك النموذج، إلا أنها لا توفر بعد عتبة معايرة تنتقل عبر الشبكات أو التكوينات. تكمن الأهمية في الفهم النوعي لـ متى و لماذا تتباين التدخلات، وليس في وضع قاعدة قرار ثنائية جديدة للتفسير.