🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

تقترح هذه الورقة إطار عمل لنظرية المجال ذات العمق المستمر، ينمذج رقع التنشيط في نماذج المحولات (Transformer) كإدراجات مصادر موضعية ويتنبأ بالتغيرات السلوكية اللاحقة عبر استجابات دالة "جرين" (Green-function)، مما يؤسس لغة رياضية من الحساسيات والمجالات المنتشرة لتنظيم واستنتاج التدخلات الميكانيكية.

المؤلفون الأصليون: David N. Olivieri, Antonio F. Pérez Rodríguez

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: David N. Olivieri, Antonio F. Pérez Rodríguez

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج "ترانسفورمر" (النوع الذي يقف خلف نماذج مثل GPT-2) ليس كمجموعة من الأكواد البرمجية، بل كـ نهر عظيم متدفق.

في هذا النهر:

العمق هو المسافة التي قطعها الماء في اتجاه مجرى النهر (من المنبع إلى المحيط).
الرموز (Tokens) (الكلمات في الجملة) تشبه قوارب مختلفة تطفو جنبًا إلى جنب في النهر.
مجرى المتبقي (Residual Stream) هو الماء نفسه، الذي يحمل كل المعلومات أثناء تدفقه من طبقة إلى أخرى في النموذج.

تقترح هذه الورقة البحثية طريقة جديدة لفهم كيف يمكننا "تعديل" أو "ترقيع" (patching) هذه النماذج الذكية لتغيير سلوكها. فبدلاً من مجرد التخمين حول الجزء الذي يجب إصلاحه في الكود، يعامل المؤلفون النموذج كأنه حقل فيزيائي حيث يمكننا التنبؤ بدقة بكيفية انتشار أي تغيير طفيف عبر النظام.

إليك تفصيل لأفكارهم باستخدام تشبيهات من الحياة اليومية:

1. "قطرة في البركة" (الترقيع كـ مصدر)

عادةً، عندما يريد الباحثون معرفة ما يفعله جزء معين من الذكاء الاصطناعي، فإنهم يقومون بعملية "ترقيع التنشيط" (activation patching). هذا يشبه أخذ لقطة ثابتة لعقل الذكاء الاصطناعي في لحظة معينة، واستبدالها بلقطة من سيناريو مختلف، ثم رؤية كيف يتغير الناتج.

يصف المؤلفون هذا بأنه إلقاء حجر في النهر.

الحجر: هو "الترقيع" (التغيير الذي تجريه).
التموج: هو الأثر الذي ينتقل لأسفل عبر بقية النموذج.
النظرية: يجادلون بأنه إذا كنت تعرف شكل النهر (بنية النموذج)، يمكنك التنبؤ بدقة بكيفية انتشار تلك الموجة، ومدى حجمها، وأي القوارب (الرموز) ستصطدم بها، دون الحاجة لإلقاء الحجر مليون مرة لمعرفة النتيجة.

2. "خريطة الحساسية" (التنبؤ بالأثر)

للتنبؤ بمكان ذهاب التموج، أنت بحاجة إلى خريطة. يقدم المؤلفون حقل الحساسية (Sensitivity Field).

فكر في هذا كخريطة طقس توضح سرعة الرياح. بعض البقاع في النهر حساسة للغاية (حجر صغير يخلق موجة ضخمة)؛ بينما أماكن أخرى هادئة (حجر بالكاد يسبب رذاذًا).
توضح الورقة أنه يمكنك حساب "خريطة الرياح" هذه لمرة واحدة. وبمجرد حصولك عليها، لن تحتاج لاختبار كل اتجاه ممكن لإلقاء الحجر فيه. يمكنك رياضياً التنبؤ: "إذا ألقيت حجراً هنا، في هذا الاتجاه، فإن الموجة ستضرب الإجابة بقوة كذا وكذا".
النتيجة: وجدوا أنه بالنسبة للتغييرات الصغيرة، يكون هذا التنبؤ دقيقاً للغاية. الأمر يشبه معرفة أن نسيمًا لطيفًا سيحرك ريشة، بينما إعصار سيقتلع شجرة.

3. "دالة غرين" (مُنتِج التموجات)

تستخدم الورقة مفهوم "دالة غرين" (Green Function). وببساطة، هذا هو "كتيب قواعد التموج".

يجيب على السؤال التالي: "إذا أحدثت اضطراباً في الماء عند النقطة (أ)، كيف سيتحرك الماء عند النقطة (ب)؟"
وجد المؤلفون أن هذه التموجات لا تنتقل للأسفل فقط؛ بل تنتشر جانبياً إلى الكلمات الأخرى (الرموز) وتنتقل لعمق أكبر في النموذج.
لقد اختبروا ذلك من خلال قياس كيفية تأثير تغيير في طبقة معينة على الطبقات البعيدة في مجرى النهر. ووجدوا أن "كتيب قواعد التموج" يعمل بشكل جيد، ولكن فقط إذا لم يكن التغيير ضخماً جداً. إذا ألقيت صخرة (تغييراً هائلاً)، سيصبح الماء فوضوياً وتنهار القواعد البسيطة. لكن بالنسبة للوخزات الصغيرة، تظل القواعد صامدة تماماً.

4. "الهندسة العكسية" (البحث عن الحجر المناسب)

عادةً ما يجرب الباحثون ترقيات عشوائية ليروا ما سيحدث. هذه الورقة تقلب الطاولة، حيث تقترح "مسألة عكسية" (Inverse Problem).

الهدف: "أريد من الذكاء الاصطناعي أن يقول 'باريس' بدلاً من 'لندن'".
الطريقة القديمة: تجربة كل طبقة وكل كلمة حتى يحالفك الحظ.
الطريقة الجديدة: استخدام "كتيب قواعد التموج" (دالة غرين) و"خريطة الحساسية" لحساب مكان وكيفية إلقاء الحجر بدقة لخلق تلك الموجة المحددة.
الأمر يشبه مهندس الصوت الذي يعرف بالضبط أي مقبض يجب تحريكه لضبط تردد معين في أغنية، بدلاً من تحريك كل المقابض بشكل عشوائي.

5. "الترجمة" بين النماذج (التوسع)

أخيراً، يقترح المؤلفون طريقة لنقل المعرفة من نموذج صغير إلى نموذج كبير.

تخيل أن لديك بركة صغيرة (نموذج ذكاء اصطناعي صغير) ومحيطاً شاسعاً (نموذج ذكاء اصطناعي ضخم).
إذا ألقيت حجراً في البركة الصغيرة وراقبت التموجات، يمكنك استخدام ذلك النمط لتخمين أين تلقي حجراً في المحيط للحصول على نتيجة مماثلة.
يسمون هذا "هندسة استجابة كامنة مشتركة" (shared latent response geometry). جوهر الأمر هو أن "فيزياء" تدفق المعلومات قد تكون هي نفسها في النماذج الصغيرة والكبيرة، ولكن بمقاييس مختلفة. وهذا قد يسمح لنا بمعرفة كيفية إصلاح نموذج عملاق من خلال دراسة نموذج صغير أولاً.

ملخص النتائج

اختبر المؤلفون هذه الأفكار على نماذج GPT-2 ووجدوا ما يلي:

التغييرات الصغيرة تسلك سلوكاً يمكن التنبؤ به: إذا وخزت النموذج بلطف، فإن الرياضيات تتنبأ بالنتيجة بدقة شبه تامة.
التموجات تنتشر: التغييرات لا تبقى موضعية؛ بل تنتقل عبر الطبقات وتؤثر على كلمات مختلفة بطرق منظمة.
توجد نقاط عالية الحساسية: عدد قليل جداً من "القطرات" المحددة في النهر هي التي تهم حقاً للوصول إلى الإجابة النهائية.
تغيير المطالبات (Prompts) هو مجرد تموجات: تغيير جملة المدخلات (مثلاً من "عاصمة إسبانيا" إلى "عاصمة فرنسا") يشبه رياضياً إلقاء حجر محدد في النهر. يتفاعل النموذج مع هذا "الإزاحة" بطريقة يمكن التنبؤ بها، مما يسمح لنا بتوجيه الإجابة.

باختصار: تقدم هذه الورقة "فيزياء للذكاء الاصطناعي" تحول عملية الترقيع القائمة على التجربة والخطأ إلى علم قابل للحساب والتنبؤ. وهي تشير إلى أنه يمكننا معاملة تدخلات الذكاء الاصطناعي كمسائل هندسية حيث يمكننا حساب القوة والموقع الدقيق المطلوبين للحصول على النتيجة المرغوبة.

ملخص تقني: نظرية الحقل ذات العمق المستمر لترقيع المحولات والتفسير الآلي

بيان المشكلة
يهدف التفسير الآلي إلى تحديد الدوائر الداخلية المسؤولة عن سلوك نماذج المحولات (Transformers) من خلال التدخل في التنشيطات (مثل ترقيع التنشيط، والتتبع السببي، وترقيع المسار). وبينما تنجح هذه الطرق في تحديد المواقع والاتجاهات ذات المعنى السلوكي، إلا أنها غالبًا ما تعتمد على الحصر الشامل للطبقات، والرموز (tokens)، والفضاءات الجزئية. تعالج هذه الورقة السؤال المكمل: هل يمكن تنظيم هذه التدخلات، والتنبؤ بها، وإعادة بنائها باستخدام إطار عمل نظرية حقل موحدة عبر العمق وموضع الرمز؟ يقترح المؤلفون معالجة التدفق المتبقي (residual stream) ليس كمتتالية منفصلة من الطبقات، بل كحقل مستمر، مما يسمح بصياغة عملية الترقيع (patching) كمسألة إدخال مصدر موضعي ضمن صياغة الاستجابة الخطية.

المنهجية
تطور الورقة نظرية حقل ذات عمق مستمر حيث يتم نمذجة التدفق المتبقي للمحول $R(t, x)$ كحقل فوق شبكة (lattice) من العمق والرمز. هنا، يتم تعيين مؤشر الطبقة $\ell$ لإحداثي العمق $t \in [0, T]$ ، ويتم تعيين مؤشر الرمز لإحداثي مكاني $x$ .

الصياغة القائمة على نظرية الحقل:
- الترقيع كإدخال مصدر: يتم نمذجة ترقيع التنشيط كمصطلح مصدر موضعي $J(t, x)$ يُضاف إلى معادلة تطور العمق: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- كائنات الاستجابة: يحدد الإطار كائنين أساسيين للاستجابة:
  - حقل الحساسية ( $a(t, x)$ ): المشتق الوظيفي لملاحظة $y$ (مثل فرق اللوغاريتم) بالنسبة للتدفق المتبقي، $a(t, x) = \delta y / \delta R(t, x)$ . وهذا يتنبأ بتأثير الترقيع.

دالة غرين (Green Function) ( $G(t, x; t', x')$ ): دالة استجابة ثنائية النقاط $\delta R(t, x) / \delta R(t', x')$ $δ R (t, x) / δ R (t^{'}, x^{'})$ ، والتي تصف كيفية انتشار الاضطراب عند $(t', x')$ $(t^{'}, x^{'})$ إلى $(t, x)$ $(t, x)$ .
- الاستجابة الخطية: في نظام خطي محلي، يتم تقريب التغير في الملاحظة بـ $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ .
- الاستدلال بالترقيع (استدلال الموقع): يعيد الإطار صياغة استدلال موقع الترقيع كمسألة تحسين مقيدة. بالنظر إلى تحول سلوكي مرغوب، يتم البحث عن مصدر متفرق $J$ يحقق المعادلة التكاملية $\Delta R_{target} \approx \int G J$ . يتم حل ذلك باستخدام مبدأ الفعل مع حقل مُلحق (adjoint field/costate) $\lambda(t, x)$ ، والذي يتوافق مع حقل الحساسية.

التحقق التجريبي:
تم اختبار النظرية على نماذج محولات توليدية من نوع GPT-2 باستخدام تدخلات التدفق المتبقي المنفصلة. تقيس التجارب ما يلي:
- الخطية المحلية والتراكب: التحقق من أن الاضطرابات الصغيرة تظهر توسعًا خطيًا وأن آثار التدخلات المشتركة تُجمع خطيًا.
- التنبؤ بالحساسية: مقارنة آثار الترقيع المقاسة مقابل التنبؤات المستمدة من الحساسيات من الدرجة الأولى (تدرجات autograd).
- انتشار التدفق المتبقي: قياس التدفق المتبقي اللاحق $\delta R$ الناجم عن ترقيع موضعي لتوصيف "استجابة غرين".
- التركيب: اختبار ما إذا كان الانتشار عبر طبقة وسيطة يقترب من حاصل ضرب مؤثرات غرين ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ).
- التمثيلات المختزلة: تحليل مؤثرات غرين "المقطوعة" (sliced Green operators) (الانتشار على مستوى المكونات بين مواقع ثابتة) ودرجات موقع الحساسية لتقليل الأبعاد.
- إزاحات المطالبات (Prompt Displacements): معالجة الفرق بين مطالبتين كمصدر موضعي لاختبار ما إذا كان يعمل كاتجاه تحويل.

المساهمات الرئيسية

إطار عمل نظري للحقول: تؤسس الورقة لصياغة يُنظر فيها إلى الترقيع كإدخال مصدر موضعي، والنسب كتنبؤ بحقل الحساسية، والانتشار كاستجابة دالة غرين تجريبية.
صياغة الاستدلال بالمجاور (Adjoint Inference): تصيغ عملية استدلال موقع الترقيع كمسألة عكسية قابلة للحل عبر مبدأ مجاور متغير، متجاوزةً مجرد الحصر البسيط إلى مسألة إعادة بناء مقيدة.
نظام الاستجابة الخطية التجريبي: يحدد المؤلفون نظامًا خطيًا محددًا في نماذج GPT-2 حيث تتنبأ حساسيات الدرجة الأولى بدقة بآثار الترقيع ويتحقق فيه التراكب.
الانتشار المهيكل: تظهر التجارب أن اضطرابات التدفق المتبقي تنتشر بطريقة مهيكلة وغير متناحية عبر العمق وموضع الرمز، وتُظهر خصائص تركيبية تقريبية تتوافق مع النظرية الخطية.
الأوصاف المختزلة: توضح الورقة أن المواقع عالية الحساسية ومؤثرات غرين المقطوعة توفر أوصافًا قابلة للتتبع ومنخفضة الأبعاد لفضاء استجابة التدفق المتبقي عالي الأبعاد.
فرضية القياس (Scaling Hypothesis): يتم تقديم مقترح نظري حول ما إذا كانت هندسة الاستجابة (بصمات دالة غرين) قد تكون مشتركة عبر مقاييس النماذج. يشير هذا إلى أن معلومات الاستجابة من نموذج أصغر يمكن أن تحدد خرائط مرشحة لمواقع الترقيع في نموذج أكبر، بشرط استخدام ركائز محلية.

النتائج

الخطية: تظهر الاضطرابات المحلية نظامًا خطيًا محدودًا حيث تظل أخطاء اللاخطية والتراكب منخفضة (أقل من 20% في النطاقات المختبرة) للقيم المتوسطة.
دقة التنبؤ: تنجح حساسيات autograd ( $a(t, x)$ ) في التنبؤ بآثار الترقيع القياسية المقاسة عبر مواقع واتجاهات مختلفة للتدفق المتبقي، مما يؤكد صحة التقريب من الدرجة الأولى.
هيكل الانتشار: تولد التدخلات الموضعية حقول استجابة لاحقة مهيكلة وتنتشر بشكل غير متناحٍ. يؤكد اختبار التركيب أن الحقول المتبقية الوسيطة تحتفظ بمعلومات كافية لإعادة إنتاج الاستجابات اللاحقة ضمن النظام الاضطرابي.

تركيز المواقع: درجات الحساسية ( $\|a(t, x)\|$ ) غير منتظمة للغاية، حيث تتركز في مجموعة صغيرة من مواقع الطبقة والرمز، مما يسمح بتقليص مساحة البحث عن التدخل.
إزاحة المطالبة: تعمل الفروق بين المطالبات كاتجاهات تحويل محلية. يتم التنبؤ بآثارها بواسطة الحساسيات السببية، وهي أكثر فعالية في الطبقات المتأخرة، ويمكنها بنجاح تغيير ترتيب الإجابات المستهدفة في المفردات.

الأهمية والادعاءات
تدعي الورقة أنها توفر "لغة عملية" لتنظيم تجارب الترقيع، مما ينقل النموذج من مجرد حصر التدخلات إلى تقدير كميات الاستجابة (الحساسيات والنواة). ومن خلال تأسيس أساس الاستجابة الخطية تجريبيًا، تجعل هذه الدراسة عملية إعادة بناء الآليات الداخلية مسألة جيدة التحديد رياضيًا: تعمل دالة غرين كمؤثر أمامي لمسألة عكسية تحدد مواقع واتجاهات الترقيع.

يصيغ المؤلفون فرضية القياس بتواضع كدافع للعمل المستقبلي بدلاً من كونها نتيجة مثبتة، مشيرين إلى أنها تعتمد على "فرضية الاستجابة الكامنة المشتركة" وتتطلب ركائز محلية (أوزان، تنشيطات، أو ترقيعات متفرقة) لتكون قابلة للتطبيق. المساهمة الأساسية هي توحيد أدوات التفسير الآلي (الترقيع، التتبع، التوجيه) تحت نظرية حقل واحدة ذات عمق مستمر، مما يوفر مسارًا مبدئيًا من القياس إلى الاستدلال، وربما الانتقال عبر مقاييس النماذج.