🤖 machine learning

Dual Path Attribution: Efficient Attribution for SwiGLU-Transformers through Layer-Wise Target Propagation

تقدم هذه الورقة البحثية "العزو ثنائي المسار" (DPA)، وهو إطار عمل فعال وأمين يتتبع تدفق المعلومات في نماذج المحولات القائمة على SwiGLU من خلال تمريرة أمامية وعكسية واحدة بتعقيد $O(1)$ ، محققاً أداءً هو الأفضل حالياً في معايير التفسير دون الحاجة إلى أمثلة مضادة للواقع.

المؤلفون الأصليون: Lasse Marten Jantsch, Dong-Jae Koh, Seonghyeon Lee, Young-Kyoon Suh

نُشر 2026-03-23

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lasse Marten Jantsch, Dong-Jae Koh, Seonghyeon Lee, Young-Kyoon Suh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً آلياً عملاقاً وذكياً للغاية (نموذج لغوي كبير) يمكنه كتابة الوصفات، أو إلقاء النكات، أو حل المسائل الرياضية. تسأله: "لماذا قررت إضافة الملح إلى هذا الحساء؟"

يقول الروبوت: "لأنني قرأت طلبك". لكنك تعلم أن هذه ليست القصة بأكملها. ربما كانت كلمة "حساء" هي التي حفزت إضافة الملح، أو ربما كانت كلمة "بارد" هي التي جعلته يفكر في تسخينه. أو ربما قرر ترس معين في دماغ الروبوت أن الملح هو الإجابة.

المشكلة:
في الوقت الحالي، معرفة أي التروس والكلمات تسببت بالضبط في قول الروبوت "ملح" يشبه محاولة إصلاح ساعة من خلال تفكيكها، قطعة قطعة، واختبار كل ترس صغير على حدة. إذا كانت الساعة تحتوي على مليون ترس (كما هو الحال في نماذج الذكاء الاصطناعي الحديثة)، فستضطر لتشغيل الساعة مليون مرة فقط لترى أي ترس منها هو المهم. هذا الأمر بطيء، ومكلف، وغالباً ما يؤدي إلى كسر الساعة أثناء العملية.

الحل: الإسناد ثنائي المسار (DPA)
يقدم هذا البحث طريقة جديدة وسريعة للغاية لتتبع أفكار الروبوت. يطلق عليها المؤلفون اسم الإسناد ثنائي المسار (Dual Path Attribution - DPA).

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. تشبيه "المحقق العكسي"

تخيل أنك محقق تحاول معرفة من سرق قطعة البسكويت.

الطريقة القديمة (المسار الأمامي): تسأل كل شخص في المبنى: "هل سرقت البسكويت؟". عليك مقابلة 1000 شخص واحداً تلو الآخر. هذا يستغرق وقتاً طويلاً جداً.
طريقة DPA (المسار الخلفي): بدلاً من سؤال الجميع، تبدأ من مسرح الجريمة (البسكويت مفقود). تسأل: "من كان لديه الفرصة؟". ثم تتتبع تلك الفرصة للخلف عبر كاميرات المراقبة الخاصة بالمبنى. تتبع مسار "البسكويت المفقود" إلى الوراء حتى تجد الشخص الذي أخذه بالضبط. أنت تحتاج فقط للمشي في المسار مرة واحدة، ولكن في الاتجاه المعاكس.

تقوم DPA بالضبط بهذا مع الذكاء الاصطناعي. فبدلاً من تشغيل النموذج للأمام لكل جزء لمعرفة ما يفعله، تأخذ الإجابة النهائية ("البسكويت") وتمررها للخلف عبر دماغ النموذج مرة واحدة فقط.

2. تشبيه "الطريق السريع ذو المسارين"

يركز البحث على نوع معين من أدمغة الذكاء الاصطناعي يسمى SwiGLU. أدرك المؤلفون أنه داخل هذه الأدمغة، تنتقل المعلومات عبر مسارين متميزين:

المسار (أ): مسار المحتوى (الـ "ماذا"): هذا المسار يحمل المعلومات الفعلية، مثل كلمات "ملح"، "حساء"، و"بارد". إنه يشبه شاحنات البضائع التي تحمل السلع.
المسار (ب): مسار التحكم (الـ "كيف"): هذا المسار يحمل التعليمات حول كيفية التعامل مع تلك المعلومات. إنه يشبه إشارات المرور، ونظام تحديد المواقع (GPS)، والحراس الذين يقررون أي الشاحنات تذهب إلى أين.

الخدعة السحرية:
حاولت الطرق السابقة النظر إلى الطريق السريع بالكامل دفعة واحدة، مما جعله أمراً فوضوياً وبطيئاً. تقوم DPA بفصل هذين المسارين. فهي تتبع "المحتوى" و"التحكم" بشكل منفصل أثناء حركتها نحو الخلف.

تسأل: "إلى أي مدى ساهمت كلمة 'ملح'؟" (مسار المحتوى).
تسأل: "إلى أي مدى ساهم القرار بالتركيز على 'الملح'؟" (مسار التحكم).

من خلال تقسيم المهمة، تستطيع DPA حساب أهمية كل جزء في دماغ الذكاء الاصطناعي في جزء من الثانية، دون الحاجة لتشغيل المحاكاة بالكامل مراراً وتكراراً.

3. لماذا يهم هذا؟

السرعة: إذا كانت الطريقة القديمة تستغرق ساعة لشرح جملة واحدة، فإن DPA تستغرق حوالي دقيقتين. إنها أسرع بـ 40 مرة!
الدقة: لأنها تنظر إلى مساري "التحكم" و"المحتوى" بشكل منفصل، فهي لا ترتبك. يمكنها إخبارك بالضبط أي "عصبون" داخلي (جزء صغير من دماغ الذكاء الاصطناعي) كان مسؤولاً عن قرار معين.
الموثوقية: يساعدنا هذا في الوثوق بالذكاء الاصطناعي. إذا عرفنا لماذا اتخذ الذكاء الاصطناعي قراراً ما، يمكننا إصلاحه إذا كان خاطئاً، أو فهم ما إذا كان متحيزاً.

الخلاصة

فكر في الإسناد ثنائي المسار (DPA) كزر "إرجاع سريع" عالي التقنية للذكاء الاصطناعي. بدلاً من محاولة فهم آلة معقدة عبر تشغيلها مليون مرة، تسمح لنا هذه الطريقة بتتبع مسار فكرة واحدة إلى الوراء، وفصل الـ "ماذا" عن الـ "كيف"، لكشف كيفية تفكير الآلة بالضبط. إنها أسرع، وأذكى، وتمنحنا خريطة واضحة لاستدلال الذكاء الاصطناعي الداخلي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "النسب الثنائي المسار: عزّو فعال لنموذج SwiGLU-Transformer عبر انتشار الهدف عبر الطبقات."

1. بيان المشكلة

إن فهم الآليات الداخلية للنماذج اللغوية الكبيرة (LLMs) أمر بالغ الأهمية للنشر الموثوق. ويتمثل التحدي المركزي في التفسير الآلي (mechanistic interpretability) في النسب (attribution): أي تحديد الرموز المدخلة (tokens) أو مكونات النموذج الداخلية (مثل رؤوس الانتباه، أو الخلايا العصبية) المسؤولة سببياً عن تنبؤ معين.

تواجه الطرق الحالية مقايضة بين الأمانة (faithfulness) (الدقة في تحديد الآليات السببية) والكفاءة الحسابية:

الطرق القائمة على التدرج (Gradient-based methods) (مثل Integrated Gradients) فعالة ولكنها تعاني من تشبع التدرج والضجيج.
الطرق القائمة على التفكيك (Decomposition-based methods) (مثل DePass) توفر أمانة أفضل ولكنها غالباً ما تتطلب عمليات تمرير أمامي متعددة أو تقريبات معقدة.
طرق التدخل السببي (Causal intervention methods) (مثل Activation Patching) تتسم بأمانة عالية جداً ولكنها مكلفة حسابياً لعمليات النسب الكثيفة، حيث تتطلب عملية تمرير أمامي منفصلة لكل مكون أو تفاعل، مما يجعلها تتوسع خطياً ( $O(M)$ ) مع عدد المكونات $M$ .

تعالج هذه الورقة الحاجة إلى طريقة تحقق أعلى مستويات الأمانة مع تعقيد زمني ثابت ( $O(1)$ ) فيما يتعلق بعدد المكونات، دون الحاجة إلى أمثلة مضادة للواقع (counterfactual examples).

2. المنهجية: النسب ثنائي المسار (DPA)

إن DPA هو إطار عمل قائم على التفكيك مصمم خصيصاً لنماذج SwiGLU-Transformers (البنية المستخدمة في Llama، وMistral، وQwen، إلخ). وهو يعمل من خلال تفكيك الرسم البياني الحسابي تحليلياً إلى مسارات متميزة ونشر متجه هدف (target vector) إلى الخلف عبر النموذج المجمد.

المفهوم الجوهري: انتشار الهدف (Target Propagation)

بدلاً من تمرير كل مكون مدخل للأمام لمعرفة تأثيره، يقوم DPA بنشر متجه الهدف الخاص بالرمز المستهدف إلى الخلف من طبقة المخرجات وصولاً إلى المدخلات.

التمرير الأمامي (Forward Pass): يعالج النموذج المدخلات مرة واحدة، مع تخزين جميع التنشيطات اللازمة (أوزان الانتباه، قيم البوابة، المدخلات المعيرة).
**التمرير الخلفي (Backward Pass): يتم نشر متجه الهدف بشكل تكراري عبر الطبقات. عند كل موضع متبقٍ (residual position)، يتم حساب "هدف فعال"، يمثل المساهمة المطلوبة من تلك الطبقة لإنتاج المخرج النهائي.

التفكيك ثنائي المسار

يكمن الابتكار الرئيسي في كيفية تعامل DPA مع اللاخطيات في SwiGLU وMulti-Head Self-Attention (MHSA) من خلال خطية (linearization) هذه العمليات إلى مسارين متميزين:

أ. تفكيك SwiGLU (التغذية الأمامية)
يتم تقسيم تحويل GLU إلى:

مسار المحتوى (Content Pathway - Up/Value): ينشر التمثيل عبر عمليات الإسقاط (value و up-projections). يُعامل هذا المسار كعملية خطية نظراً لتجمد التنشيطات.
مسار التحكم (Control Pathway - Gate): يتحكم في التوجيه والتحويل عبر درجات البوابة (gate scores). نظراً لخاصية SiLU غير الخطية، يتم خطية هذا المسار باستخدام تقريب تايلور من الدرجة الأولى (نسبة التنشيط إلى ما قبل التنشيط).
الآلية: الهدف الخلفي هو مجموع مرجح للتدرجات المتدفقة عبر هذين المسارين.

ب. تفكيك MHSA (الانتباه)
يتم تفكيك آلية الانتباه إلى:

مسار القيمة (Value Path): انتشار خطي لمتجهات القيمة الموزونة بأوزان الانتباه.
مسارات الاستعلام/المفتاح (Query/Key Paths - Control): تتضمن هذه المسارات عملية softmax. يستخدم DPA تفكيكاً قائماً على تايلور لعملية softmax لتتبع التدرجات عبر تفاعلات الاستعلام والمفتاح، مما يلتقط كيف تؤثر منطق "التوجيه" (أوزان الانتمام) على الهدف.
الآلية: يتم توزيع الهدف عبر مسارات الاستعلام (Query)، والمفتاح (Key)، والقيمة (Value) باستخدام معاملات وزن ( $\mu_Q, \mu_K, \mu_V$ ).

ميزة التعقيد

لأن DPA ينشر متجهاً هدفياً واحداً فعالاً إلى الخلف ويحسب درجات النسب عبر حاصل الضرب النقطي مع التنشيطات المخزنة، فإنه يتطلب صفر من عمليات التمرير الأمامي الإضافية بغض النظر عن عدد المكونات التي يتم تحليلها.

التعقيد الزمني: $O(1)$ بالنسبة لعدد المكونات $M$ .
على النقيض: يتطلب Activation Patching عمليات تمرير أمامي بمقدار $O(M)$ .

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم "النسب ثنائي المسار" (DPA)، وهي طريقة تحقق نسباً أميناً في تمرير أمامي واحد وتمرير خلفي واحد دون الحاجة لأمثلة مضادة للواقع.
التفكيك النظري: اشتقاق تحليلي يوضح أن نماذج SwiGLU Transformers يمكن تفكيكها إلى مسارات محتوى وتحكم منفصلة، مما يسمح بخطية التفاعلات ثنائية الخطية.
টি
الكفاءة: إثبات التوسع بمقدار $O(1)$ للنسب الكثيف للمكونات، مما يجعل من الممكن تحليل ملايين المعلمات (مثل جميع الخلايا العصبية في نموذج بـ 7 مليار معلمة) في ثوانٍ بدلاً من ساعات.
التحقق التجريبي: تجارب واسعة النطاق تظهر تفوق DPA على النماذج المرجعية (baselines) في كل من نسبة الرموز المدخلة ونسبة المكونات (الخلايا العصبية/الرؤوس).

4. النتائج التجريبية

قيم المؤلفون DPA على نماذج Llama-3.1-8B، وLlama-2-7B، وQwen3-4B، وQwen2.5-32B، وMistral-7B عبر ثلاثة مجموعات بيانات:

Known 1000: إكمال المعرفة الواقعية.
SQuAD v2.0: فهم القراءة.
IMDb: تحليل المشاعر.
IOI (Indirect Object Identification): معيار اكتشاف الدوائر (circuit discovery).

النتائج الرئيسية:

الأمانة (Faithfulness): حقق DPA باستمرار أعلى درجات "الأمانة الإجمالية" (مجموع الاضطراب والاستعادة) عبر جميع النماذج ومجموعات البيانات. وقد تفوق بشكل كبير على الطرق القائمة على التدرج (Integrated Gradients) ونماذج التفكيك المرجعية (DePass).
تحديد المكونات (Component Localization): في مهمة IOI، نجح DPA في عزل الدائرة المحددة المسؤلة عن تحديد الكائن غير المباشر، محققاً اضطراباً يقترب من الصفر واستعادة عالية. لقد حدد الآليات السببية في مرحلة مبكرة (بعدد أقل من المكونات التي تم استئصالها) مقارنة بالنماذج المرجعية.
الكفاءة:
- في مجموعة بيانات SQuAD v2.0 مع نموذج Llama-3.1-8B، أتم DPA عملية النسب في ~129 ثانية.
- تطلبت النماذج المرجعية (Activation Patching وDePass) حوالي ~1.5 ساعة (~5400 ثانية) لنفس المهمة.
- يمثل هذا تسريعاً بمقدار ~40 ضعفاً مع الحفاظ على بصمة ذاكرة مماثلة.
الحساسية: الطريقة قوية تجاه تغيرات المعلمات الفائقة ( $\mu$ )، وإن كان الأداء الأمثل للنسب على مستوى المكونات يعتمد بشدة على موازنة مسارات التحكم (التوجيه) والمحتوى.

5. الأهمية والقيود

الأهمية:

القابلية للتوسع: يزيل DPA الاختناق الحسابي للنسب الكثيف، مما يمكن الباحثين من رسم خرائط للاستدلال الداخلي للنماذج الكبيرة على مستوى الخلايا العصبية والرؤوس الفردية في الوقت الفعلي.
الرؤية الميكانيكية: من خلال الفصل بين "المحتوى" (ما يتم معالجته) و"التحكم" (كيف يتم توجيهه)، يوفر DPA رؤية أكثر دقة لميكانيكا Transformer مقارنة بالتقريبات الخطية القياسية.
العملية: الطريقة جاهزة للنشر في تحليل النماذج الضخمة حيث يكون الاستئصال الشامل (exhaustive patching) مستحيلاً.

القيود:

خصوصية البنية: الاشتقاق الرياضي الحالي مُحسّن لنماذج SwiGLU الكثيفة. يتطلب تكييفه مع نماذج Mixture-of-Experts (MoE) أو نماذج State Space Models (مثل Mamba) اشتقاق دوال عكسية جديدة يدوياً.
خطأ التقريب: تعتمد الطريقة على الخطية من الدرجة الأولى. قد تفقد الدقة في المناطق ذات الانحناء العالي أو حيث تتفاعل المكونات عبر تآزرات غير خطية شديدة الاقتران (تأثيرات الدرجة الثانية).
اللوجيت مقابل الاحتمال (Logit vs. Probability): يتتبع DPA النسب إلى "لوجيت" الهدف، وليس إلى الاحتمال النهائي بعد الـ softmax. قد يغفل عن التأثيرات غير المباشرة حيث تزدزد احتمالية رمز ما بسبب تثبيط اللوجيتات المنافسة.

الخاتمة

يمثل "النسب ثنائي المسار" (DPA) قفزة نوعية في التفسير الآلي. فمن خلال الاستفيد من البنية ثنائية الخطية لـ SwiGLU transformers، فإنه يجسّر الفجوة بين الأمانة العالية للتدخلات السببية وكفاءة الطرق القائمة على التدرج، مما يوفر أداة قابلة للتوسع لفهم "الصندوق الأسود" للنماذج اللغوية الكبيرة الحديثة.