🤖 machine learning

Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers

تقدم هذه الورقة منهجية غير خاضعة للإشراف مكونة من ثلاث خطوات لتحديد دوائر رؤوس الانتباه السببية في نماذج المحولات سابقة التدريب، مما يثبت أن نهجاً قائماً على الإشارة الطيفية ينجح في عزل دوائر الاستقراء الخاصة بالمهام عبر مختلف مقاييس النماذج، وبنياتها، ومسارات تدريبها.

المؤلفون الأصليون: Yongzhong Xu

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yongzhong Xu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مكتبة ضخمة من الكتب (شبكة عصبية) كانت تقرأ ملايين القصص لتتعلم كيف تتحدث. داخل هذه المكتبة، يوجد آلاف المساعدين الصغار (يُطلق عليهم "رؤوس الانتباه" - attention heads) الذين يقررون أي الكلمات يجب أن ينتبهوا إليها عند تكوين جملة.

تقدم هذه الورقة البحثية وصفة من ثلاث خطوات للعثور على مجموعة محددة من المساعدين المسؤولين عن خدعة معينة، مثل "الاستقراء" (Induction) (أي رصد نمط مثل "أ، ب... أ، ب" والتنبؤ بـ "ب" التالية). يريد المؤلفون معرفة: من هم المساعدون المحددون الذين يقومون بهذا العمل، وهل يمكننا إثبات ذلك؟

إليك الوصفة، مشروحة ببساطة:

الخطوة 1: "مقياس النشاط" (الإشارة الطيفية)

المشكلة: لا يمكنك مجرد النظر إلى المكتبة ومعرفة من يعمل. أنت بحاجة إلى طريقة لرصد المساعدين الذين يفكرون حقاً في محتوى القصة، بدلاً من مجرد التحديق بفراغ أو اتباع قاعدة جامدة.

الحل: ابتكر المؤلفون "مقياس نسبة المشاركة".

التشبيه: تخيل مساعداً يشير دائماً إلى نفس الرف، بغض النظر عن الكتاب الذي تسأله عنه. هذا ممل؛ فهو لا يفكر حقاً. الآن تخيل مساعداً ينظر إلى رف مختلف لكل كتاب تسأله عنه. هذا المساعد يعالج المحتوى بنشاط.
الأداة: يقيس المؤلفون مدى "انتشار" انتباه المساعد عبر الزمن. إذا كان انتباه المساعد يقفز إلى أماكن مختلفة كثيرة اعتماداً على القصة، فإن "ميتره" (مقيتره) يرتفع. يساعد هذا في العثور على المساعدين الذين يقومون بـ عمل متخصص دون الحاجة لمعرفة ما هو العمل المحدد الذي يقومون به بعد. الأمر يشبه العثور على أكثر العمال نشاطاً في مصنع بمجرد مراقبة مدى حركتهم.

الخطوة 2: شاشة "الوصف الوظيفي"

المشكلة: "مقياس النشاط" من الخطوة 1 يجد جميع العمال المشغولين. لكننا نريد العثين على العمال الذين يقومون بـ وظيفة واحدة محددة (مثل الاستقراء). قد يسلط المقيتر أعلى الضوء على عامل مشغول بالقيام بشيء آخر تماماً.

الحل: يطبقون "شاشة" لتصفية القائمة.

التشبيه: لديك قائمة بـ 100 عامل نشط. تسألهم: "من ينظر إلى الكلمة التي تسبق الكلمة الحالية مباشرة؟" (الرمز السابق) أو "من ينظر إلى النمط 'أ... أ'؟" (الاستقراء).
الأداة: يتحققون من أنماط الانتباه للعمال النشطين. إذا كان العامل ينظر إلى المكان الصحيح للمهمة المحددة (على سبيل المثال، ينظر إلى الـ "أ" الأولى عندما يرى الـ "أ" الثانية)، فإنه يحصل على "تذكرة" لدخول قائمة المرشحين. هذا يحول القائمة العامة لـ "العمال المشغولين" إلى قائمة محددة لـ "عمال الاستقراء".

الخطوة 3: "تمرين الإخلاء" (التحقق السببي)

المشكلة: مجرد كون العامل ينظر إلى المكان الصحيح لا يعني أنه هو من يتسبب في النتيجة. ربما هو يراقب فقط، بينما يقوم شخص آخر بالعمل الحقيقي.

الحل: يقومون بإجراء "تمرين إخلاء" (Ablation).

التشبيه: تخبر مجموعة محددة من "عمال الاستقراء" الذين تم تحديدهم في الخطوة 2 بالتوقف عن العمل (تقوم بتصفير مخرجاتهم).
- الاختبار: هل تتوقف المكتبة عن التنبؤ بالكلمة التالية بشكل صحيح؟
- الضبط: لكي تتأكد من أنك لا تكسر المكتبة فقط عبر طرد أشخاص عشوائيين، تقوم أيضاً بطرد مجموعة مختلفة من العمال من نفس القسم الذين لم يكونوا على قائمتك.
- النتيجة: إذا تعطلت المكتبة فقط عندما تطرد "عمال الاستقراء"، ولكنها استمرت في العمل بشكل جيد عندما طردت المجموعة العشوائية، فقد أثبتت أن مجموعتك المحددة هي التي كانت تقوم بالوظيفة.

ماذا وجدوا؟

الوصفة تعمل في كل مكان: اختبروا هذه الطريقة على نماذج تتراوح من صغيرة جداً (51 مليون معلمة) إلى كبيرة جداً (مليار معلمة). في كل نموذج، وجدوا فريقاً صغيراً مكوناً من 3 إلى 6 مساعدين مسؤولين عن خدعة الاستقراء.
إنها تنبؤية: استطاعوا العثى هذه الفرق المحددة أثناء عملية التدريب، قبل حتى أن ينتهي النموذج من العمل. "مقياس النشاط" أضاء للعمال المناسبين قبل أن يبدأ النموذج حتى في إتقان المهمة.
نسبة "المتخصصين" ثابتة: بغض النظر عن مدى كبر حجم المكتبة، فإن النسبة المئوية للمساعدين الذين يقومون بهذه الوظائف المتخصصة وعالية المستوى تظل ثابتة تقريباً (حوالي 17-19%). البقية يتعاملون مع الأمور العامة.
نماذج مختلفة، فرق مختلفة: على الرغم من أن الوظيفة (الاستقراء) هي نفسها، إلا أن نماذج مختلفة تستخدم فرقاً مختلفة من المساعدين للقيام بها. قد يستخدم نموذج ما عمالاً في الصفوف الأولى، بينما يستخدم نموذج آخر عمالاً في الصفوف الوسطى. لكن الوصفة تجد الفريق الصحيح لكل نموذج محدد.

الملخص

تقدم هذه الورقة طريقة موثوقة من ثلاث خطوات للعثيد "خلايا الدماغ" في الذكاء الاصطناعي التي تقوم بخدع محددة. هي لا تخمن فحسب؛ بل تجد العمال النشطين، وتفلترهم حسب الوصف الوظيفي، ثم تثبت أنهم ضروريون عبر إيقاف تشغيلهم ومراقبة ما الذي سيتعطل. إنها تظهر أنه حتى مع ازدياد ضخامة نماذج الذكاء الاصطناعي، تظل الفرق الأساسية التي تقوم بالعمل الذكي صغيرة ومتسقة.

ملخص تقني: المسبار الطيفي للدوائر (Spectral Probe-Circuits)

بيان المشكلة

تعتمد التفسيرية الآلية (Mechanistic interpretability) لنماذج المحولات (Transformers) سابقة التدريب عادةً على التحليل البعدي: تحديد دوائر رؤوس الانتباه بعد تدريب النموذج بالكامل عبر تعطيل (ablation) الرؤوس ومراقبة تدهور الأداء في مهمة محددة مسبقاً. سير العمل هذا مكلف حاسوبياً (يتطلب تمريرات أمامية لشبكات مدربة بالكامل لكل حالة) وهو تفاعلي بطبيعته، حيث يجب تحديد القدرة المستهدفة قبل بدء عملية البحث. علاوة على ذلك، غالباً ما تواجه الطرق الحالية صعوبة في التمييز بين الحوسبة العامة المعتمدة على المحتوى وبين الدوائر السببية الخاصة بمهمة معينة، لا سيما في النماذج الأكبر حيث تهيمن "بالوعات الانتباه" (attention sinks) -وهي الرؤوس التي تنتبه للرمز الأول- على المشهد.

المنهجية: وصفة من ثلاث خطوات

تقترح الورقة وصفة من ثلاث خطوات لتحديد دوائر رؤوس الانتباه تعمل لكل رأس على حدة، ولا تتطلب تسميات للمهام أو تدرجات انتساب (attribution gradients)، ويمكن تطبيقها أثناء التدريب أو على نقاط التحقق النهائية.

الخطوة 1: الإشارة الطيفية لكل رأس (المؤشر العام)

تحدد الخطوة الأولى الرؤوس التي تؤدي حوسبة مستدامة معتمدة على المحتوى باستخدام مقياس طيفي مشتق من نظرية المصفوفات العشوائية.

المقياس: لكل رأس عند كل نقطة تحقق تدريبية، يتم حساب نسبة المشاركة (Participation Ratio - PR) لمصفوفة مخرجات انتباه كل رأس. تقيس نسبة المشاركة الرتبة الفعالة (البعدية) لتوزيع المخرجات.
سمة المسار: تدمج الطريقة التطور الزمني لهذه الإشارة: $I(L, H) = \sum_t \max(PR(L, H, t) - 1, 0) \cdot \Delta \log(\text{tokens}_t)$ .
الوظيفة: يقوم هذا "التكامل لنسبة المشاركة" (PR-integral) بتصنيف الرؤوس التي تحافظ على رتبة فعالة عالية (تغطي اتجاهات عديدة) بمرور الوقت. يعمل كـمؤشر عام للتخصص، حيث يقوم بتصفية الرؤوس التي تنهار إلى حالات منخفضة الرتبة (غير معتمدة على المحتوى) أو تظل ضوضائية. ومن الأهمية بمكان أنه لا يميز ماذا يفعل الرأس، بل يشير فقط إلى أنه يقوم بحوسبة متخصصة.

الخطوة 2: شاشة نمط المهمة (المرشح الخاص بالمهمة)

يتم تخصيص الإشارة الطيفية العامة لمهمة مستهدفة عن طريق قياس أنماط الانتباه مقابل أهداف معيارية.

الآلية: تقوم "شاشة جميع الرؤوس" بقياس انتقائية كل رأس لأنماط انتباه محددة (مثل: الاستقراء/induction، الرمز السابق، الرمز المكرر، الرمز الأول/BOS، الذات، المحلي).
تعريف الانتقائية: الانتقائية هي نسبة الانتباه إلى المواقع المستهدفة مقابل خط أساس موحد.
العتبات: تُصنف الرؤوس إذا تجاوزت انتقائيتها عتبة معينة (على سبيل المثال، $\ge 30\times$ للتعيين/assignment، أو $\ge 50\times$ لعضوية دائرة الاستقراء).
الوظيفة: تحول هذه الخطوة إشارة "التخصص" العامة إلى دائرة مرشحة لقدرة معينة. وهي تعالج القصور في الخطوة 1، والتي في النماذج التي تهيمن عليها بالوعات الانتباه، قد تصنف الرؤوس العامة المعتمدة على المحتوى بشكل أعلى من الرؤوس الخاصة بالمهمة.

الخطوة 3: التحقق السببي (الادعاء القابل للتفنيد)

يتم التحقق من صحة الدوائر المرشحة عبر التعطيل الجماعي (group ablation) مع ضوابط صارمة لضمان أن التأثير سببي وليس ناتجاً عن تركيب الطبقات.

الإجراء: يتم تصفير شريحة الرأس لكل رأس في مسار المتبقي (residual stream) عند إسقاط مخرجات الانتباه.
الضوابط:
1. العشوائي المطابق (Matched-Random): تعطيل عدد متساوٍ من الرؤوس في نفس الطبقات التي لم يتم اختيارها بواسطة الشاشة. وهذا ينفي فرضية أن "تعطيل أي رؤوس في هذه الطبقات يسبب تدهوراً".
2. الحد الأعلى (Upper Bound): تعطيل جميع الرؤوس في الطبقات المختارة. وهذا يحدد أقصى تأثير ممكن لتلك الطبقة.
المعيار: تُعتبر الدائرة سببية إذا أنتجت الرؤوس المختارة عبر الشاشة تدهوراً أكبر بكثير من ضابط "العشوائي المطابق"، بينما يصل الحد الأعلى إلى الصفر تقريباً.

النتائج الرئيسية

1. التكرار عبر البنى والأنواع (Cross-Architecture and Cross-Scale Replication)

تم التحقق من صحة الوصفة عبر نطاق 8 أضعاف في المعلمات (من 51 مليون إلى 1 مليار نشط / 7 مليارات إجمالي) وثلاث عائلات معمارية (GPT-NeoX كثيف، Llama-style كثيف، و Llama-style MoE) تم تدريبها على مسارات بيانات مختلفة (TinyStories, FineWeb, Pile, DCLM).

دائرة الاستقراء (Induction Circuit): تم العثور على دائرة استقراء صغيرة (3–6 رؤوس) ضرورية سببياً لمهام الاستقراء الاصطناعية في كل نموذج تم اختباره.
التوسع دون الخطي (Sublinear Scaling): بينما تزداد أعداد الرؤوس الإجمالية خطياً مع حجم النموذج، يظل حجم دائرة الاستقراء دون خطي (3–11 رأساً)، مما يشير إلى أن القدرة المحددة لا تتوسع خطياً مع سعة النموذج.

2. الجزء المحفوظ من الرؤوس المتخصصة

عبر نطاق الحجم 8 أضعاف (124 مليون إلى 410 مليون)، يظل جزء الرؤوس التي تؤدي حوسبة متخصصة يمكن تحديدها ثابتاً عند ~17–19%.

تم استعادة هذا الجزء بشكل مستقل باستخدام طريقتين: (1) تصنيف أفضل $K$ من الاختيارات الطيفية إلى فئات القدرة، و (2) عد الرؤوس ذات انتقائية الاستقراء التي تتجاوز مستوى ضجيج التوزيع الصفري.
في نماذج فئة 1 مليار الأكبر، يختلف هذا الجزء بشكل أكبر (من 4.7% إلى 27.3%) ويرتبط بهيمنة جاذبات BOS (بالوعات الانتباه) بدلاً من حجم النموذج، مما يشير إلى أن الحفظ هو خاصية ضمن عائلات معمارية وبيانات محددة.

3. القوة التنبؤية وخصوصية البذرة (Seed Specificity)

خصوصية البذرة: في نموذج بـ 51 مليون معلمة تم تدريبه باستخدام ست بذور عشوائية مختلفة، حددت الوصفة دوائر متميزة وخاصة بكل بذرة لنفس المهمة. تعطيل الدائرة المحددة للبذرة (أ) لم يؤثر على نموذج البذرة (ب)، مما يؤكد أن الطريقة تجد التنفيذ الفعلي للنموذ وليس نمطاً عالمياً.
التوقيت التنبئي: ترتفع الإشارة الطيفية (الخطوة 1) قبل أن تتجاوز انتقائية القدرة عتبتها الوظيفية. يمكن للوصفة تحديد الدائرة باستخدام جزء صغير فقط (0.3–2%) من إجمالي رموز التدريب، وهو ما يسبق الظهور الكامل للقدرة.

4. المتانة تجاه تحولات البيانات

في نموذج تم تدريبه على FineWeb ثم استكمال التدريب على OpenWebText، ظلت دائرة الاستقراء المحددة عند نهاية FineWeb ثابتة (Jaccet Jaccard = 1.00) عبر تحول البيانات. حافظت الرؤوس على انتقائيتها ومسارات نسبة المشاركة الخاصة بها، مما يشير إلى أن الطريقة تحدد التخصص الهيكلي بدلاً من الإحصائيات الخاصة بالمجموعة النصية.

5. التبعيات التركيبية

نجحت الطريقة في تحديد دائرة "الرمز السابق" (8–9 رؤوس) وأثبتت دورها السببي في الاستقراء. تعطيل دائرة الرمز السابق دمر أداء الاستقراء، مما يؤكد الهيكل التركيبي القياسي حيث تبني رؤوس الرمز السابق نواقل المفتاح (key vectors) المستخدمة من قبل رؤوس الاستقراء.

الأهمية والادعاءات

تضع هذه الورقة نفسها كـ مرساة منهجية (methodology anchor) لبرنامج مكون من ثلاث أوراق بحثية. ادعاءاتها الأساسية متواضعة وتركز على صحة الوصفة نفسها:

الوصفة هي وصفة، وليست شاشة عالمية: يوضح المؤلفون صراحة أن الخطوة 1 (الإشارة الطيفية) هي مؤشر تخصيص عام، وليست كاشفاً خاصاً بالمهمة. الخطوة 2 (الشاشة) توفر خصوصية المهمة، والخطوة 3 (التعطيل) توفر القابلية للتفنيد السببي. الجمع بينهما هو ما يجعل الطريقة قوية.
الصياغة الأمينة للادعاءات السببية: تؤكد الورقة أن الفرق الناتج عن "العشوائي المطابق" هو ما يجعل الادعاء السببي أميناً. بدون هذا الضابط، لا يمكن التمييز بين دائرة محددة وتأثير عام للطبقة.
الأسبقية التنموية: تسبق الإشارة الطيفية ظهور انتقائية القدرة، مما يوفر نافذة محتملة لمراقبة تشكل الدوائر أثناء التدريب المسبق (كما هو مفصل في ورقة مصاحبة).
القيود: يشير المؤلفون إلى أنه بالنسبة للمهام المركبة (مثل تحديد الكائن غير المباشر)، قد ينفصل نمط الانتباه الأساسي عن البنية السببية للمهمة عبر عائلات النماذج المختلفة، مما يتطلب مجموعة أوسع من الشاشات المرشحة. بالإضافة إلى ذلك، تعتمد الطريقة على دفعات تقييم ثابتة، وقد تختلف رؤوس الدوائر المحددة عبر عمليات إعادة التدريب (رغم أن جزء الرؤوس المتخصصة يبدو مستقراً).

باخت-صار، توفر الورقة إطاراً قابلاً لإعادة الإنتاج وخالياً من التسميات لعزل دوائر رؤوس الانتباه الصغيرة والضرورية سببياً، مما يثبت أن جزءاً محفوظاً من سعة النموذج مخصص لحوسبة متخصصة تتوسع دون خطياً مع حجم النموذج.