ملخص تقني: تقسيم النماذج المثالِيّة (Exemplar Partitioning) لقابلية التفسير الآلية

بيان المشكلة

تسعى قابلية التفسير الآلية (Mechanistic Interpretability) إلى الهندسة العكسية للشبكات العصبية وتحويلها إلى خوارزميات قابلة للقراءة من قِبل البشر. تواجه الأساليب الحالية قيودًا متميزة:

• تحليل الدوائر (Circuit Analysis): يعزل المخططات الفرعية الخاصة بمهمة معينة، لكنه يفشل في إنتاج جرد شامل للميزات على مستوى النموذج بأكمله.
• الاستقصاء الخاضع للإشراف (Supervised Probing): يقتصر على اختبار المفاهيم التي يعرف الباحثون بالفعل ما يجب البحث عنه.
• المشفّرات ذاتية الترميز المتفرقة (Sparse Autoencoders - SAEs): هي النهج غير الخاضع للإشراف المهيمن، حيث تتعلم هذه المشفّرات قاموسًا ثابت الحجم عبر تحسين هدف إعادة البناء الذي يجمع بين التفرق، وإعادة البناء، وحجم القاموس. عملية التدريب هذه مكلفة حاسوبيًا (تتطلب مليارات الرموز/Tokens) وتفرض التزامات (مثل حجم القاموس الثابت، وتعلم الأساس الخطي) قد تحجب الخصائص الجوهرية لهندسة تنشيط النموذج.

السؤال المركزي المطروح هو: ما مقدار هيكل الميزات الذي تكشفه المشفّرات (SAEs) والناتج عن هدف التدريب نفسه، مقابل ما هو موجود بالفعل في هندسة تنشيط النموذج ويمكن الوصول إليه عبر بناء مباشر أكثر وغير متعلم؟

المنهجية: تقسيم النماذج المثالِيّة (Exemplar Partitioning - EP)

تقسيم النماذج المثالِيّة هو أسلوب غير خاضع للإشراف لبناء قواميس ميزات قابلة للتفسير من تنشيطات النماذج اللغوية الكبيرة (LLMs) دون الحاجة للتدريب. وهو يعامل القاموس كـ تقسيم فورونوي (Voronoi partition) لفضاء التنشيط، ويُبنى عبر تجميع القائد (Leader Clustering) خلال تمريرة تدفق واحدة.

البناء الجوهري

1. تجميع القائد بالتدفق (Streaming Leader Clustering): بدلاً من حساب متوسط التنشيطات لتكوين مراكز (والتي قد تؤدي إلى اتجاهات غير متماسكة وتسبب عدم استقرار في التجميع)، يستخدم EP نماذج مثالِيّة (Exemplars) ثابتة. النموذج المثالي هو تنشيط حقيقي مرصود من تدفق البيانات.
   • عند وصول تنشيط جديد، يتم توسيطه وتطبيقه (Normalization).
   • إذا كانت المسافة بينه وبين أقرب نموذج مثالي موجود أقل من عتبة معينة، فإنه ينضم إلى تلك المنطقة.
   • إذا تجاوزت المسافة هذه العتبة، يصبح نموذجًا مثاليًا جديدًا، مما يضع بذور منطقة جديدة.
2. المعايرة والعتبة (Calibration and Thresholding): عتبة المسافة $\theta_p$ ليست قيمة مطلقة، بل هي المئوية رقم $p$ للمسافات الزوجية المحسوبة على دفعة معايرة صغيرة. يسمح هذا بضبط دقة القاموس (النسبة $p$ الأصغر تعني دقة أدق؛ والنسبة $p$ الأكبر تعني دقة أخشن) مع بقائه قابلًا للمقارنة عبر الطبقات والنماذج.
3. معيار التشبع (Saturation Criterion): ينمو القاموس حتى تمر "نافذة تشبع" دون ظهور نماذج مثالِيّة جديدة. وهذا يعني أن حجم القاموس ليس محددًا مسبقًا، بل يتم تحديده بواسطة هندسة التنشيط عند الدقة المختارة.
4. الاستدلال (Inference): يتم تعيين التنشيطات الجديدة لأقرب نموذج مثالي لها. يكون القاموس بطبيعته متفرقًا بنسبة 1 (One-hot)، ولكن يمكن توسيعه ليكون $n$-sparse أو كثيفًا بناءً على المسافات.

الخصائص الرئيسية

• القابلية للملاحظة (Observability): بما أن المناطق مثبتة بنماذج مثالِيّة مرصودة بدلاً من الأوزان المتعلمة، فإن القواميس المبنية من نفس تدفق البيانات تكون قابلة للمقارنة مباشرة عبر الطبقات، والنماذج، ونقاط التحقق من التدريب عبر مطابقة النماذج المثالِيّة.
• مقياس الاستقرار (Stability Metric): يقدم البحث إحصائية $D_i = \log_{10}(N_i c_i^2)$ (حيث $N_i$ هو عدد الأعضاء و $c_i$ هو تماسك الأعضاء) للتنبؤ باستقرار المنطقة عبر اختلاف البذور (cross-seed stability). المناطق ذات $D_i$ العالية هي الأكثر عرضة لتكرار نفسها عبر ترتيبات التدفق المختلفة.

المساهمات والنتائج الرئيسية

1. الكفاءة والقابلية للتوسع

يبني EP قواميس باستخدام أقل بـ $\sim 10^3\times$ من الرموز (Tokens) مقارنة بالمشفّرات (SAEs) المماثلة.

• تكلفة البناء: قاموس $p1$ لنموذج Gemma-2-2B يُبنى في دقائق على وحدة معالجة رسومية واحدة باستخدام $\sim 3.6 \times 10^6$ رمز، بينما تتطلب المشفّرات (SAEs) المماثلة التدريب على مليارات الرموز.
• لا يوجد انتشار عكسي (No Backpropagation): لا تتطلب الطريقة أي عمليات انتشار عكسي.

2. التفسير والتدخل السببي

• الاستئصال السببي (Causal Ablation): يتركز سلوك الرفض في Gemma-2-2B-it في منطقة محددة من EP. يؤدي استئصال اتجاه النموذج المثالي (أول تنشيط وصل) لهذه المنطقة إلى انهيار سلوك الرفض في البيانات المحجوزة بمقدار يصل إلى $\Delta = -0.96$. يوضح هذا أن "اتجاه الرفض" هو محور دقيق تلتقطه نسخة واحدة من النماذج المثالية، وهو أكثر فعالية للتدخل من متوسط اتجاه المنطقة.
• المطابقة عبر نقاط التحقق (Cross-Checkpoint Matching): تكشف مطابقة قواميس النموذج الأساسي والنموذج المضبوط للتعليمات أن ضبط التعليمات يعيد بشكل أساسي توجيه الهيكل الاتجاهي للنموذج، مع الحفاظ فقط على مجموعة فرعية عالمية صغيرة. كما يظهر أن اتجاه الرفض في النموذج المضبط تم تعزيزه من اتجاه محتوى ضار كان موجودًا داخل السياق في النموذج الأساسي.

3. أداء المعايير المرجعية (Benchmark Performance)

• AxBench (كشف المفاهيم): في Gemma-2-2B-it L20، يحقق قاموس EP عند الدقة $p=1$ متوسط AUROC يبلغ 0.881 عبر 500 مفهوم كامن.
  • هذا أعلى بـ +0.126 من مدخل GemmaScope SAE القياسي (0.755).
  • وهو ضمن نطاق 0.030 من أقوى خط أساس (SAE-A بواقع 0.911)، رغم استخدام مجموعة مرشحة أصغر وحوسبة أقل بكثير.
• SAEBench (الاحتفاظ بالمعلومات): يحافظ قاموس EP عند الدقة $p10$ ($\ell_0=1$) على $\sim 97\%$ من دقة استقصاء التنشيط الخام (0.930 مقابل 0.959 لـ IdentitySAE). يشير هذا إلى أن الهوية القابلة للفك خطيًا للمفاهيم محفوظة إلى حد كبير بواسطة بنية الكثافة وحدها، حتى عند التخلي عن معظم الإحداثيات الخام.

4. الرؤى الهندسية

• الكثافة مقابل الفصل الخطي: يلتزم EP وSAEs بالتزامات هندسية مختلفة. يلتزم EP بـ الكثافة (المناطق هي مخاريط حقيقية في فضاء التنشيط)، بينما يلتزم SAEs بـ الفصل الخطي (إعادة البناء المتفرق).
• النواة المشتركة: حوالي 20% من مناطق EP تتطابق مع ميزة SAE عند $F1 > 0.5$ (عند $p=10$). إنهما يتفقان حيث تكون الاتجاهات مركزة كثافيًا وقابلة للفصل خطيًا في آن واحد.
• إشارة خارج التوزيع (OOD): توفر المسافة إلى أقرب نموذج مثالي إشارة مجانية لخارج التوزيع. الرموز العشوائية تكون باستمرار أبعد عن أقرب نموذج مثالي لها مقارنة بالرموز داخل التوزيع، مع اتساع الفجوة عند الدقة الأعلى.

الأهمية والادعاءات

يزعم البحث أن تقسيم النماذج المثالِيّة (EP) يقدم فئة جديدة من كائنات التفسير التي تتميز بكونها:

1. كفؤة: متاحة للباحثين الذين لا يملكون ميزانيات حوسبة تضاهي المختبرات الرائدة.
2. مباشرة: تكشف عن خصائص هندسة التنشيط (الكثافة، الاستقرار، الاتجاهات السببية) التي قد تحجبها أهداف إعادة البناء في SAEs.
3. قابلة للمقارنة: تسمح استخدام النماذج المثالية المرصودة بتتبع مباشر لتطور الميزات عبر نقاط التحقق المختلفة للتدريب وأنواع النماذج دون إجراءات محاذاة معقدة.

يؤكد المؤلفون أنه بينما يلتقط EP "نواة مشتركة" مع SAEs، فإنه يكشف أيضًا عن مناطق واسعة مرتبطة بالمحتوى تقوم SAEs بتجزئتها، وعلى العكس من ذلك، تلتقط SAEs اتجاهات خطية متفرقة لا يحللها EP عند دقة معينة. ويخلص البحث إلى أن بنية الكثافة وحدها تحمل الكثير من الإشارة المقاسة عبر الاستقصاء، وأن كفاءة الطريقة وواجهة القاموس المفتوحة تجعلها إضافة عملية لأدوات التفسير.

القيود المعترف بها:

• EP يعتمد على البذرة (Seed-dependent)؛ حيث يتغير هوية المنطقة مع ترتيب التدفق، وإن كان يمكن التنبؤ بالاستقرار عبر $D_i$.
• التنفيذ الحالي يفترض هندسة جيب تمام مركزة (Centred Cosine Geometry)، والتي قد لا تلتقط الميزات المعتمدة على مقدار التنشيط.
• التجار nghiệm استكشافية؛ لا يدعي البحث أن EP هو بديل كامل لـ SAEs، بل هو بديل مكمل وعالي الكفاءة لمهام محددة في التفسير.