🤖 machine learning

WriteSAE: Sparse Autoencoders for Recurrent State

تقدم هذه الورقة WriteSAE، وهو أول مشفر تلقائي متناثر (sparse autoencoder) مصمم لتفكيك وتحرير عمليات كتابة ذاكرة التخزين المؤقت للمصفوفات (matrix cache writes) في نماذج اللغة ذات فضاء الحالة (state-space) والنماذج المتكررة الهجينة، وذلك عبر تحليل ذرات فك التشفير إلى شكل تحديثها الأصلي من الرتبة 1 (rank-1 update shape)، مما يتيح تدخلات سلوكية دقيقة وتنبؤاً عالي الدقة بالأثر.

المؤلفون الأصليون: Jack Young

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jack Young

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة كبير (مثل تلك التي تكتب القصص أو تجيب على الأسئلة) كأنه مصنع ضخم فائق السرعة. داخل هذا المصنع، توجد "لوحة ذاكرة" خاصة حيث تكتب الآلة أفكارها الحالية قبل الانتقال إلى الخطوة التالية.

لفترة طويلة، حاول العلماء فهم ما هو مكتوب على هذه اللوحة باستخدام أدوات تسمى المشفّرات التلقائية المتناثرة (Sparse Autoencoders - SAEs). فكر في هذه الأدوات كأنها نظارات تسمح للباحثين برؤية "الأفكاء" أو "الميزات" الفردية التي تفكر فيها الآلة. ومع ذلك، كانت هناك مشكلة، وهي أن هذه النظارات كانت تعمل فقط على مخرجات المصنع، وليس على الطريقة المحددة التي تكتب بها الآلة في لوحة ذاكرتها في نماذج متقدمة معينة.

يقدم هذا البحث أداة جديدة تسمى WriteSAE. وإليك كيف تعمل، مشروحة ببساطة:

1. المشكلة: الشكل الخاطئ للنظارات

في النماذج القديمة، كانت الآلة تكتب أفكارها كقائمة بسيطة من الأرقام. وكانت النظارات القديمة (SAEs القياسية) مصممة لقراءة القوائم.
لكن في النماذج الأحدث والأسرع (مثل Gamed DeltaNet وMamba-2 وRWKV-7)، لا تكتب الآلة قائمة. بدلاً من ذلك، تكتب مصفوفة (شبكة من الأرقام) باستخدام خدعة رياضية محددة تسمى "تحديث الرتبة-1" (rank-1 update).

التشبيه: تخيل أن الآلة ترسم لوحة. الأدوات القديمة حاولت وصف اللوحة من خلال النظر إلى اللوحة المكتملة. لكن الآلات الجديدة ترسم عن طريق إضافة ضربة فرشاة محددة (خط واحد من اللون) في كل مرة إلى شبكة معقدة. لم تستطع الأدوات القديمة رؤية ضربة الفرشاة المنفردة هذه لأنها كانت تبحث عن قائمة كاملة من الألوان، وليس عن ضربة واحدة.

2. الحل: WriteSAE

بنى المؤلفون WriteSAE، وهي مجموعة جديدة من النظارات المصممة خصيصًا لرؤية ضربة الفرشاة المنفردة تلك.

تطابق الشكل: بدلاً من محاولة قراءة قائمة، فإن "ذرات" (أجزاء) WriteSAE مصممة لتكون بنفس شكل ضربة الفرشاة التي تستخدمها الآلة. إنها عبارة عن أنماط صغيرة من ضربات الفرشاة المنفردة.
النتيجة: نظرًا لأن الشكل يتطابق تمامًا، يمكن لـ WriteSAE عزل ما تكتبه الآلة في ذاكرتها بالضبط في أي لحظة معينة.

3. التجارب: استبدال ضربات الفرشاة

لإثبات نجاح هذا العمل، أجرى الباحثون "جراحة" في ذاكرة الآلة.

الاستبدال: وجدوا لحظة كتبت فيها الآلة ضربة فرشاة محددة. قاموا بمسح تلك الضربة واستبدالها بضربة "متعلمة" من قاموسهم الجديد (WriteSAE).
الاختبار: قارنوا ذلك بسيناريوهين آخرين:
1. مسحها تمامًا (ترك مساحة فارغة).
2. وضع خربشة عشوائية.
النتيجة: عندما استبدلوا الضربة بضربة WriteSAE، استمرت الآلة في العمل كما كانت تفعل تمامًا (بنسبة 92.4% من الوقت). وعندما مسحوها أو استخدموا خربشة عشوائية، ارتبكت الآلة وارتكبت أخطاءً.
التشبيه: الأمر يشبه استبدال ترس محدد في ساعة بترس مصنوع خصيصًا يناسبها تمامًا. تستمر الساعة في الدوران. أما إذا أزلت الترس أو وضعت صخرة عشوائية، فستتوقف الساعة.

4. ماذا وجدوا؟

نوعان من ضربات الفرشاة: اكتشفوا أن الآلة تستخدم نوعين رئيسيين من ضربات الفرشاة:
- السجلات (Registers): وهي ضربات دقيقة ومركزة تقوم بمهام محددة (مثل تحديد بداية الجملة أو الاسم العلم).
- الحزم (Bundles): وهي ضربات أكثر تشتتًا تبدو وكأنها مزيج من أشياء عدة.
التنبؤ بالمستقبل: وجدوا صيغة رياضية يمكنها التنبؤ بدقة بكيفية تغيير ضربة فرشاة معينة للكلمة التالية للآلة. إنه مثل معرفة أنه إذا قمت بتعديل هذا الترس المحدد، فإن الساعة ستدق قبل ثانية واحدة.
تعديل الآلة: نجحوا في استخدام هذه الأداة لـ "تثبيت" سلوكيات جديدة. على سبيل المثال، استطاعوا إجبار الآلة على الاستمرار في التحدث عن موضوع معين (مثل كلمة "mid-rank") لن تختارها في الحالة العادية، وذلك ببساطة عن طريق إدخال ضربة الفرشاة المناسبة في لوحة الذاكرة.

5. الحدود

يؤكد البحث بحذر أن هذا يعمل بشكل أفضل على النماذج التي تكتب بهذه الطريقة المحددة (ضربة واحدة/رتبة-1).

إذا كانت الآلة تكتب بطريقة أكثر تعقيدًا (مثل استخدام ضربتي فرشاة في وقت واحد أو نمط قطري)، فإن الأداة لا تعمل بنفس المثالية، رغم أنها لا تزال تجد بعض الأنماط.
تعمل الأداة بشكل رائع على نموذج Qwen3.5 (نوع محدد من الذكاء الاصطناعي)، وقد أظهروا أنها تعمل أيضًا على نماذج أخرى مشابهة، لكن "الصيغة السحرية" للتنبؤ بالمستقبل تتغير اعتمادًا على بنية النموذج.

الملخص

WriteSAE هي أداة جديدة تتيح لنا رؤية وتعديل الطريقة المحددة التي تكتب بها نماذج الذكاء الاصطناعي المتقدمة في ذاكرتها الداخلية. ومن خلال مطابقة شكل الأداة مع شكل كتابة الآلة، تمكن الباحثون من استبدال أفكار محددة، والتنبؤ بكيفية رد فعل الآلة، وحتى توجيه الآلة لقول أشياء لا تختارها عادةً، كل ذلك دون كسر الآلة. إنها المرة الأولى التي ينجح فيها العلماء في إجراء هذا النوع من "الجراحة" مباشرة على موقع كتابة الذاكرة في هذه الأنواع المحددة من النماذج.

ملخص تقني: WriteSAE لتفكيك الحالة المتكررة

بيان المشكلة

تستخدم نماذج اللغة ذات الحالة الفراغية والهجينة المتكررة (مثل Gated DeltaNet، وMamba-2، وRWKV-7، وQwen3.5) ذاكرة تخزين مؤقت مصفوفية (matrix cache) لنشر الحالة، حيث يكتب كل توكن (token) حاصل ضرب خارجي من الرتبة 1 ( $k_t v_t^\top$ ) في مصفوفة $d_k \times d_v$ . تعمل المشفّرات التلقائية المتفرقة (SAEs) الحالية على التدفق المتبقي (residual streams)، حيث تقرأ الحالة بعد عملية الانبعاث. وبناءً على ذلك، لا تستطيع الـ SAEs القياسية الوصول مباشرة إلى آلية الكتابة الأصلية، التي تحدث في مرحلة سابقة في العملية المتكررة. وعلاوة على ذلك، نظرًا لأن الحالة يتم تحديثها عبر حاصل ضرب خارجي من الرتبة 1، فإن ذرة فك التشفير (decoder atom) القائمة على المتجهات في SAE القيسي لا يمكنها استبدال عملية كتابة واحدة في الذاكرة دون كسر التطابق الهيكلي المطلوب للتدخل السببي (cache patching).

المنهجية

يقدم البحث WriteSAE، وهو أول مشفّر تلقائي متفرق مصمم لتفكيك وتحرير كتابة الذاكرة التخزينية للموديلات المتكررة.

البنية والتدريب

مطابقة الشكل الأصلي: تم تقييد ذرات فك التشفير في WriteSAE لتكون حاصل ضرب خارجي من الرتبة 1 ( $v_i w_i^\top$ )، مما يطابق أصل الكتابة ( $k_t v_t^\top$ ) في البنية المضيفة. وهذا يسمح لذرة واحدة باستبدال تحديث محدد في خانة الذاكرة.
المشفّر ثنائي الخطية (Bilinear Encoder): لتشفير حالة المصفوفة $S_t$ بكفاءة، يستخدم النموذج مشفراً ثنائي الخطية ( $a_i = v_i^\top S_t w_i$ ) بدلاً من مشفر كثيف مسطح. يؤدي هذا إلى تقليل عدد المعلمات لكل ذرة من $d_k d_v$ (16,384 لـ $128 \times 128$ ) إلى $d_k + d_v$ (256)، أي اختزال بمقدار 64 ضعفاً.
هدف التدريب: يتم تدريب النموذج على حالات متوسطة المركز ( $x = \text{vec}(S_t - M)$ ) باستخدام قيد التشتت TopK وخسارة مساعدة لإحياء الميزات الميتة. تتكون مجموعة بيانات التدريب من تسلسلات OpenWebText التي تمت معالجتها عبر Qwen3.5-0.8B (ونماذج أخرى) عند طبقات ورؤوس محددة.

تصنيف الميزات

يتم تقسيم القاموس المدرب إلى فئتين بناءً على وسيط تشابه جيب التمام (cosine similarity) بين اتجاه كتابة الذرة واتجاه الكتابة الأصلي:

السجلات (Registers): الذرات ذات المحاذاة العالية لعمليات الكتابة الأصلية (يمكن استردادها من الذاكرة).
الحزم (Bundles): الذرات ذات اتجاهات الكتابة المشتتة عبر الذاكرة.

اختبارات التدخل السببي

يقترح البحث ثلاث آليات تحقق رئيسية:

استبدال خانة الذاكرة: استبدال الكتابة الأصلية ( $k_t v_t^\top$ ) بذرة SAE مطابقة لمعيار فوروبينيوس ( $\hat{S}_t = S_t - \Delta_{nat} + \Delta_{atom}$ ) وقياس تباعد KL الناتج عن ذلك.
إزاحة اللوجيت ذات الصيغة المغلقة: اشتقاق تعبير ثلاثي العوامل للتنبؤ بإزاحات اللوجيت لكل توكن: $\Delta \ell \approx G_{t_0 \to t} \langle w_i, q_t \rangle \langle v_i, W_U[\text{tok}] \rangle$ ، حيث $G$ هو حاصل ضرب البوابة، و $q_t$ هو استعلام القراءة، و $W_U$ هو صف عدم التضمين.
تدخلات الذاكرة المباشرة: مسح أو تثبيت الذرات في مواقع محددة لمراقبة التغيرات في احتمالات التوكنات وسلوك التوليد.

المساهمات الرئيسية

قاموس مطابق للبنية: قاموس تكون فيه الذرات عبارة عن حاصل ضرب خارجي من الرتبة 1، مما يتيح الاستبدال المباشر لكتابات الذاكرة الأصلية، وهي قدرة لم تكن متاحة لـ SAEs الخاصة بالتدفق المتبقي.
التحقق من الاستبدال: إثبات أن الذرات المتعلمة يمكنها استبدال الكتابات الأصلية بدقة عالية. عند Qwen3.5-0.8B (الطبقة 9، الرأس 4)، تفوقت الذرات على عملية الإلغاء (ablation) المطابقة للمعايير في 92.4% من حالات الإطلاق.
التنبؤ بالصيغة المغلقة: صيغة ثلاثية العوامل خالية من المعلمات تتنبأ بإزاحات اللوجيت لكل إطلاق بمتوسط $R^2$ يبلغ 0.98 عبر 200 خلية (ذرة-بـ-إبسيلون).
النقل عبر البنى المختلفة: التحقق من أن نجاح الاستبدال وتصنيف الميزات (السجل مقابل الحزمة) يظل قائماً عبر مختلف البنى المتكررة المصفوفية (Gated DeltaNet، وRWKV-7، وMamba-2)، رغم تفاوت معدلات النجاح حسب "رتبة الكتابة" للركيزة.

النتائج التجريبية

أداء الاستبدال

Qwen3.5-0.8B (Gated DeltaNet): عند الطبقة 9 والرأس 4، تفوقت الذرات على الإلغاء في 92.4% من الإطلاقات. اختبار المجتمع على 87 ذرة حافظ على نسبة 89.8%. الترتب الصارم $KL_{atom} < KL_{ablate} < KL_{random}$ صمد في 89.5% من الإطلاقات.
Mamba-2-370M: نجح الاستبدال بنسبة 88.1% عبر 2,500 إطلاق، على الرغم من أن Mamba-2 يستخدم تحديث حالة قطري بدلاً من حاصل ضرب خارجي كامل من الرتبة 1.
RWKV-7: أظهر أداءً متوسطاً، بما يتوافق مع قاعدة الكتابة من الرتبة 2 الخاصة به.

التنبؤ بإزاحة اللوجيت

تتبع الصيغة المغلقة التأثيرات المقاسة بدقة. عند الطبقة 9 والرأس 4، بلغ وسيط $R^2$ بين إزاحات اللوجيت المتوقعة والمقاسة 0.98. ومع ذلك، فشلت هذه الصيغة (بسبب قيمة $R^2$ سالبة) في Mamba-2 وQwen3.5-4B، مما يشير إلى أن عامل البوابة $G$ خاص بالركيزة.

التدخلات السلوكية

المسح (Erasure): أدى مسح ذرة سجل محدد (F412) في مواقع إطلاقه الطبيعية إلى تقليل احتمالية التوكن المستهدف ("space") بمتوسط -0.116 نات ( $p=1.07 \times 10^{-6}$ ).
توجيه التوليد: أدى التثبيت المستمر لاتجاه الصيغة المغلقة في ثلاثة مواضع متتالية إلى زيادة معدل "الهدف-في-الاستمرارية" للتوكنات متوسطة الرتبة من 33.3% إلى 100% تحت التوليد الجشع (greedy decoding).
تضخيم مستوى الفقرة: أدى تضخيم الميزات المرتبطة بالحدود في نموذج 4B إلى تقليل توليد السطر الجديد بنسبة 33% (من 16.8 إلى 11.2 لكل 400 توكن) عند جرعة 5x، مما أظهر التحكم في بنية المستند.

النطاق المعماري

يحدد البحث تسلسلاً هرمياً لفعالية "رتبة الكتابة":

Gated DeltaNet (الرتبة 1): أعلى فصل لـ جيب التمام للسجل (0.262) وأعلى دقة استبدال.
RWKV-7 (الرتبة 2): فصل متوسط (0.180).
Mamba-2 (قطري/سكالر): أدنى فصل (0.0575)، ومع ذلك حقق نجاح استبدال بنسبة ~88%.

الأهمية والادعاءات

يزعم البحث تقديم أول قاموس سببي لـ موقع كتابة المصفوفة المتكررة، متجاوزاً تحليل التدفق المتبقي. وقد أثبت ما يلي:

رتبة الكتابة هي المحددة: القدرة على تفكيك الحالة إلى "سجلات" قابلة للتفسير ترتبط برتبة قاعدة الكتابة الأصلية (الرتبة 1 > الرتبة 2 > القطري).
الاستبدال السببي ممكن: يمكن للذرات المتعلمة استبدال الكتابات الأصلية مع حد أدنى من تباعد KL، مما يؤكد صحة مفهوم "السجل".
القابلية للتفسير بالصيغة المغلقة: بالنسبة لـ Gated DeltaNet، يمكن التنبؤ بتأثير ميزة ما على اللوجيتات تحليلياً دون الحاجة لضبط المعلمات، مما يربط القاموس مباشرة بآليات البوابة والقراءة الخاصة بالنموذج.

يشير المؤلفون بتواضع إلى بعض القيود: المعامل الخاص بالصيغة المغلقة لا ينتقل عبر الركائز (مثلاً، يفشل في Mamba-2)، وهوية الذرة لكل منها تعتمد على البذرة (seed-specific) (رغم استقرار الخصائص على مستوى الفئة). يضع هذا العمل معياراً جديداً للتفسير الآلي لنماذج حالة الفضاء، موضحاً أن البدائية "الكتابة" هي هدف قابل للتعلم والتحرير السببي.